Serverless Inference でサーバー エラー（500、503）を解消するにはどうすればよいですか？

サーバー エラーは、Serverless Inference サービスで一時的な問題が発生していることを示しています。このページでは、これらのエラーを特定し、クライアント コードで適切に処理し、どの時点でサポートに問い合わせるべきかを判断する方法を説明します。

​

エラーのタイプ

以下のセクションでは、リクエストの問題ではなく、サーバー側の一時的な問題を示すエラーコードについて説明します。

​

500 内部サーバーエラー

これはサーバー側で一時的に発生している内部エラーです。レスポンスメッセージは次のとおりです: “サーバーでリクエストの処理中にエラーが発生しました。”

​

503 サービスの過負荷

サービスへのトラフィックが増加しています。レスポンスメッセージは次のとおりです: “推論エンジンは現在過負荷状態です。時間をおいて再度お試しください。”

​

サーバー エラーへの対処

これらのエラーは通常一時的なものであるため、再試行する前にサービスが回復する時間を確保できるよう、次の方法を使用してください。

1. 再試行する前に待機します。次の待機時間を使用してください。
   • 500 エラー: 30〜60 秒待機する
   • 503 エラー: 60〜120 秒待機する
2. エクスポネンシャルバックオフを使用する
   import time
   import openai
   
   def call_with_retry(client, messages, model, max_retries=5):
       for attempt in range(max_retries):
           try:
               return client.chat.completions.create(
                   model=model,
                   messages=messages
               )
           except Exception as e:
               if "500" in str(e) or "503" in str(e):
                   if attempt < max_retries - 1:
                       wait_time = min(60, (2 ** attempt))
                       time.sleep(wait_time)
                   else:
                       raise
               else:
                   raise
   
3. 適切なタイムアウトを設定します。次の調整を適用してください。
   • HTTP クライアントのタイムアウト値を長めに設定する
   • より適切に処理するため、非同期操作も検討する

​

サポートに連絡する

再試行とバックオフで問題が解決しない場合は、チームがさらに調査できるよう、サポートに連絡してください。 次のいずれかに該当する場合はサポートに連絡してください。

• エラーが10分以上続く
• 特定の時間帯に失敗が発生する傾向が見られる
• エラーメッセージに追加の詳細情報が含まれている

サポートに連絡する際は、次の情報を提供してください。

• エラーメッセージとコード
• エラーが発生した時刻
• コードスニペット (APIキーは削除してください)
• W&B の entity 名とプロジェクト名

---

Inference