Comment puis-je résoudre les erreurs du serveur (500, 503) dans Serverless Inference ?

Les erreurs du serveur indiquent des problèmes temporaires avec le service Serverless Inference. Cette page vous aide à identifier ces erreurs, à les gérer correctement dans votre code client et à déterminer quand contacter l’assistance.

​

Types d’erreurs

Les sections suivantes décrivent les codes d’erreur qui signalent des problèmes transitoires côté serveur, plutôt que des problèmes liés à votre requête.

​

500 erreur interne du serveur

Il s’agit d’une erreur interne temporaire du côté du serveur. Le message de réponse est : “Le serveur a rencontré une erreur lors du traitement de votre requête.”

​

503 service surchargé

Le service connaît actuellement un trafic élevé. Le message de réponse est : « Le moteur est actuellement surchargé. Veuillez réessayer plus tard. »

​

Gérer les erreurs du serveur

Comme ces erreurs sont généralement temporaires, les techniques suivantes donnent au service le temps de récupérer avant que vous ne réessayiez.

1. Attendez avant de réessayer. Utilisez les temps d’attente suivants :
   • Erreurs 500 : attendez 30 à 60 secondes.
   • Erreurs 503 : attendez 60 à 120 secondes.
2. Utilisez un backoff exponentiel.
   import time
   import openai
   
   def call_with_retry(client, messages, model, max_retries=5):
       for attempt in range(max_retries):
           try:
               return client.chat.completions.create(
                   model=model,
                   messages=messages
               )
           except Exception as e:
               if "500" in str(e) or "503" in str(e):
                   if attempt < max_retries - 1:
                       wait_time = min(60, (2 ** attempt))
                       time.sleep(wait_time)
                   else:
                       raise
               else:
                   raise
   
3. Définissez des délais d’attente adaptés. Appliquez les ajustements suivants :
   • Augmentez les valeurs de délai d’attente de votre client HTTP.
   • Envisagez des opérations asynchrones pour une meilleure gestion.

​

Contacter l’assistance

Si les nouvelles tentatives et le backoff ne résolvent pas le problème, contactez l’assistance afin que l’équipe puisse approfondir l’enquête. Contactez l’assistance si l’un des cas suivants s’applique :

• Les erreurs persistent pendant plus de 10 minutes.
• Vous constatez des séries d’échecs à des moments précis.
• Les messages d’erreur contiennent des détails supplémentaires.

Lorsque vous contactez l’assistance, fournissez les informations suivantes :

• Les messages et codes d’erreur.
• L’heure à laquelle les erreurs se sont produites.
• Votre extrait de code (supprimez les clés API).
• Les noms de l’entité et du projet W&B.

---

Inférence