Pourquoi cela arrive
Serverless Inference applique des limites de concurrence afin de maintenir une utilisation équitable et la stabilité du service. Lorsque le nombre de requêtes simultanées émises depuis votre compte dépasse la limite autorisée, les requêtes supplémentaires sont rejetées avec un code de statut429.
Ce que vous pouvez faire
Pour résoudre l’erreur, choisissez l’une ou les deux approches suivantes en fonction de votre charge de travail et de votre plan.- Réduire les requêtes simultanées pour rester dans votre limite actuelle :
- Mettez en place une file d’attente des requêtes ou une limitation du débit dans votre application.
- Utilisez un backoff exponentiel lorsque vous réessayez des requêtes ayant échoué.
- Augmenter vos limites si votre charge de travail nécessite davantage de capacité. Vérifiez les limites de concurrence de votre plan et passez à une offre supérieure si nécessaire.
Quotas et limites de débit