Serverless Inference에서 요청 속도 제한 오류(429)가 발생하는 이유는 무엇인가요?

이 페이지에서는 Serverless Inference가 429 요청 속도 제한 오류를 반환하는 이유와, 허용된 동시성 한도 내에서 요청이 성공하도록 문제를 해결하는 방법을 설명합니다. 요청 속도 제한 오류(429)는 동시성 한도를 초과하면 발생합니다. 오류: “요청에 대한 동시성 한도에 도달했습니다” 해결 방법: 이 오류를 해결하려면 다음 중 하나를 수행하세요.

• 병렬 요청 수를 줄이세요.
• 요청 사이에 지연 시간을 두세요.
• 지수 백오프를 구현하세요.

참고: 요청 속도 제한은 W&B 프로젝트별로 적용됩니다.

​

요청 속도 제한을 피하기 위한 모범 사례

다음 사례를 따르면 애플리케이션이 동시성 한도 내에서 작동하도록 유지하고, 한도에 도달하더라도 원활하게 복구하는 데 도움이 됩니다.

• 지수 백오프를 적용한 재시도 로직을 구현합니다: 백오프는 재시도 사이에 간격을 두므로 다음 시도 전에 일시적인 429 응답이 해소될 수 있습니다.
  import time
  
  def retry_with_backoff(func, max_retries=3):
      for i in range(max_retries):
          try:
              return func()
          except Exception as e:
              if "429" in str(e) and i < max_retries - 1:
                  time.sleep(2 ** i)
              else:
                  raise
  
• 병렬 요청 대신 배치 처리를 사용합니다.
• W&B Billing 페이지에서 사용량을 모니터링합니다.

​

기본 지출 한도

계정에는 전체 Inference 사용량을 제한하는 기본 지출 한도도 있습니다:

• Pro 계정: 월 $6,000
• Enterprise 계정: 연 $700,000

한도를 조정하려면 담당 account executive 또는 지원팀에 문의하세요.

---

Inference