Lỗi HTTP 429 và 503 khi gọi AI API: nghĩa là gì và sửa thế nào

HTTP 429 (Too Many Requests) nghĩa là bạn vượt rate limit. Server vẫn khỏe, chỉ bảo bạn chậm lại. HTTP 503 (Service Unavailable) nghĩa là nhà cung cấp upstream tạm quá tải hoặc sập — vấn đề phía họ, không phải bạn.

Cả hai đều phục hồi được nếu chiến lược đúng. Không cái nào nghĩa là code sai.

Nhà cung cấp siết rate limit để bảo vệ hạ tầng. Giới hạn thường dựa trên một hoặc vài thứ: requests per minute (RPM), tokens per minute (TPM), requests per day (RPD), hoặc kết nối đồng thời.

Model tầng miễn phí thường hạn chặt nhất. Model trả phí có trần cao hơn nhưng vẫn siết. Gateway như AnyRouter thêm một lớp rate limit trên hạn của nhà cung cấp upstream.

• Thêm exponential backoff khi 429. Đợi 1s trước lần retry đầu, 2s lần hai, 4s lần ba, và tiếp đến trần hợp lý (60s).
• Tôn trọng header Retry-After nếu API gửi — nó nói đúng phải đợi bao lâu.
• Giảm tần suất request. Gom batch, đổi model nhanh hơn cho việc không tới hạn, hoặc trải tải trên nhiều API key nếu được phép.
• Phân biệt 429 (phía bạn) và 503 (phía upstream). 503 thường hết trong vài phút; 429 đòi bạn đổi tốc độ request.
• Theo dõi usage trên dashboard để thấy khi đang sát hạn trước khi đụng.

AnyRouter tự failover sang upstream khác khi một bên trả 429, 401, hoặc 5xx. Retry chạy phía server, client chỉ thấy response thành công cuối — không cần xử lý lỗi đặc biệt phía bạn.

Nếu dùng pool key dùng chung, rate limit trải trên nhiều key nhà cung cấp, nên hạn hiệu dụng cao hơn một key đơn.

Theo dõi mẫu request, tỷ lệ lỗi, và latency từng model tại chmonitor.dev. Thấy model nào đang trả lỗi giúp quyết định đổi model, tăng hạn, hay chỉnh mẫu request.