APIレート制限
API Rate Limit
IT基礎解説Overview
AIサービスのAPIを一定時間内に呼び出せる回数の上限のことです。上限を超えるとエラーが発生するため、大量処理を行う業務システムでは設計時の考慮が必要です。
さらに詳しく解説Details
APIレート制限とは、一定時間内にAPIを呼び出せる回数や処理できるデータ量の上限のことです。「レートリミット」とも呼ばれます。AIサービス提供者がサーバー負荷を分散させ、全ユーザーが公平にサービスを利用できるよう設けられています。
たとえばOpenAIのAPIでは、1分間に送信できるトークン数や1分間のリクエスト数に制限があります。制限を超えるとエラー（429 Too Many Requestsなど）が返され、一定時間待たなければ再利用できません。
業務システムでAIを使う場合、大量のデータを一気に処理しようとするとレート制限に引っかかり、処理が止まることがあります。これを防ぐためには、①処理を時間差で分散する（バッチ処理）、②エラー時に自動でリトライする仕組みを入れる、③上位プランへのアップグレードでより高い制限を取得する、といった対策が有効です。
AIシステムを構築・運用する際は、想定される処理量に対してAPIの制限が十分かどうかを事前に確認することが重要です。