LLMスループット
LLM Throughput
AI活用解説Overview
AIが単位時間あたりにどれだけ多くの処理をこなせるかを示す指標のこと。大量の業務を自動化するシステムでは特に重要な性能指標です。
さらに詳しく解説Details
LLMスループットとは、AIモデルが一定時間内に処理できる文章量やリクエスト数のことを指します。「1秒間に何トークン生成できるか」「1分間に何件のリクエストを処理できるか」などで表されます。
たとえば、大量の顧客メールへの自動返信や、多数の文書の一括要約など、処理量が多い業務でAIを使う場合には、このスループットが業務効率に直結します。スループットが低いと処理が詰まり、業務が遅延する原因になります。
クラウドAPIを利用する場合、スループットはAPIのレート制限（1分間のリクエスト上限）に関係します。高スループットが必要な場合は、上位プランへのアップグレードや専用エンドポイントの契約が必要になることがあります。業務規模に合ったプランを選ぶために、事前に必要な処理量を見積もることが重要です。