出力トークン上限
LLM Output Token Limit
AI用語解説Overview
AIが一度に生成できる文章量の上限のことです。長い報告書などを一度に出力しようとすると途中で切れることがあり、分割出力の工夫が必要です。
さらに詳しく解説Details
出力トークン上限とは、LLMが1回のリクエストで生成できるテキスト量の最大値を指します。入力トークン制限とは別に設定されており、多くのモデルで数千〜数万トークンの上限が存在します。
例えば「10ページ分の業務マニュアルをまとめて作成して」と依頼しても、途中で出力が打ち切られることがあります。この場合は「続きを書いて」と追加指示して分割生成するか、最初から章ごとに分けて依頼するアプローチが有効です。
APIを通じてLLMを活用する場合は、パラメータで出力トークン数を事前に指定することができます。出力量が多いほどAPIコストも増えるため、必要以上に長い出力を求めないよう指示文を工夫することがコスト削減にもつながります。長文生成が多い業務では、モデル選定時に出力トークン上限もあわせて確認することが重要です。