トークン制限

トークン制限とは、AIとの1回の会話（コンテキスト）で処理できるテキスト量の上限のことです。トークンは単語や文字のかたまりで、日本語では1文字あたり約1〜2トークンに相当します。この上限は「コンテキストウィンドウ」とも呼ばれます。

例えば、トークン制限が8,000トークンのモデルでは、約4,000〜8,000文字分のやり取りしか一度に処理できません。長い会話を続けると、最初のほうのメッセージがウィンドウから押し出されてAIが参照できなくなり、「さっき言ったことを忘れる」という現象が起きます。

近年のモデルはトークン制限が大幅に拡大されており、Claude 3.5では最大200,000トークン（約10万文字）、Gemini 1.5 Proでは100万トークン以上を扱えます。長い契約書の分析・大量のログデータの処理・長期プロジェクトの会話継続など、大量のテキストを一括処理する業務では、モデルのトークン制限を事前に確認することが重要です。コスト面では、トークン数が多いほど費用も高くなるため、必要な情報のみを含む効率的なプロンプト設計が経費節減につながります。