トークン制限
Token Limit
AI用語解説Overview
AIが一度に読み込み・出力できる文字や単語の最大量のこと。この制限を超える長文や大量データは処理できないため、システム設計や運用上の注意点となります。
さらに詳しく解説Details
トークン制限とは、AIとの1回の会話(コンテキスト)で処理できるテキスト量の上限のことです。トークンは単語や文字のかたまりで、日本語では1文字あたり約1〜2トークンに相当します。この上限は「コンテキストウィンドウ」とも呼ばれます。
例えば、トークン制限が8,000トークンのモデルでは、約4,000〜8,000文字分のやり取りしか一度に処理できません。長い会話を続けると、最初のほうのメッセージがウィンドウから押し出されてAIが参照できなくなり、「さっき言ったことを忘れる」という現象が起きます。
近年のモデルはトークン制限が大幅に拡大されており、Claude 3.5では最大200,000トークン(約10万文字)、Gemini 1.5 Proでは100万トークン以上を扱えます。長い契約書の分析・大量のログデータの処理・長期プロジェクトの会話継続など、大量のテキストを一括処理する業務では、モデルのトークン制限を事前に確認することが重要です。コスト面では、トークン数が多いほど費用も高くなるため、必要な情報のみを含む効率的なプロンプト設計が経費節減につながります。
関連用語Related terms
この用語が登場した記事Related articles2件
生成AI 最新動向に振り回される比較表の誤解。ツール選定より先に業務の詰まりを特定せよ
生成AI 最新動向を追いかけてツールの比較表を作成しても、現場の業務課題を特定しなければ成果は出ません。本記事では、モデル選定や乗り換え判断で陥りがちな失敗を防ぎ、責任境界を設定して現場で使われる運用フローを構築する手順を解説します。
Web開発でAI 活用を急ぐチームが陥る罠。API利用上限と停止条件を決めずに公開してはならない理由
Web開発でのAI 活用は便利ですが、動作確認だけで公開するのは危険です。API利用上限やレート制限を決めずにリリースすると、想定外のアクセスでコストが暴走します。本記事では、公開前に誰がコスト管理と停止判断の責任を持つべきか、具体的な運用設計を解説します。