トークン
Token
AI用語解説Overview
AIがテキストを処理する際の最小単位です。英語では単語、日本語では1〜2文字程度に相当します。AIのAPI利用料金はこのトークン数を基準に計算されるため、コスト管理の基本知識です。
さらに詳しく解説Details
トークンとは、AIがテキストを理解・生成する際に使う最小単位のことです。英語の場合はおよそ1単語が1〜1.5トークン、日本語の場合は1〜2文字が1トークン程度に相当します（言語や文字によって異なります）。
AIのAPI（外部サービス連携の仕組み）を使って自社システムにAIを組み込む場合、利用料金は「入力トークン数＋出力トークン数」の合計で計算されます。例えばOpenAIのGPT-4oでは1,000トークンあたり数円程度のコストが発生します。
コスト管理の観点では、プロンプト（AIへの指示文）が長くなるほどトークン消費が増えるため、簡潔で的確な指示文を書くことがコスト削減につながります。また、コンテキストウィンドウの上限もトークン数で設定されているため、一度に扱える文書量の制約を理解するうえでも重要な概念です。
社内でAPIを使ったAIツールを導入する際は、月間のトークン使用量をモニタリングする仕組みを設け、予算超過を防ぐ管理体制を整えることをお勧めします。
