キャッシュ割引
Prompt Caching / Cache Discount
AI用語解説Overview
同じ入力内容(プロンプト)を繰り返し使う場合にAPI利用料を大幅に割り引く仕組み。業務設計を工夫することでAIコストを最大60%削減できる場合もある。
さらに詳しく解説Details
キャッシュ割引とは、AIのAPI(外部サービス連携機能)を利用する際に、同じ内容のプロンプト(AIへの指示文)を繰り返し送信する場合に、2回目以降の処理料金を大幅に割り引く仕組みです。AIはプロンプトの内容を一時的に記憶(キャッシュ)しておくことで、同じ処理を省略できるため、コストを抑えることが可能になります。
たとえば、カスタマーサポートで「あなたは当社の製品に詳しいAIアシスタントです。以下のルールに従って回答してください…」という長い前置き指示を毎回送る場合、その部分がキャッシュされ、2回目以降は最大90%割引になるケースもあります。社内マニュアルや契約書の要約業務など、共通の前提情報を毎回送るシステムでは特に効果的で、AIコストを最大60%削減できる場合もあります。
活用のポイントは、業務フローの中で「毎回変わらない指示文」を意識的に設計することです。変わる部分(顧客名や質問内容)と変わらない部分(役割や前提条件)を明確に分けると、割引効果が最大化されます。注意点として、キャッシュの有効期限(数分〜数時間程度)があるため、利用頻度が低い業務では効果が出にくい場合もあります。コスト削減を狙うなら、まず繰り返し処理が多い業務から導入を検討するとよいでしょう。