プロンプトキャッシュ

プロンプトキャッシュとは、AIへの指示文のうち毎回変わらない部分（例：「あなたはカスタマーサポート担当者です。丁寧な言葉で回答してください」といった共通設定）を事前にAI側で記憶させておく機能です。

通常、AIへのリクエストのたびに全ての指示文を送信するため、システム指示が長いほどトークン消費量が増え、コストと処理時間が増加します。プロンプトキャッシュを使えば、共通部分のトークン処理をスキップできるため、レスポンス速度が向上し利用コストも削減できます。

AnthropicのClaudeやOpenAIのAPIではこの機能が提供されており、特に長いシステムプロンプトを使い続けるビジネスアプリケーションで効果を発揮します。社内ルールや製品情報を大量にAIに読み込ませる用途でも活用できます。活用の際は対応しているモデルとAPIバージョンを確認し、エンジニアとともにキャッシュの有効期限設定も検討することをおすすめします。