コンテキスト圧縮
Context Compression
AI用語解説
AIに渡す情報量が多すぎる場合に、重要な部分だけを抽出して要約しAIに渡す技術です。処理コストを抑えながら精度を保つために使われます。
さらに詳しく解説
コンテキスト圧縮とは、AIに与える情報(コンテキスト)が多すぎるときに、内容を要約・圧縮して必要な部分だけをAIに渡す技術です。
大量の資料や長い会話履歴をそのままAIに渡すと、処理できる文字数の上限(コンテキストウィンドウ)を超えたり、コストが増大したりします。コンテキスト圧縮を使うことで、これらの問題を解決しながら、AIに必要な情報を正確に伝えることができます。
たとえば、100ページの契約書を要点だけに絞り込んでからAIに渡すことで、低コストかつ速く回答を得ることが可能になります。業務での大量文書処理や、長期間の会話を記憶しながら対応するカスタマーサポートAIなどに特に有効です。圧縮によって重要情報が抜け落ちるリスクもあるため、圧縮の精度管理が課題です。