モデル蒸留

モデル蒸留とは、大規模で高性能な「教師モデル」の知識や回答パターンを、より小さく軽量な「生徒モデル」に学習させることで、性能を維持しながらモデルを小型化する技術です。

大規模モデルはAPIコストが高く、処理も重いため、常に最高性能のモデルを使うとコストが膨大になります。モデル蒸留で作られた軽量モデルは、コストを抑えつつ特定タスクに限れば大規模モデルに近い性能を発揮できます。

たとえばDeepSeekやMicrosoftのPhi系モデルは蒸留技術を活用して高い性能対コスト比を実現しています。社内に導入する際、全ての業務に最高性能モデルを使う必要はなく、「単純なFAQ応答には軽量モデル、複雑な分析には高性能モデル」と使い分けることでコストを最適化できます。AI導入コストの見直しを検討する際に知っておきたい概念です。