・英語による用語：Distillation (Knowledge Distillation)
・用語カテゴリ：技術用語
・日本語読み：蒸留（ディスティレーション）
・種別：モデル圧縮/転移技術
・位置づけ：大モデルの知識を小モデルに移す技術
・関連：量子化 ／ ファインチューニング ／ LLM ／ ディープラーニング
・備考：大きな高性能モデル（教師）の知識を小さなモデル（生徒）へ学習させ軽量化する技術。
Distillation（蒸留）とは？大きなAIの知識を小さなAIに移す技術
Distillation（蒸留／知識蒸留）とは、大きくて高性能なモデル（教師モデル）の振る舞いや知識を、より小さなモデル（生徒モデル）に学習させることで、軽量でありながら高い性能を持つモデルを作る技術です。生徒モデルは、教師モデルの出力（単なる正解だけでなく、各選択肢に対する確信度の分布など）を手本にして学ぶことで、自力で一から学ぶよりも効率よく賢くなれます。
大規模モデルは高性能な反面、動かすのに多大な計算資源とコストがかかります。蒸留を使えば、その能力の多くを保ったまま、はるかに小さく速いモデルに凝縮でき、スマートフォンやエッジ端末、低コストなサーバーでも実用的に動かせるようになります。多くの「軽量版」「小型版」モデルは、この蒸留の考え方を用いて作られています。
実務的なメリットは、推論コストと応答速度、そして提供のしやすさです。用途を絞れば、巨大モデルに迫る品質を小型モデルで安価に実現できる場合があります。量子化（Quantization）が数値精度を落として軽くするのに対し、蒸留は知識を小さなモデルへ「移す」点が異なり、両者は組み合わせて使われることもあります。
一方で、生徒モデルは教師モデルの能力や癖・偏りをそのまま引き継ぐため、教師の弱点も継承しがちです。また、あらゆるタスクで教師に並ぶわけではなく、対象を絞った最適化が前提となります。
