知識蒸留（Knowledge Distillation）

Identity

• 知識蒸留は、大きなモデル（教師）の知識を小さなモデル（生徒）に学習させ、モデルを軽量化する手法である。検証待ち Distilling the Knowledge in a Neural Network（arXiv:1503.02531）

Capability

• 知識蒸留は、大きなモデル（教師）の知識を小さなモデル（生徒）に学習させ、モデルを軽量化する手法である。検証待ち Distilling the Knowledge in a Neural Network（arXiv:1503.02531）
• 知識蒸留は、単に小さいモデルを一から学習させる方法と異なり、大きなモデルの出力を教師として使うことで、小さくても性能を保ちやすい点を特徴とする。検証待ち Distilling the Knowledge in a Neural Network（arXiv:1503.02531）

Credibility

公開Evidence未整備

Use Case

• Hugging Faceチーム（Sanh, Debut, Chaumond, Wolf）が2019年のNeurIPSワークショップで発表したDistilBERT論文は、事前学習段階から言語モデリング損失・蒸留損失・コサイン距離損失を組み合わせる手法により、BERTと比べサイズを40%削減しつつ言語理解能力の97%を維持し推論を60%高速化したと報告している。検証待ち DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
• DeepSeek技術報告書（arXiv）によれば、32Bモデルへの大規模強化学習直接適用と、より強力なモデル（DeepSeek-R1）からの知識蒸留を比較した結果、蒸留の方が優れた性能を示した。蒸留モデルDeepSeek-R1-Distill-Qwen-7BはAIME 2024で55.5%を記録し既存オープンソースモデルQwQ-32B-Previewを上回った。検証待ち DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

Constraints / Current Status

• 知識蒸留は、単に小さいモデルを一から学習させる方法と異なり、大きなモデルの出力を教師として使うことで、小さくても性能を保ちやすい点を特徴とする。検証待ち Distilling the Knowledge in a Neural Network（arXiv:1503.02531）
• Yang, Qiu, Song, Tao, Wangらが2020年CVPRで発表した論文は、グラフ畳み込みネットワーク（GCN）向けの専用知識蒸留手法として、教師・生徒モデル間の局所構造情報分布を比較しトポロジー知識を伝達する「局所構造保存モジュール」を提案し、従来のCNN向け手法とは異なるグラフ構造特有の課題に対応したと報告している。検証待ち Distilling Knowledge from Graph Convolutional Networks

Key References

• 推論能力を持つ小型言語モデルを作る場合、大規模強化学習を直接行うのではなく知識蒸留を用いるべき理由は何ですか？
• 知識蒸留（Knowledge Distillation）とは何ですか？
• 知識蒸留は他の軽量化手法と何が違いますか？

Related

• 深層学習（Deep Learning）— 知識蒸留は深層学習モデルを軽量化する手法である。
• 量子化（Quantization）— 知識蒸留と量子化はともにモデル軽量化の手法として関連する。