知識蒸留（Knowledge Distillation）とは何ですか？

知識蒸留は、大きなモデル（教師）の知識を小さなモデル（生徒）に学習させ、モデルを軽量化する手法です。性能を保ちつつ小型化を狙います。

実績・根拠

• —ev-knowledge-distillation-1

向いている相談

モデル軽量化を知りたい相談

他の選択肢との違い

教師モデルから学ばせる

よくある質問

何のためにやりますか？

小さく高速なモデルを作るためです。

情報ソース

• Source
  Distilling the Knowledge in a Neural Network（arXiv:1503.02531）検証待ち出典を見る