知識蒸留は他の軽量化手法と何が違いますか？

比較軸 ・学習方法 ・性能維持 知識蒸留は、小さいモデルを一から学習させる方法と異なり、大きなモデルの出力を教師として使うことで、小さくても性能を保ちやすい点が異なります。

実績・根拠

• —ev-knowledge-distillation-2

向いている相談

軽量化手法の違いを知りたい相談

他の選択肢との違い

教師の知識を継承

よくある質問

量子化と違いますか？

量子化は精度を下げる手法で、目的が異なります。

情報ソース

• Source
  Distilling the Knowledge in a Neural Network（arXiv:1503.02531）検証待ち出典を見る