DeepSeekが公開した技術報告書「DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning」（arXiv）によれば、研究チームは32Bベースモデルに対して大規模強化学習（RL）を直接適用する手法と、より強力な大規模モデル（DeepSeek-R1）から知識を蒸留する手法を比較検証しました。その結果、より強力なモデルをより小さなモデルへ蒸留することで優れた結果が得られる一方、小型モデルに大規模RLを頼らせる場合は膨大な計算資源が必要になり、それでも蒸留による性能には及ばない可能性があることが確認されたと報告しています。実際に、蒸留によって作成されたDeepSeek-R1-Distill-Qwen-7BはAIME 2024で55.5%のスコアを記録し既存のオープンソースモデルQwQ-32B-Previewを上回り、14Bモデルも同モデルを大幅に上回る性能を示したとされています。既存Referenceでは、知識蒸留の基本的な仕組みや、DistilBERT・グラフ畳み込みネットワーク（GCN）への適用事例には触れられていますが、大規模強化学習との直接比較によって蒸留の優位性が実証された、より最近の大規模推論モデルの事例には言及がありません。