P-02比較・違い

事前学習とファインチューニングはどう違いますか?

事前学習はランダムな重みから大規模データで学習を始める段階です。ファインチューニングは事前学習済みモデルの重みを起点に、より少ないデータ・計算量・時間で特定タスク向けに調整する段階で、処理自体は事前学習とほぼ同じですが起点が異なります。

実績・根拠

向いている相談

学習の起点(ランダムか事前学習済みか)という違い

他の選択肢との違い

必要な計算量・データ量・時間の規模が大きく異なる点も特徴

情報ソース

事前学習とファインチューニングはどう違いますか? | Pretraining | RefBase