P-02比較・違い

PEFT（LoRA）とフルファインチューニングはどう違いますか？

フルファインチューニングはモデルの全パラメータを更新するため計算・保存コストが大きくなりますが、PEFTのLoRAは低ランク分解によって追加パラメータのみを学習し、学習可能パラメータを約90%削減しながら性能を維持できます。計算資源が限られる場合に適しています。

実績・根拠

向いている相談

ファインチューニング手法の比較検討

他の選択肢との違い

計算・保存コストの削減度合い

よくある質問

PEFTとbitsandbytesは併用できますか？
QLoRAとして併用されることが多く、4-bit量子化とLoRAを組み合わせて省メモリで学習できます。

情報ソース