PEFT

Identity

• PEFTはHugging Faceが開発するパラメータ効率的ファインチューニング（LoRA・QLoRA等）のためのライブラリで、モデル全体ではなく少数の追加パラメータのみを学習させる。検証待ち GitHub — huggingface/peft

Capability

• PEFTはHugging Faceが開発するパラメータ効率的ファインチューニング（LoRA・QLoRA等）のためのライブラリで、モデル全体ではなく少数の追加パラメータのみを学習させる。検証待ち GitHub — huggingface/peft
• PEFTはPeftModelというラッパーで既存のtransformersモデルを包み、LoRAの低ランク分解によって学習可能パラメータを約90%削減しながら性能を維持できると公式ドキュメントで説明されている。検証待ち Parameter-efficient fine-tuning · Hugging Face
• PEFTはHugging Face Transformersエコシステムの標準ライブラリとして位置づけられ、Hugging Face公式のsmol-courseの教材でLoRAの実装方法として採用されている。検証待ち LoRA and PEFT: Efficient Fine-Tuning · Hugging Face

Credibility

• PEFTはHugging Face Transformersエコシステムの標準ライブラリとして位置づけられ、Hugging Face公式のsmol-courseの教材でLoRAの実装方法として採用されている。検証待ち LoRA and PEFT: Efficient Fine-Tuning · Hugging Face

Use Case

公開Evidence未整備

Constraints / Current Status

• PEFTはPeftModelというラッパーで既存のtransformersモデルを包み、LoRAの低ランク分解によって学習可能パラメータを約90%削減しながら性能を維持できると公式ドキュメントで説明されている。検証待ち Parameter-efficient fine-tuning · Hugging Face

Key References

• PEFTとは何ですか？誰が開発していますか？
• PEFT（LoRA）とフルファインチューニングはどう違いますか？
• 限られた計算資源でオープンモデルをファインチューニングしたい場合、PEFTはどう活用できますか？

Part of

• Hugging Face— PEFTはHugging Faceが開発・提供するファインチューニングライブラリである。

Integrates With

• Transformers— PEFTはHugging Face Transformersのモデルをラップして動作する設計になっている。
• Unsloth— UnslothはPEFTのLoRA手法をさらに高速化・省メモリ化する形で連携する。

Related

• bitsandbytes— PEFTのLoRAとbitsandbytesの4-bit量子化はQLoRAとして組み合わせて利用されることが多い。