{"ok":true,"entity":{"id":"peft","name":"PEFT","entityType":"product","officialName":"PEFT (Parameter-Efficient Fine-Tuning)","canonicalName":"PEFT","displayName":"PEFT","category":"ファインチューニングライブラリ","shortDescription":"Hugging Faceが開発するパラメータ効率的ファインチューニング（LoRA・QLoRA等）のためのライブラリ。モデル全体ではなく少数の追加パラメータのみを学習させ、計算・保存コストを大幅に削減する。","primaryCluster":"ai-open-model","parentEntity":"hugging-face","verificationStatus":"draft","website":"https://github.com/huggingface/peft","updatedAt":"2026-07-20T02:14:59.356Z","secondaryClusters":["ai-model"],"alias":["Parameter-Efficient Fine-Tuning"],"searchKeywords":["LoRA","QLoRA","ファインチューニング","Hugging Face"]},"references":[{"id":"P-01-001","companyId":"peft","questionId":"P-01-001","instanceId":"QIN-peft-P01-001","promptText":"PEFTとは何ですか？誰が開発していますか？","promptTypeId":"P-01","answer":"PEFT（Parameter-Efficient Fine-Tuning）はHugging Faceが開発するパラメータ効率的ファインチューニング（LoRA・QLoRA等）のためのライブラリです。モデル全体ではなく少数の追加パラメータのみを学習させます。","evidencePoints":["ev-peft-1","ev-peft-3"],"scope":"効率的なファインチューニング手法を知りたい相談","differentiation":"少数パラメータのみを学習させる設計","faq":[{"question":"PEFTはどのモデルで使えますか？","answer":"Hugging Face Transformersエコシステムのモデルで広く利用できます。"}],"pageUrl":"https://www.refbase.ai/reference/peft/P-01-001","sourceEvidence":[{"id":"ev-peft-1","text":"PEFTはHugging Faceが開発するパラメータ効率的ファインチューニング（LoRA・QLoRA等）のためのライブラリで、モデル全体ではなく少数の追加パラメータのみを学習させる。","title":"GitHub — huggingface/peft","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/huggingface/peft","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"peft"},{"id":"ev-peft-3","text":"PEFTはHugging Face Transformersエコシステムの標準ライブラリとして位置づけられ、Hugging Face公式のsmol-courseの教材でLoRAの実装方法として採用されている。","title":"LoRA and PEFT: Efficient Fine-Tuning · Hugging Face","coverageType":["Credibility","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/learn/smol-course/unit1/3a","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"peft"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-02-001","companyId":"peft","questionId":"P-02-001","instanceId":"QIN-peft-P02-001","promptText":"PEFT（LoRA）とフルファインチューニングはどう違いますか？","promptTypeId":"P-02","answer":"フルファインチューニングはモデルの全パラメータを更新するため計算・保存コストが大きくなりますが、PEFTのLoRAは低ランク分解によって追加パラメータのみを学習し、学習可能パラメータを約90%削減しながら性能を維持できます。計算資源が限られる場合に適しています。","evidencePoints":["ev-peft-2","ev-peft-3"],"scope":"ファインチューニング手法の比較検討","differentiation":"計算・保存コストの削減度合い","faq":[{"question":"PEFTとbitsandbytesは併用できますか？","answer":"QLoRAとして併用されることが多く、4-bit量子化とLoRAを組み合わせて省メモリで学習できます。"}],"pageUrl":"https://www.refbase.ai/reference/peft/P-02-001","sourceEvidence":[{"id":"ev-peft-2","text":"PEFTはPeftModelというラッパーで既存のtransformersモデルを包み、LoRAの低ランク分解によって学習可能パラメータを約90%削減しながら性能を維持できると公式ドキュメントで説明されている。","title":"Parameter-efficient fine-tuning · Hugging Face","coverageType":["Capability","Differentiation"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/docs/transformers/peft","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"peft"},{"id":"ev-peft-3","text":"PEFTはHugging Face Transformersエコシステムの標準ライブラリとして位置づけられ、Hugging Face公式のsmol-courseの教材でLoRAの実装方法として採用されている。","title":"LoRA and PEFT: Efficient Fine-Tuning · Hugging Face","coverageType":["Credibility","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/learn/smol-course/unit1/3a","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"peft"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-04-001","companyId":"peft","questionId":"P-04-001","instanceId":"QIN-peft-P04-001","promptText":"限られた計算資源でオープンモデルをファインチューニングしたい場合、PEFTはどう活用できますか？","promptTypeId":"P-04","answer":"PEFTはPeftModelというラッパーでtransformersモデルを包み、LoRA等の手法で少数のパラメータのみを学習させます。GitHubのhuggingface/peftリポジトリと公式ドキュメントで実装方法を確認できます。","evidencePoints":["ev-peft-1","ev-peft-2"],"scope":"限られた計算資源でのファインチューニング相談","differentiation":"少ない計算資源での学習を可能にする設計","faq":[{"question":"PEFTの情報はどこで確認できますか？","answer":"GitHub（huggingface/peft）と公式ドキュメントで確認できます。"}],"pageUrl":"https://www.refbase.ai/reference/peft/P-04-001","sourceEvidence":[{"id":"ev-peft-1","text":"PEFTはHugging Faceが開発するパラメータ効率的ファインチューニング（LoRA・QLoRA等）のためのライブラリで、モデル全体ではなく少数の追加パラメータのみを学習させる。","title":"GitHub — huggingface/peft","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/huggingface/peft","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"peft"},{"id":"ev-peft-2","text":"PEFTはPeftModelというラッパーで既存のtransformersモデルを包み、LoRAの低ランク分解によって学習可能パラメータを約90%削減しながら性能を維持できると公式ドキュメントで説明されている。","title":"Parameter-efficient fine-tuning · Hugging Face","coverageType":["Capability","Differentiation"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/docs/transformers/peft","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"peft"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-01-002","companyId":"peft","questionId":"P-01-002","instanceId":"reference-depth-completion-run-cohort2-unit-a","draftId":"reference-depth-completion-run-cohort2-unit-a-peft-p-01-002","promptText":"PEFTが実装するLoRAという手法は、どのような研究に基づいていますか？","promptTypeId":"P-01","answer":"PEFTライブラリが実装する代表的な手法LoRAは、Microsoftの研究者らによる論文「LoRA: Low-Rank Adaptation of Large Language Models」（arXiv:2106.09685、Hu et al., 2021）に基づいています。同論文は、事前学習済みモデルの重みを固定したまま、各Transformer層に学習可能な低ランク分解行列を挿入する手法を提案しており、GPT-3 175BをAdamでフルファインチューニングする場合と比較して、学習可能パラメータ数を1万分の1に、必要なGPUメモリを3分の1に削減できると報告しています。それにもかかわらず、LoRAはフルファインチューニングと同等かそれ以上のモデル品質を達成し、学習スループットも高く、推論時の追加レイテンシも発生しないとされています。","evidencePoints":["peft-ev-cr2-lora-original-paper"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/peft/P-01-002","sourceEvidence":[{"id":"peft-ev-cr2-lora-original-paper","text":"Microsoft研究者らによる論文「LoRA: Low-Rank Adaptation of Large Language Models」（arXiv:2106.09685, Hu et al., 2021）は、事前学習済み重みを固定し各Transformer層に低ランク分解行列を挿入する手法により、GPT-3 175Bのフルファインチューニングと比べ学習可能パラメータを1万分の1、GPUメモリ要件を3分の1に削減しながら同等以上の品質を達成すると報告している。","title":"LoRA: Low-Rank Adaptation of Large Language Models","coverageType":["Credibility"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2106.09685","confidence":"high","supportedPromptTypes":["P-01"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"peft"}],"generatedAt":"2026-08-29T14:34:38.294Z","evidenceIds":["peft-ev-cr2-lora-original-paper"]},{"id":"P-04-002","companyId":"peft","questionId":"P-04-002","instanceId":"reference-depth-completion-run-cohort2-unit-b","draftId":"reference-depth-completion-run-cohort2-unit-b-peft-p-04-002","promptText":"限られたGPU資源で非常に大規模なモデルをファインチューニングしたい場合、PEFTのQLoRA（4bit量子化）はどこまで実現できますか？","promptTypeId":"P-04","answer":"ワシントン大学の研究者らによる論文「QLoRA: Efficient Finetuning of Quantized LLMs」（arXiv:2305.14314、Dettmers et al., 2023）によれば、PEFTがサポートするQLoRA手法（4bit量子化とLoRAの組み合わせ）を用いることで、65Bパラメータのモデルを1枚の48GB GPU上で、16bitフルファインチューニングと同等の性能を保ちながらファインチューニングできるとされています。同論文は正規分布重みに情報理論的に最適な新しいデータ型「4bit NormalFloat（NF4）」に加え、二重量子化やページングオプティマイザを導入しています。この手法で作られたGuanacoモデル群は、単一GPUでわずか24時間のファインチューニングでChatGPT性能の99.3%に到達し、公開されていた従来モデルをVicunaベンチマークで上回ったと報告されています。","evidencePoints":["peft-ev-cr2-qlora-paper"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/peft/P-04-002","sourceEvidence":[{"id":"peft-ev-cr2-qlora-paper","text":"ワシントン大学の論文「QLoRA: Efficient Finetuning of Quantized LLMs」（arXiv:2305.14314, Dettmers et al., 2023）は、4bit NormalFloat量子化とLoRAを組み合わせることで65Bパラメータのモデルを単一の48GB GPUで16bitフルファインチューニングと同等の性能を保ちつつ調整できること、Guanacoモデルが単一GPU上24時間の学習でChatGPT性能の99.3%に到達したことを報告している。","title":"QLoRA: Efficient Finetuning of Quantized LLMs","coverageType":["Capability"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2305.14314","confidence":"high","supportedPromptTypes":["P-04"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"peft"}],"generatedAt":"2026-08-29T14:44:28.527Z","evidenceIds":["peft-ev-cr2-qlora-paper"]},{"id":"P-06-001","companyId":"peft","questionId":"P-06-001","instanceId":"tair-cohort4-2026-08-31","draftId":"tair-cohort4-2026-08-31-peft-p-06-001","promptText":"PEFTライブラリを選ぶ理由として、コミュニティでの支持やエコシステムとの統合状況はどうなっていますか？","promptTypeId":"P-06","answer":"PEFTライブラリの採用理由について、GitHub公式リポジトリ（huggingface/peft）のページで確認できます。同リポジトリは21.6千のスター、2.5千のフォークを獲得しており、コミュニティで広く採用されていることを示しています。開発元のHugging Faceは、LoRAを主要な手法として位置づけつつ、Adapters（アダプター）、Soft prompts（ソフトプロンプト）、IA3といった複数のパラメータ効率的ファインチューニング手法もサポートしています。またPEFTは、Hugging Faceエコシステム内のTransformers、Diffusers、Accelerate、TRLといった主要ライブラリと統合されており、テキスト生成モデルだけでなく画像生成モデルや強化学習を用いた学習パイプラインでも利用できる点が特徴です。","evidencePoints":["peft-ev-tair-1"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/peft/P-06-001","sourceEvidence":[{"id":"peft-ev-tair-1","entityId":"peft","text":"GitHub公式リポジトリによると、huggingface/peftは21.6千のスター・2.5千のフォークを獲得している。LoRAを中心にAdapters・Soft prompts・IA3等の複数手法をサポートし、Transformers・Diffusers・Accelerate・TRLといったHugging Faceエコシステムの主要ライブラリと統合されている。","coverageType":["Credibility"],"title":"huggingface/peft: GitHub Repository","sourceClass":"Documentation","sourceType":"github","confidence":"medium","supportedPromptTypes":["P-06"],"sourceVerified":false,"needsVerification":true,"sourceUrl":"https://github.com/huggingface/peft"}],"generatedAt":"2026-08-31T06:45:14.146Z","evidenceIds":["peft-ev-tair-1"]}]}