PEFTライブラリが実装する代表的な手法LoRAは、Microsoftの研究者らによる論文「LoRA: Low-Rank Adaptation of Large Language Models」（arXiv:2106.09685、Hu et al., 2021）に基づいています。同論文は、事前学習済みモデルの重みを固定したまま、各Transformer層に学習可能な低ランク分解行列を挿入する手法を提案しており、GPT-3 175BをAdamでフルファインチューニングする場合と比較して、学習可能パラメータ数を1万分の1に、必要なGPUメモリを3分の1に削減できると報告しています。それにもかかわらず、LoRAはフルファインチューニングと同等かそれ以上のモデル品質を達成し、学習スループットも高く、推論時の追加レイテンシも発生しないとされています。