ワシントン大学の研究者らによる論文「QLoRA: Efficient Finetuning of Quantized LLMs」（arXiv:2305.14314、Dettmers et al., 2023）によれば、PEFTがサポートするQLoRA手法（4bit量子化とLoRAの組み合わせ）を用いることで、65Bパラメータのモデルを1枚の48GB GPU上で、16bitフルファインチューニングと同等の性能を保ちながらファインチューニングできるとされています。同論文は正規分布重みに情報理論的に最適な新しいデータ型「4bit NormalFloat（NF4）」に加え、二重量子化やページングオプティマイザを導入しています。この手法で作られたGuanacoモデル群は、単一GPUでわずか24時間のファインチューニングでChatGPT性能の99.3%に到達し、公開されていた従来モデルをVicunaベンチマークで上回ったと報告されています。