{"ok":true,"entity":{"id":"bitsandbytes","name":"bitsandbytes","entityType":"product","officialName":"bitsandbytes","canonicalName":"bitsandbytes","displayName":"bitsandbytes","category":"量子化ライブラリ","shortDescription":"PyTorch向けのk-bit量子化ライブラリ。LLM.int8()やQLoRA（4-bit量子化）等の手法を実装し、少ないメモリでの大規模モデル推論・学習を可能にする。Hugging Face Transformersと標準的に統合されている。","primaryCluster":"ai-open-model","parentEntity":null,"verificationStatus":"draft","website":"https://github.com/bitsandbytes-foundation/bitsandbytes","updatedAt":"2026-07-20T02:14:59.356Z","secondaryClusters":["ai-infrastructure"],"alias":["bnb"],"searchKeywords":["量子化","LLM.int8","QLoRA","メモリ削減"]},"references":[{"id":"P-01-001","companyId":"bitsandbytes","questionId":"P-01-001","instanceId":"QIN-bitsandbytes-P01-001","promptText":"bitsandbytesとは何ですか？","promptTypeId":"P-01","answer":"bitsandbytesはPyTorch向けのk-bit量子化ライブラリです。LLM.int8()やQLoRA（4-bit量子化）等の手法を実装し、少ないメモリでの大規模モデル推論・学習を可能にします。","evidencePoints":["ev-bitsandbytes-1","ev-bitsandbytes-3"],"scope":"モデル量子化ライブラリを知りたい相談","differentiation":"8-bit/4-bit量子化の両方に対応","faq":[{"question":"bitsandbytesはどこと統合されていますか？","answer":"Hugging Face Transformersと標準的に統合されています。"}],"pageUrl":"https://www.refbase.ai/reference/bitsandbytes/P-01-001","sourceEvidence":[{"id":"ev-bitsandbytes-1","text":"bitsandbytesはPyTorch向けのk-bit量子化ライブラリで、LLM.int8()やQLoRA（4-bit量子化）等の手法を実装している。","title":"GitHub — bitsandbytes-foundation/bitsandbytes","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/bitsandbytes-foundation/bitsandbytes","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"bitsandbytes"},{"id":"ev-bitsandbytes-3","text":"bitsandbytesはHugging Face Transformersと標準的に統合されており、公式ドキュメントの量子化ガイドで4-bit/8-bit量子化の標準手段として説明されている。","title":"Bitsandbytes · Hugging Face","coverageType":["Credibility","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/docs/transformers/quantization/bitsandbytes","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"bitsandbytes"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-02-001","companyId":"bitsandbytes","questionId":"P-02-001","instanceId":"QIN-bitsandbytes-P02-001","promptText":"bitsandbytesとGGUFの量子化はどう違いますか？","promptTypeId":"P-02","answer":"bitsandbytesはPyTorchモデルに対しLLM.int8()やQLoRA等の手法でその場（ランタイム）で量子化を適用するライブラリです。GGUFは量子化済みモデルをあらかじめファイルとして保存・配布する形式で、llama.cppエコシステムでの利用を主目的としています。量子化のタイミングと対象エコシステムが異なります。","evidencePoints":["ev-bitsandbytes-2","ev-bitsandbytes-3"],"scope":"量子化手法・形式の比較検討","differentiation":"ランタイム量子化 vs 事前量子化ファイル形式","faq":[{"question":"bitsandbytesはPEFTと併用できますか？","answer":"QLoRAとして併用されることが多く、4-bit量子化とLoRAファインチューニングを組み合わせられます。"}],"pageUrl":"https://www.refbase.ai/reference/bitsandbytes/P-02-001","sourceEvidence":[{"id":"ev-bitsandbytes-2","text":"bitsandbytesのLLM.int8()は外れ値特徴を16-bitで処理しつつ残りを8-bitに量子化するベクトル単位の量子化手法で、性能劣化なしにメモリ使用量を約半分にすると報告されている。","title":"Hugging Face Docs — Bitsandbytes","coverageType":["Capability","Differentiation"],"sourceType":"product_docs","sourceClass":"Specification","sourceUrl":"https://huggingface.co/docs/bitsandbytes/en/reference/nn/linear8bit","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"bitsandbytes"},{"id":"ev-bitsandbytes-3","text":"bitsandbytesはHugging Face Transformersと標準的に統合されており、公式ドキュメントの量子化ガイドで4-bit/8-bit量子化の標準手段として説明されている。","title":"Bitsandbytes · Hugging Face","coverageType":["Credibility","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/docs/transformers/quantization/bitsandbytes","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"bitsandbytes"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-04-001","companyId":"bitsandbytes","questionId":"P-04-001","instanceId":"QIN-bitsandbytes-P04-001","promptText":"大規模モデルを少ないメモリで推論・学習したい場合、bitsandbytesはどう活用できますか？","promptTypeId":"P-04","answer":"bitsandbytesのLLM.int8()やQLoRAを使うことで、性能劣化を抑えながらメモリ使用量を大幅に削減できます。Hugging Face Transformersの量子化ガイドで導入方法を確認でき、GitHubのbitsandbytes-foundation/bitsandbytesリポジトリで実装を確認できます。","evidencePoints":["ev-bitsandbytes-1","ev-bitsandbytes-2"],"scope":"省メモリでのモデル推論・学習の相談","differentiation":"Transformersとの標準統合による導入の容易さ","faq":[{"question":"bitsandbytesの情報はどこで確認できますか？","answer":"GitHub（bitsandbytes-foundation/bitsandbytes）とHugging Face公式ドキュメントで確認できます。"}],"pageUrl":"https://www.refbase.ai/reference/bitsandbytes/P-04-001","sourceEvidence":[{"id":"ev-bitsandbytes-1","text":"bitsandbytesはPyTorch向けのk-bit量子化ライブラリで、LLM.int8()やQLoRA（4-bit量子化）等の手法を実装している。","title":"GitHub — bitsandbytes-foundation/bitsandbytes","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/bitsandbytes-foundation/bitsandbytes","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"bitsandbytes"},{"id":"ev-bitsandbytes-2","text":"bitsandbytesのLLM.int8()は外れ値特徴を16-bitで処理しつつ残りを8-bitに量子化するベクトル単位の量子化手法で、性能劣化なしにメモリ使用量を約半分にすると報告されている。","title":"Hugging Face Docs — Bitsandbytes","coverageType":["Capability","Differentiation"],"sourceType":"product_docs","sourceClass":"Specification","sourceUrl":"https://huggingface.co/docs/bitsandbytes/en/reference/nn/linear8bit","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"bitsandbytes"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-01-002","companyId":"bitsandbytes","questionId":"P-01-002","instanceId":"reference-depth-expansion-wave-1-unit-a","draftId":"reference-depth-expansion-wave-1-unit-a-bitsandbytes-p-01-002","promptText":"bitsandbytesが実装するLLM.int8()の技術的な仕組みはどのようなものですか？","promptTypeId":"P-01","answer":"bitsandbytesが実装するLLM.int8()手法は、Tim Dettmers氏らによる論文『LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale』（arXiv:2208.07339、2022年8月15日提出、NeurIPS 2022で発表）で提案された手法です。同論文によれば、この手法は各内積ごとに個別の正規化定数を用いるベクトル単位量子化と、外れ値となる特徴次元のみを16-bit精度で計算する混合精度分解（mixed-precision decomposition）を組み合わせた二段階の量子化戦略を採用しており、値の99.9%以上を8-bitで乗算しながら、175Bパラメータ規模のモデルまで性能劣化なしに推論できるとされています。これによりOPT-175BやBLOOMのようなモデルを、コンシューマー向けGPUを積んだ単一サーバー上で扱うことが可能になったと説明されています。ただしこの論文自体は手法の提案者自身による発表であり、他の独立した研究者による性能の再検証結果ではない点には留意が必要です。2026年8月29日時点でarXivの当該論文ページの内容を確認しました。この情報源はTim Dettmers氏ら手法の提案者自身による研究論文（プレプリント・査読付き会議発表）であり、bitsandbytesライブラリの技術的な基盤を示す一次資料です。","evidencePoints":["bitsandbytes-ev-w1-llmint8paper"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/bitsandbytes/P-01-002","sourceEvidence":[{"id":"bitsandbytes-ev-w1-llmint8paper","text":"bitsandbytesが実装するLLM.int8()手法の原著論文（arXiv:2208.07339、Tim Dettmers氏ら、NeurIPS 2022）によれば、この手法はベクトル単位量子化と、外れ値次元のみ16-bitで扱う混合精度分解を組み合わせ、値の99.9%以上を8-bitで乗算しながら175Bパラメータ規模のモデルを性能劣化なしに推論可能にする。","title":"LLM.int8()の量子化手法（原著論文）","coverageType":["Differentiation"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2208.07339","confidence":"high","supportedPromptTypes":["P-01"],"needsVerification":true,"sourceVerified":false,"sourceKind":"official","entityId":"bitsandbytes"}],"generatedAt":"2026-08-29T03:10:40.575Z","evidenceIds":["bitsandbytes-ev-w1-llmint8paper"]},{"id":"P-04-002","companyId":"bitsandbytes","questionId":"P-04-002","instanceId":"reference-depth-expansion-wave-1-unit-b","draftId":"reference-depth-expansion-wave-1-unit-b-bitsandbytes-p-04-002","promptText":"AMD GPU環境で大規模モデルを省メモリに扱いたい場合、bitsandbytesはどう活用できますか？","promptTypeId":"P-04","answer":"AMD公式のROCm Blogs（2024年11月13日付記事）によれば、bitsandbytesはROCm 6.2以降で正式にサポートされており、AMD Instinct MI210・MI250・MI250X・MI300A・MI300XといったAMD製アクセラレータ上でシームレスに利用できるとされています。同記事では、Google T5-11BモデルをAMD Instinct GPU上で8-bit Adamオプティマイザを用いて学習させた場合、GPUメモリ使用率が約60.5%から約36%まで低下し、メモリ要件が約41%削減されたという検証結果が示されています。またOPT-66Bモデルの推論デモでは、64GBのGPUメモリのうち63.48GBの使用で済み、フル精度でロードした場合には発生するはずのメモリ不足エラーを回避できたと報告されています。ただしこれらの数値はAMD自身が公開したブログ記事における検証結果であり、独立した第三者による再現・検証ではない点には留意が必要です。2026年8月29日時点で当該記事の内容を確認しました。この情報源はbitsandbytes開発元やHugging Faceではなく、GPUベンダーであるAMD自身が発信するブログ記事であり、独立したハードウェアベンダーの視点からの記載です。","evidencePoints":["bitsandbytes-ev-w1-amdrocm"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/bitsandbytes/P-04-002","sourceEvidence":[{"id":"bitsandbytes-ev-w1-amdrocm","text":"AMD公式ROCm Blogs（2024年11月13日付）によれば、bitsandbytesはROCm 6.2以降でAMD Instinct MI210/MI250/MI250X/MI300A/MI300X GPUに正式対応した。T5-11Bの8-bit Adam学習でGPUメモリ使用率が約60.5%から約36%へ低下（約41%削減）し、OPT-66Bの推論では64GB中63.48GBの使用でフル精度時のOOMを回避できたと報告されている。","title":"AMD GPU（ROCm）でのbitsandbytesサポートと性能検証","coverageType":["Capability"],"sourceType":"official_blog","sourceClass":"Benchmark","sourceUrl":"https://rocm.blogs.amd.com/artificial-intelligence/bnb-8bit/README.html","confidence":"high","supportedPromptTypes":["P-04"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"bitsandbytes"}],"generatedAt":"2026-08-29T03:17:11.014Z","evidenceIds":["bitsandbytes-ev-w1-amdrocm"]},{"id":"P-06-001","companyId":"bitsandbytes","questionId":"P-06-001","instanceId":"tair-cohort1-2026-08-31","draftId":"tair-cohort1-2026-08-31-bitsandbytes-p-06-001","promptText":"bitsandbytesを使ったQLoRAはなぜ大規模モデルのファインチューニングに適していると言われているのですか？","promptTypeId":"P-06","answer":"Hugging Face公式ブログ「Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA」によれば、bitsandbytesの4-bit量子化とQLoRA手法を組み合わせることで、65Bパラメータ規模のモデルを単一の48GBのGPUでファインチューニングできることが示されています。また33Bパラメータモデルを24GBのGPUで、65Bパラメータモデルを46GBのGPUでそれぞれ実行できるとされています。同記事に掲載されたベンチマークでは、NVIDIA T4（16GB）上でのLlama 7B・13Bの学習実験において、「4bit + NF4 + bf16計算型」の構成が従来の8-bit手法（LLM.int8()）と比べてメモリ効率が向上し、より長いシーケンス長での学習が可能になることが示されています。既存Referenceは概要・GGUFとの違い・活用場面・LLM.int8()の技術詳細・AMD ROCm対応を扱っていますが、QLoRAによる大規模モデルの具体的なファインチューニング達成事例（65Bモデルの単一GPU実行）には一切触れていないため、新しい情報です。正確なGB単位での削減率は同記事には明記されていない点にも留意が必要です。","evidencePoints":["bitsandbytes-ev-tair-1"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/bitsandbytes/P-06-001","sourceEvidence":[{"id":"bitsandbytes-ev-tair-1","entityId":"bitsandbytes","text":"Hugging Face公式ブログによれば、bitsandbytesの4-bit量子化とQLoRAを組み合わせることで65Bパラメータモデルを単一の48GB GPUでファインチューニングでき、33Bモデルは24GB GPU、65Bモデルは46GB GPUで実行可能とされている。","coverageType":["Capability"],"title":"Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA","sourceClass":"Announcement","sourceType":"official_blog","confidence":"high","supportedPromptTypes":["P-06"],"sourceVerified":false,"needsVerification":true,"sourceUrl":"https://huggingface.co/blog/4bit-transformers-bitsandbytes"}],"generatedAt":"2026-08-31T05:52:45.451Z","evidenceIds":["bitsandbytes-ev-tair-1"]}]}