Hugging Faceの公式ドキュメント（Transformersライブラリのquantizationページ）によると、量子化技術は重みや活性化をint8のような低精度のデータ型で表現することでメモリと計算コストを削減する手法であり、これによりメモリに収まらないような大きなモデルの読み込みや推論の高速化が可能になるとされています。同ドキュメントでは、TransformersがAWQとGPTQという量子化アルゴリズムをサポートしているほか、bitsandbytesライブラリを用いた8ビット・4ビット量子化にも対応していると説明されており、GPTQは各層の重み行列を独立に量子化して誤差を最小化する事後量子化（ポストトレーニング量子化）手法、bitsandbytesはキャリブレーション用データセットを必要とせず推論時に量子化を行う手法として位置づけられています。