Tim Dettmers氏らが発表した論文「LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale」（arXiv:2208.07339）によると、LLM.int8()はTransformerのfeed-forward層とattention投影層に対するInt8行列乗算の手法で、推論に必要なメモリを半減させながら、完全精度と同等の性能を維持できるとされています。具体的な手法としては、ほとんどの特徴量にはベクトル単位の量子化を適用し、外れ値となる次元のみを16ビット演算として切り出す混合精度分解を組み合わせることで、99.9%以上の値を8ビット形式に保ちながら性能低下を防いでいます。この手法により、1750億パラメータのモデル（OPT-175BやBLOOM等）を性能を落とさずにコンシューマー向けGPUを搭載した単一サーバー上で扱えるようになったと報告されています。既存のReferenceはAWQ・GPTQ・bitsandbytesといった手法の概要や、学習時と学習後の量子化の違いを扱っていますが、LLM.int8()という具体的な量子化技術の詳細な効果には触れていないため新規性があります。