量子化は、モデルの数値精度(例: 32ビットから8ビットや4ビット)を下げて、メモリ使用量と計算量を削減する最適化手法です。推論の軽量化・高速化に使われます。
モデル最適化を知りたい相談
精度を下げて軽量化する