NVIDIA公式開発者ブログ（developer.nvidia.com）によると、MLPerf Inference（MLCommonsが運営する業界標準の第三者監査ベンチマーク）において、NVIDIAのBlackwell UltraベースのGB300 NVL72システムはTensorRT-LLMを用いてDeepSeek-R1モデルのオフライン推論で1GPUあたり毎秒5,842トークンを達成し、前世代のGB200 NVL72比で45%の性能向上、Hopperベースのシステム比で約5倍のスループットを記録したとされています。TensorRT-LLMはDeepSeek-R1の重みをNVFP4形式に量子化し、KVキャッシュをFP8精度に量子化する処理や、専門家混合（MoE）・アテンション向けにカスタム設計されたカーネル、Attention Data Parallelism Balance（ADP Balance）という新技術の実装を担ったと説明されています。MLPerfはNVIDIA以外の企業を含む多数のベンダーが参加する第三者監査付きベンチマークであるため、この記録は独立した検証プロセスを経た数値といえます。