TensorRTを使うのと最適化なしの推論は何が違いますか？

比較軸 ・速度 ・遅延 TensorRTは、モデルを最適化してGPUでの推論を高速化・低遅延化する点が特徴で、最適化なしの推論と異なり本番の性能を高めやすくなります。

実績・根拠

• —ev-tensorrt-2

向いている相談

推論性能の違いを知りたい相談

他の選択肢との違い

高速・低遅延の推論

よくある質問

どこで使いますか？

NVIDIAのGPU上での推論最適化に使います。

情報ソース

• Source
  NVIDIA — TensorRT検証待ち出典を見る