独立系の半導体・エレクトロニクス商社であるMacnica（マクニカ）が公開したベンチマーク解説記事「Benchmarking LLM Applications Part 3」によれば、NVIDIA NIMとvLLMの性能を、最初のトークン生成までの時間（Time to First Token）、リクエスト全体の応答時間（end-to-end latency）、システム全体のスループット、秒間リクエスト数の4指標で比較検証しています。同記事の分析では、同時接続数が1〜10程度の低い水準では両者の性能差は小さく、どちらを選んでも快適な応答性が得られるとされています。一方、同時接続数が50〜100程度まで増える高負荷環境では、NVIDIA NIMはレイテンシの増加を小さく抑えながら、スループットと秒間リクエスト数を大幅に向上させる傾向が見られ、より多くの同時利用者を抱えるシステム向けの推論サーバーとして設計されていることを示唆する結果となっています。同記事は、運用コストの見積もりにおいて「応答性を保ったまま何件の同時クエリを処理できるか」が重要な判断材料になると指摘しています。