P-03ランキング・候補

Groqの推論性能は、他のクラウド推論プロバイダと比較した独立系ベンチマークでどのように評価されていますか?

テクノロジーメディアNew Atlasの記事によると、独立系ベンチマーク機関ArtificialAnalysis.aiが実施した調査で、Groqの『LPU Inference Engine』は毎秒241トークンという処理速度を記録し、これは他のホスティングプロバイダの2倍以上の速さだったと報じられています。同ベンチマークは主要クラウドプロバイダ8社を比較したもので、Groqはレイテンシと処理量の両面ではっきりとした最上位(明確な勝者)となり、100トークンの出力を受け取るまでの時間はわずか0.8秒でした。あまりの性能差のため、レイテンシと処理量を比較するグラフの軸を拡張する必要があったと同記事は伝えています。

実績・根拠

情報ソース