P-05出典・引用

AIチップの性能を公正かつ標準化された方法で比較・検証できる、業界標準のベンチマークはありますか?

業界団体MLCommonsが運営する公式ベンチマーク「MLPerf」が、この目的のための業界標準として広く用いられている。MLCommons公式ページによれば、MLPerfはシステムがトレーニング済みモデルを用いて入力をどれだけ速く処理し結果を出力できるかを、データセンターからモバイル端末まで様々な展開環境で測定する仕組みであり、専門家コミュニティによるワーキンググループがAIモデル・データセット・許容されるモデル改変・ハードウェア性能指標といった評価条件を公正に定義している。MLCommonsはこの枠組みにより、①公正な比較、②進歩の加速、③再現性、④商用・研究両セクターへの貢献、⑤参加コストの手頃さ、という5つの目的を掲げており、ベンダー独自の主張ではなく業界横断のインフラとして標準化・再現可能なAIチップ評価を提供している。

実績・根拠

情報ソース