提供形態の異なるAIモデルを共通の土俵で比較するにはどうすればよいですか？

Arenaの公開リーダーボードを参照する方法があります。前身のChatbot Arena以来、匿名対戦への人間投票という同一の手法で多数のモデルを順位付けしており、提供形態によらず共通の基準で比較結果を確認できます。手法の詳細はarXiv論文で確認できます。

実績・根拠

• —ev-arena-ai-1
• —ev-arena-ai-3

向いている相談

モデル選定時に第三者の比較評価を参照したい相談

他の選択肢との違い

同一手法による横断的な順位付け

よくある質問

リーダーボードはどこで見られますか？

arena.ai で公開されています。

情報ソース

• Official
  Arena — About検証待ち公式サイトを見る
• Source
  Chatbot Arena: An Open Platform for Evaluating LLMs (arXiv)検証待ち出典を見る