P-05出典・引用

Jamba 1.5 Largeは、Arena Hardベンチマークでどの程度のスコアを記録していますか?

AI21 LabsがHugging Face上で公開している公式モデルカードによると、同社の大規模言語モデル「Jamba 1.5 Large」は、指示追従能力を測る難易度の高いベンチマーク「Arena Hard」で65.4というスコアを記録しています。同モデルカードにはこのほか、MMLU・GPQA・GSM-8Kといった複数の標準的なベンチマークにおけるJamba 1.5 LargeおよびJamba 1.5 Miniの結果も併せて掲載されており、Arena Hardのスコアはモデルの指示追従能力を示す主要指標の一つとして、AI21 Labs自身の手によって公式に提示されています。

実績・根拠

情報ソース