P-03ランキング・候補

Yi-34Bはより大きなパラメータ数を持つ他のオープンモデルと比べてどのような性能を示していますか?

独立系テクノロジーメディアVentureBeatが2023年11月6日に報じた記事によると、01.AIが開発した340億パラメータのYi-34Bは、Metaの700億パラメータ『Llama 2-70B』や、Technology Innovation Instituteの1,800億パラメータ『Falcon-180B』といった、自身よりもはるかに大きいパラメータ数のモデルを上回るベンチマーク結果を示しました。具体的にはMMLU(大規模マルチタスク言語理解ベンチマーク)でYi-34Bが76.3点を獲得したのに対し、Llama 2は68.9点、Falconは70.4点にとどまっています。また推論・読解のタスクでもYi-34Bは80.1点・76.4点を記録し、Llama 2の71.9点・69.4点を上回りました。34Bという相対的に小さいパラメータ数でこの性能を達成した点が、コスト効率の観点からも注目されています。

実績・根拠

情報ソース