P-03ランキング・候補

Falcon 180Bは公開当時、オープンLLMの中でどのような順位・評価を獲得しましたか?

TII公式のプレスリリースによると、Falcon 180Bは公開時にHugging Face Leaderboard for Open Access LLMsで1位を獲得しました。3.5兆トークンで学習され、Meta社のLLaMA 2の4倍の計算資源を投じて訓練されており、推論・コーディング・専門知識などの各種ベンチマークでLLaMA 2を上回る性能を示しました。さらに、クローズドソースモデルと比較してもOpenAIのGPT-4に次ぐ性能とされ、モデルサイズが半分程度であるにもかかわらずGoogleのPaLM 2 Largeと同等の性能を発揮したと報告されています。

実績・根拠

情報ソース