Meta AI公式の研究論文紹介ページ「Code Llama: Open Foundation Models for Code」によれば、Code Llamaはオープンモデルの中でコードベンチマークにおいて最高水準の性能を達成しており、HumanEvalで最大53%、MBPPで最大55%のスコアを記録しているとされる。特に注目される結果として、同ページは「Code Llama - Python 7BはHumanEvalとMBPPの両方でLlama 2 70Bを上回る」と明記している。つまり、コード生成に特化して追加学習された70億パラメータのモデルが、コードに特化していない700億パラメータの汎用モデルよりも優れたコード生成性能を示したことになる。Code Llamaは7B・13B・34Bの3つのパラメータ規模で提供され、いずれも16,000トークンの系列で学習されており、最大10万トークンの入力でも性能改善が確認されているという。この結果は、モデルサイズを単純に大きくするより、用途に応じた特化学習の方が効率的に高い性能を引き出せる場合があることを示す根拠となる。