Code Llama

Identity

• Code LlamaはMetaが公開したコード生成特化の大規模言語モデルで、Llama 2をベースにコードデータで追加学習されている。検証待ち Meta AI Blog — Introducing Code Llama

Capability

• Code LlamaはMetaが公開したコード生成特化の大規模言語モデルで、Llama 2をベースにコードデータで追加学習されている。検証待ち Meta AI Blog — Introducing Code Llama
• Code Llamaの推論コードとモデルへのアクセス方法はGitHubで公開されており、基盤・Python特化・Instructの3系列が提供される。検証待ち GitHub — meta-llama/codellama
• 独立系テクノロジーメディアVentureBeatの報道（2024年1月29日）によれば、Metaは同日Code Llamaの700億パラメータ版Code Llama 70Bを公開した。500億トークンのコード関連データで学習され、Python特化版にはさらに1000億トークンが追加学習されており、10万トークンのコンテキストウィンドウを持つ。指示追従版CodeLlama-70B-InstructはHumanEvalベンチマークで67.8のスコアを記録し、CodeGen-16B-Mono（29.3）やStarCoder（40.1）を上回り、GPT-4（68.2）やGemini Pro（69.4）に匹敵する水準だったと報じられている。検証待ち Code Llama 70BのHumanEvalベンチマーク性能

Credibility

• Code Llamaの技術詳細と評価はarXiv論文として公開されている。検証待ち Code Llama: Open Foundation Models for Code (arXiv)

Use Case

公開Evidence未整備

Constraints / Current Status

• Code Llamaの推論コードとモデルへのアクセス方法はGitHubで公開されており、基盤・Python特化・Instructの3系列が提供される。検証待ち GitHub — meta-llama/codellama
• オープンソースの定義を管理する非営利団体Open Source Initiative（OSI）が公式ブログで指摘した内容によれば、Code Llamaを含むLlama 2 Community Licenseは、Open Source Definitionが要求する『個人や利用分野を差別しない』という条件を満たしていない。月間アクティブユーザー数が7億人を超える事業者への商用利用制限（第2項）や、規制物質・重要インフラでの利用等を制限するAcceptable Use Policyが存在するためである。OSIはこれにより、Code Llamaのようなモデルは『一部の条件下で一部の利用者に提供されるリソース』であり、真のオープンソースソフトウェアとは性質が異なると説明している。検証待ち OSIによるLlama 2 Community License（Code Llamaのライセンス）の非オープンソース性の指摘
• Meta AI公式の研究紹介ページによれば、Code Llama - Python 7BはHumanEvalとMBPPの両ベンチマークにおいて、コード特化学習を行っていない汎用モデルであるLlama 2 70Bの性能を上回っている。検証待ち Code Llama: Open Foundation Models for Code | Research - AI at Meta

Key References

• Code Llamaの中でも比較的小規模なPython特化モデルは、より大きな汎用モデルと比べてコード生成性能でどう評価されていますか？
• Code Llamaとはどのようなモデルですか？
• Code LlamaとLlamaの関係・違いは何ですか？

Part of

• Meta— Code LlamaはMetaが開発・公開したコード生成特化モデルである。

Related

• Llama— Code LlamaはLlama 2をベースにコードデータで追加学習した派生モデルである（ベース・派生の系譜関係）。
• Codestral— Codestralはコード生成特化モデルとして、Metaが開発したCode Llamaと比較検討される対象である。