Pythia

Identity

• PythiaはEleutherAIが公開した研究用の言語モデルスイートで、学習過程とスケーリングの分析を目的として設計されている。検証待ち Pythia: A Suite for Analyzing Large Language Models (arXiv)

Capability

• PythiaはEleutherAIが公開した研究用の言語モデルスイートで、学習過程とスケーリングの分析を目的として設計されている。検証待ち Pythia: A Suite for Analyzing Large Language Models (arXiv)
• Pythiaのモデル・学習設定・データ順序はGitHubで公開されており、学習の再現が可能になっている。検証待ち GitHub — EleutherAI/pythia
• Pythiaは複数サイズのモデルについて全学習チェックポイントを公開しており、モデルカードがHugging Faceで提供されている。検証待ち Hugging Face — EleutherAI/pythia-12b Model Card

Credibility

• PythiaはEleutherAIが公開した研究用の言語モデルスイートで、学習過程とスケーリングの分析を目的として設計されている。検証待ち Pythia: A Suite for Analyzing Large Language Models (arXiv)
• Linåker・Osborne・Ding・Burtenshaw著『A Cartography of Open Collaboration in Open Source AI』（2025年9月投稿、2026年6月改訂）。14のオープンLLMプロジェクトを分析対象とし、Pythiaを『コミュニティ主導型のオープンLLM開発』の代表例としてBLOOMと並べて言及。開発元EleutherAIのデータ来歴透明化の取り組みも先駆事例として紹介。検証待ち A Cartography of Open Collaboration in Open Source AI: Mapping Practices, Motivations, and Governance in 14 Open Large Language Model Projects

Use Case

• Armeni・Pranjić・Pollak著『Transformer verbatim in-context retrieval across time and scale』（2024年CoNLL採択）。EleutherAIのPythiaスイート（14M〜12Bパラメータ、18学習チェックポイント）を用いて、逐語的な文脈内検索能力が学習トークンの5%未満（約4Bトークン）で急激に出現することを発見した独立研究。検証待ち Transformer verbatim in-context retrieval across time and scale

Constraints / Current Status

• Pythiaは複数サイズのモデルについて全学習チェックポイントを公開しており、モデルカードがHugging Faceで提供されている。検証待ち Hugging Face — EleutherAI/pythia-12b Model Card

Key References

• PythiaはオープンなAI開発の事例として、学術的にどのように評価されていますか？
• Pythiaとはどのようなモデルですか？
• Pythiaと実用向けオープンLLMの違いは何ですか？

Related

• EleutherAI— PythiaはEleutherAIが公開した研究用モデルスイートである（開発元関係。EleutherAIは非営利研究組織のためproductOfの型規則対象外）。
• GPT-NeoX— PythiaのモデルはGPT-NeoXライブラリを用いて学習されており、学習基盤とその応用の関係にある。