Pythia

Identity

• PythiaはEleutherAIが公開した研究用の言語モデルスイートで、学習過程とスケーリングの分析を目的として設計されている。検証待ち Pythia: A Suite for Analyzing Large Language Models (arXiv)

Capability

• PythiaはEleutherAIが公開した研究用の言語モデルスイートで、学習過程とスケーリングの分析を目的として設計されている。検証待ち Pythia: A Suite for Analyzing Large Language Models (arXiv)
• Pythiaのモデル・学習設定・データ順序はGitHubで公開されており、学習の再現が可能になっている。検証待ち GitHub — EleutherAI/pythia
• Pythiaは複数サイズのモデルについて全学習チェックポイントを公開しており、モデルカードがHugging Faceで提供されている。検証待ち Hugging Face — EleutherAI/pythia-12b Model Card

Credibility

• PythiaはEleutherAIが公開した研究用の言語モデルスイートで、学習過程とスケーリングの分析を目的として設計されている。検証待ち Pythia: A Suite for Analyzing Large Language Models (arXiv)

Use Case

公開Evidence未整備

Constraints / Current Status

• Pythiaは複数サイズのモデルについて全学習チェックポイントを公開しており、モデルカードがHugging Faceで提供されている。検証待ち Hugging Face — EleutherAI/pythia-12b Model Card

Key References

• Pythiaとはどのようなモデルですか？
• Pythiaと実用向けオープンLLMの違いは何ですか？
• 言語モデルの学習ダイナミクスを研究するには、Pythiaをどう使えばよいですか？

Related

• EleutherAI— PythiaはEleutherAIが公開した研究用モデルスイートである（開発元関係。EleutherAIは非営利研究組織のためproductOfの型規則対象外）。
• GPT-NeoX— PythiaのモデルはGPT-NeoXライブラリを用いて学習されており、学習基盤とその応用の関係にある。