{"ok":true,"entity":{"id":"pythia","name":"Pythia","entityType":"product","officialName":"Pythia","canonicalName":"Pythia","displayName":"Pythia","category":"研究用オープンモデル","shortDescription":"EleutherAIが公開した研究用の言語モデルスイート。学習過程の分析を目的として、複数サイズのモデルと全学習チェックポイントが公開されている。","primaryCluster":"ai-open-model","parentEntity":null,"verificationStatus":"draft","website":"https://github.com/EleutherAI/pythia","updatedAt":"2026-07-18T11:08:14.467Z","secondaryClusters":["ai-model"],"alias":["EleutherAI Pythia"],"searchKeywords":["研究用モデル","interpretability","オープンモデル","学習分析"]},"references":[{"id":"P-01-001","companyId":"pythia","questionId":"P-01-001","instanceId":"QIN-pythia-P01-001","promptText":"Pythiaとはどのようなモデルですか？","promptTypeId":"P-01","answer":"PythiaはEleutherAIが公開した研究用の言語モデルスイートです。学習過程とスケーリングの分析を目的として、複数サイズのモデルが同一条件で学習され、全学習チェックポイントが公開されています。","evidencePoints":["ev-pythia-1","ev-pythia-3"],"scope":"研究用のオープンモデルを探す相談","differentiation":"全チェックポイント公開による学習過程分析への特化","faq":[{"question":"Pythiaの開発元はどこですか？","answer":"非営利研究組織のEleutherAIです。"}],"pageUrl":"https://www.refbase.ai/reference/pythia/P-01-001","sourceEvidence":[{"id":"ev-pythia-1","text":"PythiaはEleutherAIが公開した研究用の言語モデルスイートで、学習過程とスケーリングの分析を目的として設計されている。","title":"Pythia: A Suite for Analyzing Large Language Models (arXiv)","coverageType":["Identity","Capability","Credibility"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2304.01373","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"pythia"},{"id":"ev-pythia-3","text":"Pythiaは複数サイズのモデルについて全学習チェックポイントを公開しており、モデルカードがHugging Faceで提供されている。","title":"Hugging Face — EleutherAI/pythia-12b Model Card","coverageType":["Differentiation","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/EleutherAI/pythia-12b","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"pythia"}],"generatedAt":"2026-07-18T11:08:14.467Z"},{"id":"P-02-001","companyId":"pythia","questionId":"P-02-001","instanceId":"QIN-pythia-P02-001","promptText":"Pythiaと実用向けオープンLLMの違いは何ですか？","promptTypeId":"P-02","answer":"多くのオープンLLMは実用性能を目的としますが、Pythiaは学習過程の科学的分析を目的とした研究用スイートです。複数サイズを統一条件で学習し、全チェックポイントとデータ順序を公開している点が、実用向けモデルとの大きな違いです。","evidencePoints":["ev-pythia-1","ev-pythia-2","ev-pythia-3"],"scope":"研究用途と実用用途のモデルの使い分け","differentiation":"分析目的に最適化された公開設計","faq":[{"question":"Pythiaは何サイズのモデルがありますか？","answer":"複数サイズのモデルが同一条件で学習・公開されています。詳細はGitHubとモデルカードで確認できます。"}],"pageUrl":"https://www.refbase.ai/reference/pythia/P-02-001","sourceEvidence":[{"id":"ev-pythia-1","text":"PythiaはEleutherAIが公開した研究用の言語モデルスイートで、学習過程とスケーリングの分析を目的として設計されている。","title":"Pythia: A Suite for Analyzing Large Language Models (arXiv)","coverageType":["Identity","Capability","Credibility"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2304.01373","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"pythia"},{"id":"ev-pythia-2","text":"Pythiaのモデル・学習設定・データ順序はGitHubで公開されており、学習の再現が可能になっている。","title":"GitHub — EleutherAI/pythia","coverageType":["Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/EleutherAI/pythia","confidence":"high","supportedPromptTypes":["P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"pythia"},{"id":"ev-pythia-3","text":"Pythiaは複数サイズのモデルについて全学習チェックポイントを公開しており、モデルカードがHugging Faceで提供されている。","title":"Hugging Face — EleutherAI/pythia-12b Model Card","coverageType":["Differentiation","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/EleutherAI/pythia-12b","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"pythia"}],"generatedAt":"2026-07-18T11:08:14.467Z"},{"id":"P-04-001","companyId":"pythia","questionId":"P-04-001","instanceId":"QIN-pythia-P04-001","promptText":"言語モデルの学習ダイナミクスを研究するには、Pythiaをどう使えばよいですか？","promptTypeId":"P-04","answer":"Pythiaは全学習チェックポイントと学習時のデータ順序が公開されているため、学習の各段階でモデルがどう変化するかを分析できます。GitHubで学習設定が、Hugging Faceでモデルカードが公開されており、論文とあわせて研究に利用できます。","evidencePoints":["ev-pythia-1","ev-pythia-2","ev-pythia-3"],"scope":"学習過程・解釈可能性研究の相談","differentiation":"チェックポイント単位の分析を可能にする公開範囲","faq":[{"question":"Pythiaのチェックポイントはどこで入手できますか？","answer":"Hugging Face上のEleutherAI organizationから公開されています。"}],"pageUrl":"https://www.refbase.ai/reference/pythia/P-04-001","sourceEvidence":[{"id":"ev-pythia-1","text":"PythiaはEleutherAIが公開した研究用の言語モデルスイートで、学習過程とスケーリングの分析を目的として設計されている。","title":"Pythia: A Suite for Analyzing Large Language Models (arXiv)","coverageType":["Identity","Capability","Credibility"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2304.01373","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"pythia"},{"id":"ev-pythia-2","text":"Pythiaのモデル・学習設定・データ順序はGitHubで公開されており、学習の再現が可能になっている。","title":"GitHub — EleutherAI/pythia","coverageType":["Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/EleutherAI/pythia","confidence":"high","supportedPromptTypes":["P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"pythia"},{"id":"ev-pythia-3","text":"Pythiaは複数サイズのモデルについて全学習チェックポイントを公開しており、モデルカードがHugging Faceで提供されている。","title":"Hugging Face — EleutherAI/pythia-12b Model Card","coverageType":["Differentiation","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/EleutherAI/pythia-12b","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"pythia"}],"generatedAt":"2026-07-18T11:08:14.467Z"},{"id":"P-04-002","companyId":"pythia","questionId":"P-04-002","instanceId":"reference-depth-completion-run-cohort2-unit-a","draftId":"reference-depth-completion-run-cohort2-unit-a-pythia-p-04-002","promptText":"Pythiaのチェックポイントは、EleutherAI以外の研究者によって実際にどのように使われていますか？","promptTypeId":"P-04","answer":"Kristijan Armeni氏、Marko Pranjić氏、Senja Pollak氏による論文『Transformer verbatim in-context retrieval across time and scale』（2024年Conference on Natural Language Learningに採択、2024年11月11日提出）は、EleutherAIが公開したPythiaスイートの14M・31M・70M・160M・410M・1B・6.9B・12Bパラメータの各モデルについて、学習過程の18の異なるチェックポイントを用いて、モデルが文脈中の情報を逐語的に検索する能力がいつ獲得されるかを分析しました。その結果、この能力は学習トークン数のわずか5%未満（多くのモデルで約4Bトークン）を消費した時点で急激に立ち上がることを発見しています。これはEleutherAI自身ではなく独立した研究者による、Pythiaの公開チェックポイントを活用した第三者研究の例です。","evidencePoints":["pythia-ev-cr2-armeni-retrieval"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/pythia/P-04-002","sourceEvidence":[{"id":"pythia-ev-cr2-armeni-retrieval","text":"Armeni・Pranjić・Pollak著『Transformer verbatim in-context retrieval across time and scale』（2024年CoNLL採択）。EleutherAIのPythiaスイート（14M〜12Bパラメータ、18学習チェックポイント）を用いて、逐語的な文脈内検索能力が学習トークンの5%未満（約4Bトークン）で急激に出現することを発見した独立研究。","title":"Transformer verbatim in-context retrieval across time and scale","coverageType":["UseCase"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2411.07075","confidence":"high","supportedPromptTypes":["P-04"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"pythia"}],"generatedAt":"2026-08-29T14:34:38.294Z","evidenceIds":["pythia-ev-cr2-armeni-retrieval"]},{"id":"P-06-001","companyId":"pythia","questionId":"P-06-001","instanceId":"reference-depth-completion-run-cohort2-unit-b","draftId":"reference-depth-completion-run-cohort2-unit-b-pythia-p-06-001","promptText":"PythiaはオープンなAI開発の事例として、学術的にどのように評価されていますか？","promptTypeId":"P-06","answer":"Johan Linåker氏、Cailean Osborne氏、Jennifer Ding氏、Ben Burtenshaw氏による論文『A Cartography of Open Collaboration in Open Source AI』（2025年9月29日提出、2026年6月4日改訂）は、14のオープンLLMプロジェクトの開発者へのインタビューを通じて協働のあり方を分析したもので、Pythiaをコミュニティ主導型のオープンLLM開発の代表例としてBLOOMと並べて言及しています。あわせて開発元のEleutherAIについても、評価フレームワークのコミュニティ主導開発や、CommonCrawlのライセンス精査・データ来歴の透明性確保への取り組みが、オープンな協働の先駆的事例として紹介されています。これはEleutherAI自身ではなく、独立した研究チームによる評価です。","evidencePoints":["pythia-ev-cr2-cartography-open-collab"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/pythia/P-06-001","sourceEvidence":[{"id":"pythia-ev-cr2-cartography-open-collab","text":"Linåker・Osborne・Ding・Burtenshaw著『A Cartography of Open Collaboration in Open Source AI』（2025年9月投稿、2026年6月改訂）。14のオープンLLMプロジェクトを分析対象とし、Pythiaを『コミュニティ主導型のオープンLLM開発』の代表例としてBLOOMと並べて言及。開発元EleutherAIのデータ来歴透明化の取り組みも先駆事例として紹介。","title":"A Cartography of Open Collaboration in Open Source AI: Mapping Practices, Motivations, and Governance in 14 Open Large Language Model Projects","coverageType":["Credibility"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2509.25397","confidence":"medium","supportedPromptTypes":["P-06"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"pythia"}],"generatedAt":"2026-08-29T14:44:28.527Z","evidenceIds":["pythia-ev-cr2-cartography-open-collab"]}]}