{"ok":true,"entity":{"id":"gpt-neox","name":"GPT-NeoX","entityType":"product","officialName":"GPT-NeoX","canonicalName":"GPT-NeoX","displayName":"GPT-NeoX","category":"オープンモデル・学習ライブラリ","shortDescription":"EleutherAIが開発した大規模言語モデルの学習ライブラリと、同ライブラリで学習された同名のオープンモデル（GPT-NeoX-20B）。初期のオープンLLM系譜を代表する。","primaryCluster":"ai-open-model","parentEntity":null,"verificationStatus":"draft","website":"https://github.com/EleutherAI/gpt-neox","updatedAt":"2026-07-18T11:08:14.467Z","secondaryClusters":["ai-model"],"alias":["GPT-NeoX-20B"],"searchKeywords":["オープンソースLLM","学習ライブラリ","EleutherAI","オープンモデル"]},"references":[{"id":"P-01-001","companyId":"gpt-neox","questionId":"P-01-001","instanceId":"QIN-gpt-neox-P01-001","promptText":"GPT-NeoXとは何ですか？","promptTypeId":"P-01","answer":"GPT-NeoXはEleutherAIが開発した大規模言語モデルの学習ライブラリと、同ライブラリで学習された同名のオープンモデル（GPT-NeoX-20B）です。GPT-NeoX-20Bは公開当時最大級のオープンな自己回帰言語モデルとして公開されました。","evidencePoints":["ev-gpt-neox-1","ev-gpt-neox-2"],"scope":"オープンLLMの系譜・学習基盤を知りたい相談","differentiation":"モデルと学習ライブラリの両方を提供する初期オープンLLMの代表","faq":[{"question":"GPT-NeoXの開発元はどこですか？","answer":"非営利研究組織のEleutherAIです。"}],"pageUrl":"https://www.refbase.ai/reference/gpt-neox/P-01-001","sourceEvidence":[{"id":"ev-gpt-neox-1","text":"GPT-NeoXはEleutherAIが開発した大規模言語モデルの学習ライブラリで、GPUクラスタ上での分散学習に対応する。","title":"GitHub — EleutherAI/gpt-neox","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/EleutherAI/gpt-neox","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"gpt-neox"},{"id":"ev-gpt-neox-2","text":"GPT-NeoX-20Bは公開当時最大級のオープンな自己回帰言語モデルとしてarXiv論文で報告され、ウェイトが公開された。","title":"GPT-NeoX-20B: An Open-Source Autoregressive Language Model (arXiv)","coverageType":["Credibility","Capability"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2204.06745","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"gpt-neox"}],"generatedAt":"2026-07-18T11:08:14.467Z"},{"id":"P-02-001","companyId":"gpt-neox","questionId":"P-02-001","instanceId":"QIN-gpt-neox-P02-001","promptText":"GPT-NeoXとPythiaの関係・違いは何ですか？","promptTypeId":"P-02","answer":"いずれもEleutherAIのプロジェクトで、GPT-NeoXは分散学習ライブラリおよび20Bモデル、Pythiaは学習過程分析用のモデルスイートです。PythiaのモデルはGPT-NeoXライブラリを用いて学習されており、学習基盤とその応用という関係にあります。","evidencePoints":["ev-gpt-neox-1","ev-gpt-neox-3"],"scope":"オープンモデルの系譜整理","differentiation":"他プロジェクトの学習基盤としての役割","faq":[{"question":"GPT-NeoXは今も使われていますか？","answer":"学習ライブラリとしてGitHub上で公開・保守されており、オープンモデルの学習基盤として参照されています。"}],"pageUrl":"https://www.refbase.ai/reference/gpt-neox/P-02-001","sourceEvidence":[{"id":"ev-gpt-neox-1","text":"GPT-NeoXはEleutherAIが開発した大規模言語モデルの学習ライブラリで、GPUクラスタ上での分散学習に対応する。","title":"GitHub — EleutherAI/gpt-neox","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/EleutherAI/gpt-neox","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"gpt-neox"},{"id":"ev-gpt-neox-3","text":"EleutherAIはGPT-Neo・GPT-NeoX・Pythiaなどのオープンモデル群を公開してきた非営利研究組織であり、GPT-NeoXはその系譜の中核をなす。","title":"EleutherAI — Official Site","coverageType":["Differentiation","Identity"],"sourceType":"official_site","sourceClass":"Profile","sourceUrl":"https://www.eleuther.ai","confidence":"high","supportedPromptTypes":["P-02"],"needsVerification":true,"sourceVerified":false,"entityId":"gpt-neox"}],"generatedAt":"2026-07-18T11:08:14.467Z"},{"id":"P-04-001","companyId":"gpt-neox","questionId":"P-04-001","instanceId":"QIN-gpt-neox-P04-001","promptText":"大規模言語モデルを自前で学習するには、GPT-NeoXをどう使えばよいですか？","promptTypeId":"P-04","answer":"GPT-NeoXはGPUクラスタ上での分散学習に対応した学習ライブラリで、GitHubで公開されています。GPT-NeoX-20Bの論文で学習構成の実例が報告されており、自前学習の設計の参考にできます。","evidencePoints":["ev-gpt-neox-1","ev-gpt-neox-2"],"scope":"モデル自前学習の基盤選定相談","differentiation":"公開された学習実績を持つ分散学習基盤","faq":[{"question":"GPT-NeoXのコードはどこにありますか？","answer":"GitHubのEleutherAI/gpt-neoxリポジトリで公開されています。"}],"pageUrl":"https://www.refbase.ai/reference/gpt-neox/P-04-001","sourceEvidence":[{"id":"ev-gpt-neox-1","text":"GPT-NeoXはEleutherAIが開発した大規模言語モデルの学習ライブラリで、GPUクラスタ上での分散学習に対応する。","title":"GitHub — EleutherAI/gpt-neox","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/EleutherAI/gpt-neox","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"gpt-neox"},{"id":"ev-gpt-neox-2","text":"GPT-NeoX-20Bは公開当時最大級のオープンな自己回帰言語モデルとしてarXiv論文で報告され、ウェイトが公開された。","title":"GPT-NeoX-20B: An Open-Source Autoregressive Language Model (arXiv)","coverageType":["Credibility","Capability"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2204.06745","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"gpt-neox"}],"generatedAt":"2026-07-18T11:08:14.467Z"},{"id":"P-02-002","companyId":"gpt-neox","questionId":"P-02-002","instanceId":"c1n21-wave2-unit-a-floor-completion-and-lane-s-first-finding","draftId":"c1n21-wave2-unit-a-floor-completion-and-lane-s-first-finding-gpt-neox-p-02-002","promptText":"GPT-NeoXは、アーキテクチャ上どのような技術的特徴を持っていますか？","promptTypeId":"P-02","answer":"GPT-NeoXの差別化要因について、GPT-NeoX公式のGitHubリポジトリ（https://github.com/EleutherAI/gpt-neox/blob/main/README.md）で確認できます。既存Referencesは分散学習・Pythia関係のみ、具体的技術に触れていない。具体的には「Based on Megatron+DeepSpeed; rotary/alibi embeddings, parallel feedforward attention, flash attention, ZeRO, 3D parallelism.」といった記載が確認できます。限界として、この差別化要因の記述は当該Sourceの時点の位置づけであり、競合状況の変化を反映しない可能性があります。 自己記述、将来リリースで変更可能性。Current Statusとして、2026年08月26日に当該Sourceを取得し、上記の内容を確認しました。Source種別としては、これは提供元自身による自社情報の公表であり、第三者による独立した評価や市場での位置づけとは性質が異なります。","evidencePoints":["gpt-neox-ev-c1n21a-p-02-002"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/gpt-neox/P-02-002","sourceEvidence":[{"id":"gpt-neox-ev-c1n21a-p-02-002","text":"GPT-NeoX公式のGitHubリポジトリ（https://github.com/EleutherAI/gpt-neox/blob/main/README.md）は、GPT-NeoXの差別化要因に関する一次情報である。既存Referencesは分散学習・Pythia関係のみ、具体的技術に触れていない。具体的には「Based on Megatron+DeepSpeed; rotary/alibi embeddings, parallel feedforward attention, flash attention, ZeRO, 3D parallelism.」といった記載がある。ただし、この差別化要因の記述は当該Sourceの時点の位置づけであり、競合状況の変化を反映しない可能性があります。 自己記述、将来リリースで変更可能性。2026年08月26日に同Sourceを取得し、この内容を確認した。","title":"GPT-NeoX差別化要因に関する公開情報","coverageType":["Differentiation"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/EleutherAI/gpt-neox/blob/main/README.md","confidence":"medium","supportedPromptTypes":["P-02"],"needsVerification":true,"sourceVerified":false,"sourceKind":"official","entityId":"gpt-neox"}],"generatedAt":"2026-08-26T04:58:16.746Z","evidenceIds":["gpt-neox-ev-c1n21a-p-02-002"]},{"id":"P-01-002","companyId":"gpt-neox","questionId":"P-01-002","instanceId":"c1n21-wave2-unit-b-lane-s-second-finding","draftId":"c1n21-wave2-unit-b-lane-s-second-finding-gpt-neox-p-01-002","promptText":"GPT-NeoXは実際にどのような組織やモデルの学習に使われていますか？","promptTypeId":"P-01","answer":"GPT-NeoXの規模・導入状況について、GPT-NeoX公式のGitHubリポジトリ（https://github.com/EleutherAI/gpt-neox/blob/main/README.md）で確認できます。既存はPythia言及のみ、他組織・モデルは新規；同一URLだが別セクション。具体的には「Adopted by ORNL, CarperAI, Stability AI, Together.ai; derivatives StableLM, RedPajama-INCITE.」といった記載が確認できます。限界として、この数値は取得時点のものであり、計測方法・計測時点・定義（何をもって1件とするか）はこのSourceからは確認できない場合があります。 自己申告の採用リスト、最新でない可能性。Current Statusとして、2026年08月26日に当該Sourceを取得し、上記の内容を確認しました。Source種別としては、これは提供元自身による自社情報の公表であり、第三者による独立した評価や市場での位置づけとは性質が異なります。","evidencePoints":["gpt-neox-ev-c1n21b-p-01-002"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/gpt-neox/P-01-002","sourceEvidence":[{"id":"gpt-neox-ev-c1n21b-p-01-002","text":"GPT-NeoX公式のGitHubリポジトリ（https://github.com/EleutherAI/gpt-neox/blob/main/README.md）は、GPT-NeoXの規模・導入状況に関する一次情報である。既存はPythia言及のみ、他組織・モデルは新規；同一URLだが別セクション。具体的には「Adopted by ORNL, CarperAI, Stability AI, Together.ai; derivatives StableLM, RedPajama-INCITE.」といった記載がある。ただし、この数値は取得時点のものであり、計測方法・計測時点・定義（何をもって1件とするか）はこのSourceからは確認できない場合があります。 自己申告の採用リスト、最新でない可能性。2026年08月26日に同Sourceを取得し、この内容を確認した。","title":"GPT-NeoX規模・導入状況に関する公開情報","coverageType":["UseCase"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/EleutherAI/gpt-neox/blob/main/README.md","confidence":"medium","supportedPromptTypes":["P-01"],"needsVerification":true,"sourceVerified":false,"sourceKind":"official","entityId":"gpt-neox"}],"generatedAt":"2026-08-26T05:31:37.560Z","evidenceIds":["gpt-neox-ev-c1n21b-p-01-002"]},{"id":"P-06-001","companyId":"gpt-neox","questionId":"P-06-001","instanceId":"tair-cohort3-2026-08-31","draftId":"tair-cohort3-2026-08-31-gpt-neox-p-06-001","promptText":"GPT-NeoX-20Bは、GPT-3のような大規模モデルと比べてどのような強みがありますか？","promptTypeId":"P-06","answer":"EleutherAIが2022年に発表した公式論文『GPT-NeoX-20B: An Open-Source Autoregressive Language Model』（arXiv:2204.06745）の要旨によると、GPT-NeoX-20Bは特に優れたfew-shot推論能力を持つモデルであり、5-shot評価においてGPT-3や同規模のFairSeqモデルよりも大きく性能が向上する点が強みとして挙げられています。パラメータ数がGPT-3（1750億）の約9分の1にあたる200億にとどまるにもかかわらず、few-shot設定での性能向上幅が競合を上回るとされており、規模だけでなく学習・評価設定の工夫によって効率的に高い推論性能を引き出せることが、GPT-NeoXが評価される理由の一つとなっています。","evidencePoints":["gpt-neox-ev-tair-1"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/gpt-neox/P-06-001","sourceEvidence":[{"id":"gpt-neox-ev-tair-1","entityId":"gpt-neox","text":"EleutherAIの公式論文（arXiv:2204.06745）によれば、GPT-NeoX-20Bは同規模のGPT-3・FairSeqモデルと比べて5-shot評価で顕著に高い性能向上を示す、特に優れたfew-shot推論モデルであるとされている。","coverageType":["Differentiation"],"title":"GPT-NeoX-20B: An Open-Source Autoregressive Language Model","sourceClass":"Research","sourceType":"research_paper","confidence":"high","supportedPromptTypes":["P-06"],"sourceVerified":false,"needsVerification":true,"sourceUrl":"https://arxiv.org/abs/2204.06745"}],"generatedAt":"2026-08-31T06:27:37.260Z","evidenceIds":["gpt-neox-ev-tair-1"]}]}