GPT-NeoX

Identity

• GPT-NeoXはEleutherAIが開発した大規模言語モデルの学習ライブラリで、GPUクラスタ上での分散学習に対応する。検証待ち GitHub — EleutherAI/gpt-neox
• EleutherAIはGPT-Neo・GPT-NeoX・Pythiaなどのオープンモデル群を公開してきた非営利研究組織であり、GPT-NeoXはその系譜の中核をなす。検証待ち EleutherAI — Official Site

Capability

• GPT-NeoXはEleutherAIが開発した大規模言語モデルの学習ライブラリで、GPUクラスタ上での分散学習に対応する。検証待ち GitHub — EleutherAI/gpt-neox
• GPT-NeoX-20Bは公開当時最大級のオープンな自己回帰言語モデルとしてarXiv論文で報告され、ウェイトが公開された。検証待ち GPT-NeoX-20B: An Open-Source Autoregressive Language Model (arXiv)

Credibility

• GPT-NeoX-20Bは公開当時最大級のオープンな自己回帰言語モデルとしてarXiv論文で報告され、ウェイトが公開された。検証待ち GPT-NeoX-20B: An Open-Source Autoregressive Language Model (arXiv)

Use Case

• GPT-NeoX公式のGitHubリポジトリ（https://github.com/EleutherAI/gpt-neox/blob/main/README.md）は、GPT-NeoXの規模・導入状況に関する一次情報である。既存はPythia言及のみ、他組織・モデルは新規；同一URLだが別セクション。具体的には「Adopted by ORNL, CarperAI, Stability AI, Together.ai; derivatives StableLM, RedPajama-INCITE.」といった記載がある。ただし、この数値は取得時点のものであり、計測方法・計測時点・定義（何をもって1件とするか）はこのSourceからは確認できない場合があります。 自己申告の採用リスト、最新でない可能性。2026年08月26日に同Sourceを取得し、この内容を確認した。検証待ち GPT-NeoX規模・導入状況に関する公開情報

Constraints / Current Status

• EleutherAIはGPT-Neo・GPT-NeoX・Pythiaなどのオープンモデル群を公開してきた非営利研究組織であり、GPT-NeoXはその系譜の中核をなす。検証待ち EleutherAI — Official Site
• GPT-NeoX公式のGitHubリポジトリ（https://github.com/EleutherAI/gpt-neox/blob/main/README.md）は、GPT-NeoXの差別化要因に関する一次情報である。既存Referencesは分散学習・Pythia関係のみ、具体的技術に触れていない。具体的には「Based on Megatron+DeepSpeed; rotary/alibi embeddings, parallel feedforward attention, flash attention, ZeRO, 3D parallelism.」といった記載がある。ただし、この差別化要因の記述は当該Sourceの時点の位置づけであり、競合状況の変化を反映しない可能性があります。 自己記述、将来リリースで変更可能性。2026年08月26日に同Sourceを取得し、この内容を確認した。検証待ち GPT-NeoX差別化要因に関する公開情報
• EleutherAIの公式論文（arXiv:2204.06745）によれば、GPT-NeoX-20Bは同規模のGPT-3・FairSeqモデルと比べて5-shot評価で顕著に高い性能向上を示す、特に優れたfew-shot推論モデルであるとされている。検証待ち GPT-NeoX-20B: An Open-Source Autoregressive Language Model

Key References

• GPT-NeoX-20Bは、GPT-3のような大規模モデルと比べてどのような強みがありますか？
• GPT-NeoXとは何ですか？
• GPT-NeoXは実際にどのような組織やモデルの学習に使われていますか？

Related

• EleutherAI— GPT-NeoXはEleutherAIが開発した学習ライブラリ・オープンモデルである（開発元関係）。
• Pythia— PythiaのモデルはGPT-NeoXライブラリを用いて学習されており、学習基盤とその応用の関係にある。