GPT-NeoX

Identity

• GPT-NeoXはEleutherAIが開発した大規模言語モデルの学習ライブラリで、GPUクラスタ上での分散学習に対応する。検証待ち GitHub — EleutherAI/gpt-neox
• EleutherAIはGPT-Neo・GPT-NeoX・Pythiaなどのオープンモデル群を公開してきた非営利研究組織であり、GPT-NeoXはその系譜の中核をなす。検証待ち EleutherAI — Official Site

Capability

• GPT-NeoXはEleutherAIが開発した大規模言語モデルの学習ライブラリで、GPUクラスタ上での分散学習に対応する。検証待ち GitHub — EleutherAI/gpt-neox
• GPT-NeoX-20Bは公開当時最大級のオープンな自己回帰言語モデルとしてarXiv論文で報告され、ウェイトが公開された。検証待ち GPT-NeoX-20B: An Open-Source Autoregressive Language Model (arXiv)

Credibility

• GPT-NeoX-20Bは公開当時最大級のオープンな自己回帰言語モデルとしてarXiv論文で報告され、ウェイトが公開された。検証待ち GPT-NeoX-20B: An Open-Source Autoregressive Language Model (arXiv)

Use Case

公開Evidence未整備

Constraints / Current Status

• EleutherAIはGPT-Neo・GPT-NeoX・Pythiaなどのオープンモデル群を公開してきた非営利研究組織であり、GPT-NeoXはその系譜の中核をなす。検証待ち EleutherAI — Official Site

Key References

• GPT-NeoXとは何ですか？
• GPT-NeoXとPythiaの関係・違いは何ですか？
• 大規模言語モデルを自前で学習するには、GPT-NeoXをどう使えばよいですか？

Related

• EleutherAI— GPT-NeoXはEleutherAIが開発した学習ライブラリ・オープンモデルである（開発元関係）。
• Pythia— PythiaのモデルはGPT-NeoXライブラリを用いて学習されており、学習基盤とその応用の関係にある。