大規模言語モデルを自前で学習するには、GPT-NeoXをどう使えばよいですか？

GPT-NeoXはGPUクラスタ上での分散学習に対応した学習ライブラリで、GitHubで公開されています。GPT-NeoX-20Bの論文で学習構成の実例が報告されており、自前学習の設計の参考にできます。

実績・根拠

• —ev-gpt-neox-1
• —ev-gpt-neox-2

向いている相談

モデル自前学習の基盤選定相談

他の選択肢との違い

公開された学習実績を持つ分散学習基盤

よくある質問

GPT-NeoXのコードはどこにありますか？

GitHubのEleutherAI/gpt-neoxリポジトリで公開されています。

情報ソース

• Source
  GitHub — EleutherAI/gpt-neox検証待ち出典を見る
• Source
  GPT-NeoX-20B: An Open-Source Autoregressive Language Model (arXiv)検証待ち出典を見る