Megatron-LMとはどのようなフレームワークですか？

Megatron-LMは、NVIDIAが開発する大規模Transformerモデルの学習用フレームワークです。カスタマイズ可能なネイティブPyTorch学習ループを提供し、数十億〜数千億パラメータ規模のモデル学習に対応します。

実績・根拠

• —ev-megatronlm-1
• —ev-megatronlm-3

向いている相談

大規模言語モデルの学習基盤を知りたい相談

他の選択肢との違い

PyTorchネイティブな学習ループという少ない抽象化レイヤー

よくある質問

Megatron-LMはどこが開発していますか？

NVIDIAが開発しています。

情報ソース

• Source
  GitHub - NVIDIA/Megatron-LM検証待ち出典を見る
• Source
  Train Generative AI Models More Efficiently with New NVIDIA Megatron-Core Functionalities検証待ち出典を見る