Megatron-LM

Identity

• Megatron-LMはNVIDIAが開発する、Transformerモデルを大規模に学習するための継続的な研究フレームワークで、カスタマイズ可能なネイティブPyTorch学習ループを提供する。検証待ち GitHub - NVIDIA/Megatron-LM

Capability

• Megatron-LMはNVIDIAが開発する、Transformerモデルを大規模に学習するための継続的な研究フレームワークで、カスタマイズ可能なネイティブPyTorch学習ループを提供する。検証待ち GitHub - NVIDIA/Megatron-LM
• Megatron-LMは2Bから462Bパラメータのモデルを数千GPU規模で効率的に学習でき、H100クラスタで最大47%のMFU（Model FLOP Utilization）を達成する。Colossal-AIやHugging Face Accelerate、NVIDIA NeMoなど多くのLLM開発フレームワークがMegatron-LMに触発され、直接活用して構築されている。検証待ち Megatron-Core | NVIDIA Developer
• NVIDIA研究者らの2019年arXiv論文（1909.08053）によると、Megatron-LMは512GPUで83億パラメータのTransformerを学習し15.1ペタFLOPS・76%スケーリング効率を達成、WikiText103やLAMBADAで当時の最高水準を更新した。検証待ち Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism（2019年論文）
• NVIDIA公式GitHubのリリースページによれば、2026年8月19日付でMegatron Core 0.19.0がリリースされ、DeepSeek v4の新アーキテクチャ移行対応やDeepSeek Sparse Attentionサポート等、最先端モデルへの追従機能が追加された。検証待ち Releases · NVIDIA/Megatron-LM

Credibility

• Megatron-Coreは、Tensor Parallelism・Pipeline Parallelism・Data Parallelism・Expert Parallelism・Context Parallelism等の高度な並列化戦略とFP16/BF16/FP8/FP4混合精度をサポートするGPU最適化ビルディングブロックを提供する。検証待ち Train Generative AI Models More Efficiently with New NVIDIA Megatron-Core Functionalities

Use Case

• Microsoft Research公式ブログによると、MegatronのテンソルスライシングとDeepSpeedのパイプライン並列を組み合わせて5300億パラメータのMegatron-Turing NLGを学習。280基のA100 GPU/レプリカ、GPUあたり113〜126テラFLOP/sを達成。検証待ち Microsoft Research：DeepSpeedとMegatronで学習したMegatron-Turing NLG 530B

Constraints / Current Status

• Megatron-LMは2Bから462Bパラメータのモデルを数千GPU規模で効率的に学習でき、H100クラスタで最大47%のMFU（Model FLOP Utilization）を達成する。Colossal-AIやHugging Face Accelerate、NVIDIA NeMoなど多くのLLM開発フレームワークがMegatron-LMに触発され、直接活用して構築されている。検証待ち Megatron-Core | NVIDIA Developer

Key References

• Megatron-LM（Megatron Core）は現在も活発に開発が続けられていますか？最新のアップデート内容はどこで確認できますか？
• Megatron-LMとはどのようなフレームワークですか？
• Megatron-LMの元となった2019年の研究論文ではどのような成果が示されましたか？

Competitors

• Colossal-AI— Colossal-AIとMegatron-LMは、いずれも大規模モデルの分散学習を担うフレームワークとして同一市場で競合する。

Part of

• NVIDIA— Megatron-LMはNVIDIAが開発する大規模Transformer学習フレームワークである。

Integrates With

• LlamaFactory— LlamaFactoryの最新版（v0.9.4）はMegatron-LM統合機能を追加している。
• DeepSpeed— DeepSpeedとMegatron-LMはMegatron-DeepSpeedとして統合利用される実績がある。