Megatron-LM

Identity

• Megatron-LMはNVIDIAが開発する、Transformerモデルを大規模に学習するための継続的な研究フレームワークで、カスタマイズ可能なネイティブPyTorch学習ループを提供する。検証待ち GitHub - NVIDIA/Megatron-LM

Capability

• Megatron-LMはNVIDIAが開発する、Transformerモデルを大規模に学習するための継続的な研究フレームワークで、カスタマイズ可能なネイティブPyTorch学習ループを提供する。検証待ち GitHub - NVIDIA/Megatron-LM
• Megatron-LMは2Bから462Bパラメータのモデルを数千GPU規模で効率的に学習でき、H100クラスタで最大47%のMFU（Model FLOP Utilization）を達成する。Colossal-AIやHugging Face Accelerate、NVIDIA NeMoなど多くのLLM開発フレームワークがMegatron-LMに触発され、直接活用して構築されている。検証待ち Megatron-Core | NVIDIA Developer

Credibility

• Megatron-Coreは、Tensor Parallelism・Pipeline Parallelism・Data Parallelism・Expert Parallelism・Context Parallelism等の高度な並列化戦略とFP16/BF16/FP8/FP4混合精度をサポートするGPU最適化ビルディングブロックを提供する。検証待ち Train Generative AI Models More Efficiently with New NVIDIA Megatron-Core Functionalities

Use Case

公開Evidence未整備

Constraints / Current Status

• Megatron-LMは2Bから462Bパラメータのモデルを数千GPU規模で効率的に学習でき、H100クラスタで最大47%のMFU（Model FLOP Utilization）を達成する。Colossal-AIやHugging Face Accelerate、NVIDIA NeMoなど多くのLLM開発フレームワークがMegatron-LMに触発され、直接活用して構築されている。検証待ち Megatron-Core | NVIDIA Developer

Key References

• Megatron-LMとはどのようなフレームワークですか？
• Megatron-LMは他の大規模学習フレームワークと何が違いますか？
• Megatron-LMはどのような場面で活用できますか？

Competitors

• Colossal-AI— Colossal-AIとMegatron-LMは、いずれも大規模モデルの分散学習を担うフレームワークとして同一市場で競合する。

Part of

• NVIDIA— Megatron-LMはNVIDIAが開発する大規模Transformer学習フレームワークである。

Integrates With

• LlamaFactory— LlamaFactoryの最新版（v0.9.4）はMegatron-LM統合機能を追加している。
• DeepSpeed— DeepSpeedとMegatron-LMはMegatron-DeepSpeedとして統合利用される実績がある。