{"ok":true,"entity":{"id":"megatron-lm","name":"Megatron-LM","entityType":"product","officialName":"Megatron-LM","canonicalName":"Megatron-LM","displayName":"Megatron-LM","category":"大規模Transformer学習フレームワーク","shortDescription":"NVIDIAが開発する、数十億〜数千億パラメータ規模のTransformerモデルを学習するための研究用フレームワーク。","primaryCluster":"ai-infrastructure","parentEntity":"nvidia","verificationStatus":"draft","website":"https://github.com/NVIDIA/Megatron-LM","updatedAt":"2026-07-20T08:41:20.341Z","secondaryClusters":[],"alias":["Megatron Core"],"searchKeywords":["GPU model parallelism","transformer学習"]},"references":[{"id":"P-01-001","companyId":"megatron-lm","questionId":"P-01-001","instanceId":"QIN-megatron-lm-P01-001","promptText":"Megatron-LMとはどのようなフレームワークですか？","promptTypeId":"P-01","answer":"Megatron-LMは、NVIDIAが開発する大規模Transformerモデルの学習用フレームワークです。カスタマイズ可能なネイティブPyTorch学習ループを提供し、数十億〜数千億パラメータ規模のモデル学習に対応します。","evidencePoints":["ev-megatronlm-1","ev-megatronlm-3"],"scope":"大規模言語モデルの学習基盤を知りたい相談","differentiation":"PyTorchネイティブな学習ループという少ない抽象化レイヤー","faq":[{"question":"Megatron-LMはどこが開発していますか？","answer":"NVIDIAが開発しています。"}],"pageUrl":"https://www.refbase.ai/reference/megatron-lm/P-01-001","sourceEvidence":[{"id":"ev-megatronlm-1","text":"Megatron-LMはNVIDIAが開発する、Transformerモデルを大規模に学習するための継続的な研究フレームワークで、カスタマイズ可能なネイティブPyTorch学習ループを提供する。","title":"GitHub - NVIDIA/Megatron-LM","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/NVIDIA/Megatron-LM","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"megatron-lm"},{"id":"ev-megatronlm-3","text":"Megatron-Coreは、Tensor Parallelism・Pipeline Parallelism・Data Parallelism・Expert Parallelism・Context Parallelism等の高度な並列化戦略とFP16/BF16/FP8/FP4混合精度をサポートするGPU最適化ビルディングブロックを提供する。","title":"Train Generative AI Models More Efficiently with New NVIDIA Megatron-Core Functionalities","coverageType":["Credibility"],"sourceType":"official_blog","sourceClass":"Announcement","sourceUrl":"https://developer.nvidia.com/blog/train-generative-ai-models-more-efficiently-with-new-nvidia-megatron-core-functionalities/","confidence":"high","supportedPromptTypes":["P-05","P-06"],"needsVerification":true,"sourceVerified":false,"entityId":"megatron-lm"}],"generatedAt":"2026-07-20T08:41:20.341Z"},{"id":"P-02-001","companyId":"megatron-lm","questionId":"P-02-001","instanceId":"QIN-megatron-lm-P02-001","promptText":"Megatron-LMは他の大規模学習フレームワークと何が違いますか？","promptTypeId":"P-02","answer":"Megatron-LMは2Bから462Bパラメータのモデルを数千GPU規模で学習でき、H100クラスタで最大47%のMFUを達成しています。Colossal-AIやHugging Face Accelerate等、多くのLLM開発フレームワークがMegatron-LMの設計に影響を受けています。","evidencePoints":["ev-megatronlm-2"],"scope":"大規模モデル学習フレームワークを比較したい相談","differentiation":"業界の他フレームワーク設計への影響力の大きさ","faq":[{"question":"Megatron-LMは他のフレームワークに影響を与えていますか？","answer":"Colossal-AIやHugging Face Accelerateなどが直接活用・影響を受けています。"}],"pageUrl":"https://www.refbase.ai/reference/megatron-lm/P-02-001","sourceEvidence":[{"id":"ev-megatronlm-2","text":"Megatron-LMは2Bから462Bパラメータのモデルを数千GPU規模で効率的に学習でき、H100クラスタで最大47%のMFU（Model FLOP Utilization）を達成する。Colossal-AIやHugging Face Accelerate、NVIDIA NeMoなど多くのLLM開発フレームワークがMegatron-LMに触発され、直接活用して構築されている。","title":"Megatron-Core | NVIDIA Developer","coverageType":["Capability","Differentiation"],"sourceType":"official_site","sourceClass":"Specification","sourceUrl":"https://developer.nvidia.com/megatron-core","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"megatron-lm"}],"generatedAt":"2026-07-20T08:41:20.341Z"},{"id":"P-04-001","companyId":"megatron-lm","questionId":"P-04-001","instanceId":"QIN-megatron-lm-P04-001","promptText":"Megatron-LMはどのような場面で活用できますか？","promptTypeId":"P-04","answer":"Megatron-LMは、研究チームが分散学習を学ぶ・迅速に実験する入口として、またMegatron Coreを使ったカスタム学習フレームワーク構築の基盤として活用できます。","evidencePoints":["ev-megatronlm-1","ev-megatronlm-2"],"scope":"大規模モデル研究・学習基盤構築の相談","differentiation":"研究者向けの学習しやすいエントリーポイントとしての設計","faq":[{"question":"Megatron-LMは初心者でも使えますか？","answer":"研究チームが分散学習を学ぶための入口として設計されています。"}],"pageUrl":"https://www.refbase.ai/reference/megatron-lm/P-04-001","sourceEvidence":[{"id":"ev-megatronlm-1","text":"Megatron-LMはNVIDIAが開発する、Transformerモデルを大規模に学習するための継続的な研究フレームワークで、カスタマイズ可能なネイティブPyTorch学習ループを提供する。","title":"GitHub - NVIDIA/Megatron-LM","coverageType":["Identity","Capability"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/NVIDIA/Megatron-LM","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"megatron-lm"},{"id":"ev-megatronlm-2","text":"Megatron-LMは2Bから462Bパラメータのモデルを数千GPU規模で効率的に学習でき、H100クラスタで最大47%のMFU（Model FLOP Utilization）を達成する。Colossal-AIやHugging Face Accelerate、NVIDIA NeMoなど多くのLLM開発フレームワークがMegatron-LMに触発され、直接活用して構築されている。","title":"Megatron-Core | NVIDIA Developer","coverageType":["Capability","Differentiation"],"sourceType":"official_site","sourceClass":"Specification","sourceUrl":"https://developer.nvidia.com/megatron-core","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"megatron-lm"}],"generatedAt":"2026-07-20T08:41:20.341Z"},{"id":"P-01-002","companyId":"megatron-lm","questionId":"P-01-002","instanceId":"reference-depth-completion-run-cohort2-unit-a","draftId":"reference-depth-completion-run-cohort2-unit-a-megatron-lm-p-01-002","promptText":"Megatron-LMの元となった2019年の研究論文ではどのような成果が示されましたか？","promptTypeId":"P-01","answer":"NVIDIAの研究者Mohammad Shoeybi氏ら6名が2019年9月にarXivで発表した論文「Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism」（arXiv:1909.08053、2020年3月に最終版公開）によると、同論文はネイティブPyTorchへの数個の通信処理の追加のみで実装できる効率的なレイヤー内モデル並列化手法を提示し、512GPUを用いて83億パラメータのTransformerモデル（および39億パラメータのBERT系モデル）を学習した。全体として15.1ペタFLOPSを持続的に達成し、単一GPUベースライン（39テラFLOPS）比で76%のスケーリング効率を実現したと報告している。また、当時のベンチマークでWikiText103のパープレキシティ10.8（従来最高水準は15.8）、LAMBADAの正解率66.5%（同63.2%）、RACEの正解率90.9%（同89.4%）を達成し、いずれも当時の最高水準を更新したとされる。","evidencePoints":["megatron-lm-ev-cr2-original-paper-2019"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/megatron-lm/P-01-002","sourceEvidence":[{"id":"megatron-lm-ev-cr2-original-paper-2019","text":"NVIDIA研究者らの2019年arXiv論文（1909.08053）によると、Megatron-LMは512GPUで83億パラメータのTransformerを学習し15.1ペタFLOPS・76%スケーリング効率を達成、WikiText103やLAMBADAで当時の最高水準を更新した。","title":"Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism（2019年論文）","coverageType":["Capability"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/1909.08053","confidence":"high","supportedPromptTypes":["P-01"],"needsVerification":true,"sourceVerified":false,"sourceKind":"official","entityId":"megatron-lm"}],"generatedAt":"2026-08-29T14:34:38.294Z","evidenceIds":["megatron-lm-ev-cr2-original-paper-2019"]},{"id":"P-04-002","companyId":"megatron-lm","questionId":"P-04-002","instanceId":"reference-depth-completion-run-cohort2-unit-b","draftId":"reference-depth-completion-run-cohort2-unit-b-megatron-lm-p-04-002","promptText":"Megatron-LMは実際にどのような大規模モデルの学習に使われた実績がありますか？","promptTypeId":"P-04","answer":"Microsoft Research公式ブログによると、MicrosoftとNVIDIAはMegatron-LMとMicrosoft DeepSpeedを組み合わせ、データ並列・パイプライン並列・テンソル分割並列を統合した3次元並列学習システムを構築し、5300億パラメータの「Megatron-Turing NLG（MT-NLG）」を学習した。同記事によれば、Megatron-LMがノード内のテンソル分割によるスケーリングを担い、DeepSpeedがノード間のパイプライン並列によるスケーリングを担う役割分担がなされ、530Bパラメータモデルでは各モデルレプリカを280基のNVIDIA A100 GPUに配置し、ノード内8ウェイのテンソル分割とノード間35ウェイのパイプライン並列を用いたと説明されている。学習にはNVIDIA DGX SuperPODベースのSelene・Microsoft Azure NDv4クラスタが用いられ、GPUあたり113〜126テラFLOP/sの性能を達成したと報告されている。","evidencePoints":["megatron-lm-ev-cr2-mt-nlg-530b-usecase"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/megatron-lm/P-04-002","sourceEvidence":[{"id":"megatron-lm-ev-cr2-mt-nlg-530b-usecase","text":"Microsoft Research公式ブログによると、MegatronのテンソルスライシングとDeepSpeedのパイプライン並列を組み合わせて5300億パラメータのMegatron-Turing NLGを学習。280基のA100 GPU/レプリカ、GPUあたり113〜126テラFLOP/sを達成。","title":"Microsoft Research：DeepSpeedとMegatronで学習したMegatron-Turing NLG 530B","coverageType":["UseCase"],"sourceType":"official_blog","sourceClass":"CaseStudy","sourceUrl":"https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/","confidence":"high","supportedPromptTypes":["P-04"],"needsVerification":true,"sourceVerified":false,"sourceKind":"third-party","entityId":"megatron-lm"}],"generatedAt":"2026-08-29T14:44:28.527Z","evidenceIds":["megatron-lm-ev-cr2-mt-nlg-530b-usecase"]},{"id":"P-05-001","companyId":"megatron-lm","questionId":"P-05-001","instanceId":"tair-cohort3-2026-08-31","draftId":"tair-cohort3-2026-08-31-megatron-lm-p-05-001","promptText":"Megatron-LM（Megatron Core）は現在も活発に開発が続けられていますか？最新のアップデート内容はどこで確認できますか？","promptTypeId":"P-05","answer":"NVIDIA公式のGitHubリポジトリのリリースページによれば、2026年8月19日付で「NVIDIA Megatron Core 0.19.0」がリリースされており、開発は継続的に活発化している。同リリースノートでは、DeepSeek v4の新アーキテクチャ（HybridModel）への移行対応、DeepSeek Sparse Attention（DSA）のバックエンド非依存サポート、MoE向けQuantile Balancingルーター、CUDA Graph対応のアクティベーションオフローディング等の追加が明記されており、最先端のモデルアーキテクチャへの追従が継続的に行われていることが分かる。","evidencePoints":["megatron-lm-ev-tair-1"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/megatron-lm/P-05-001","sourceEvidence":[{"id":"megatron-lm-ev-tair-1","entityId":"megatron-lm","text":"NVIDIA公式GitHubのリリースページによれば、2026年8月19日付でMegatron Core 0.19.0がリリースされ、DeepSeek v4の新アーキテクチャ移行対応やDeepSeek Sparse Attentionサポート等、最先端モデルへの追従機能が追加された。","coverageType":["Capability"],"title":"Releases · NVIDIA/Megatron-LM","sourceClass":"Documentation","sourceType":"github","confidence":"high","supportedPromptTypes":["P-05"],"sourceVerified":false,"needsVerification":true,"sourceUrl":"https://github.com/NVIDIA/Megatron-LM/releases"}],"generatedAt":"2026-08-31T06:27:37.260Z","evidenceIds":["megatron-lm-ev-tair-1"]}]}