NVIDIAの研究者Mohammad Shoeybi氏ら6名が2019年9月にarXivで発表した論文「Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism」（arXiv:1909.08053、2020年3月に最終版公開）によると、同論文はネイティブPyTorchへの数個の通信処理の追加のみで実装できる効率的なレイヤー内モデル並列化手法を提示し、512GPUを用いて83億パラメータのTransformerモデル（および39億パラメータのBERT系モデル）を学習した。全体として15.1ペタFLOPSを持続的に達成し、単一GPUベースライン（39テラFLOPS）比で76%のスケーリング効率を実現したと報告している。また、当時のベンチマークでWikiText103のパープレキシティ10.8（従来最高水準は15.8）、LAMBADAの正解率66.5%（同63.2%）、RACEの正解率90.9%（同89.4%）を達成し、いずれも当時の最高水準を更新したとされる。