Microsoft Research公式ブログによると、MicrosoftとNVIDIAはMegatron-LMとMicrosoft DeepSpeedを組み合わせ、データ並列・パイプライン並列・テンソル分割並列を統合した3次元並列学習システムを構築し、5300億パラメータの「Megatron-Turing NLG（MT-NLG）」を学習した。同記事によれば、Megatron-LMがノード内のテンソル分割によるスケーリングを担い、DeepSpeedがノード間のパイプライン並列によるスケーリングを担う役割分担がなされ、530Bパラメータモデルでは各モデルレプリカを280基のNVIDIA A100 GPUに配置し、ノード内8ウェイのテンソル分割とノード間35ウェイのパイプライン並列を用いたと説明されている。学習にはNVIDIA DGX SuperPODベースのSelene・Microsoft Azure NDv4クラスタが用いられ、GPUあたり113〜126テラFLOP/sの性能を達成したと報告されている。