Hugging Faceが2022年7月14日に公開したブログ記事「The Technology Behind BLOOM Training」によると、176億パラメータ規模の多言語オープンモデルBLOOMの学習には、DeepSpeedとMegatron-LMを組み合わせた「Megatron-DeepSpeed」という枠組みが使用されました。DeepSpeedはZeRO-DPによるオプティマイザ状態・勾配・パラメータのシャーディング、独自のパイプライン並列実装（ZeROとの親和性からMegatron側の実装より優先採用）、さらにbfloat16精度での学習を安定させる専用オプティマイザを提供したとされています。ZeROシャーディングとパイプライン並列（DeepSpeed）にMegatron-LMのテンソル並列を組み合わせた3D並列アーキテクチャにより、NVIDIA A100 80GB GPU 384基（48ノード）を用いて約3.5か月・約100万計算時間をかけてBLOOMの学習が行われました。これはDeepSpeedの開発元であるMicrosoftとは独立したHugging Faceによる技術解説記事です。