DeepSpeedは、Microsoftが開発する深層学習最適化ライブラリです。大規模モデルの分散学習・推論を容易かつ効率的に行うための機能を提供しています。
大規模モデル学習の効率化を検討する相談
ZeRO等の独自最適化技術による大規模分散学習の実現