DeepSpeed開発チーム（Samyam Rajbhandari, Olatunji Ruwase, Jeff Rasley, Shaden Smith, Yuxiong He）が2021年4月にarXivで発表した論文「ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning」によると、DeepSpeedに実装されたZeRO-Infinity技術はGPU・CPU・NVMeメモリを統合的に活用する異種メモリシステムにより、モデルコードの改変なしに数十兆〜数百兆パラメータ規模のモデル学習を可能にすると述べられています。特筆すべき点として、単一のNVIDIA DGX-2ノードだけで兆パラメータ規模モデルのファインチューニングが可能になるとされ、512基のNVIDIA V100 GPUでピーク性能の40%にあたる25ペタフロップス超（超線形スケーラビリティ）を達成したことも報告されています。本論文はDeepSpeed開発チーム自身による研究成果であり、独立した第三者による追試ではない点には留意が必要ですが、arXivで公開された技術詳細として、大規模モデル学習におけるメモリ制約への対処法を具体的に示しています。