Colossal-AIの開発チーム（HPC-AI TechおよびシンガポールNational University of Singaporeの研究者ら、筆頭著者Shenggui Li氏ら）が発表した論文『Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training』（arXiv 2110.14883、2021年10月28日投稿、2023年10月に改訂、国際会議ICPPで発表）によれば、数十億パラメータ規模のTransformerモデルを複数GPUに分散させる際、最適な並列化戦略を選ぶには深層学習と分散コンピューティング双方の専門知識が必要となる課題があるという。Colossal-AIは、逐次的な学習コードを分散実装へ変換する統一インターフェースを提供し、データ並列・パイプライン並列・テンソル並列・シーケンス並列の複数手法とゼロ冗長性オプティマイザ技術を組み合わせることで、こうした複雑さを軽減する。論文は、ベースライン手法と比較して大規模モデルで最大2.76倍の学習高速化を達成したと報告している。