Accelerateは、既存のPyTorch学習コードを大きく変更せずに複数GPUやマルチノード等の分散環境に対応させたい場面で活用できます。
PyTorchコードの分散学習対応を検討する相談
既存コードの変更を最小化する移行容易性