Accelerate

Identity

• AccelerateはHugging Faceが開発するライブラリで、PyTorchコードをほぼ任意のデバイス・分散構成で起動・学習・利用できるようにする。検証待ち GitHub - huggingface/accelerate

Capability

• AccelerateはHugging Faceが開発するライブラリで、PyTorchコードをほぼ任意のデバイス・分散構成で起動・学習・利用できるようにする。検証待ち GitHub - huggingface/accelerate
• Accelerateは、Fully Sharded Data Parallel（FSDP）とDeepSpeedという最も一般的な分散学習フレームワークを単一インターフェースに統一し、わずか4行のコード追加で同一のPyTorchコードを任意の分散構成で実行できるようにする。検証待ち Accelerate | Hugging Face
• AccelerateのBig Model Inference機能は、GPUメモリに収まらない大規模モデルの推論を可能にする。init_empty_weightsで空のモデル骨格を作成後、load_checkpoint_and_dispatch関数とdevice_map="auto"により各レイヤーの重みをGPU・CPU・ディスクへ自動振り分けする。TransformersやDiffusersのfrom_pretrainedでもdevice_map="auto"指定のみで有効化できる。ただしレイヤーごとのデバイス間転送オーバーヘッドが生じ、複数GPU使用時も同時に稼働するのは1GPUのみである。検証待ち AccelerateのBig Model Inference機能

Credibility

• Acceleratorは、分散学習設定を自動検出し必要なコンポーネントを初期化するAccelerateの主要なエントリーポイントである。検証待ち Accelerator | Hugging Face
• Accelerateの公式GitHubリポジトリは9.8千スターを獲得し、Hugging Face TransformersのPyTorch側分散学習バックエンドとして採用されているほか、fastai・Catalyst・InvokeAI・Open Assistant等のプロジェクトの基盤としても使われている。検証待ち GitHub - huggingface/accelerate

Use Case

公開Evidence未整備

Constraints / Current Status

• Accelerateは、Fully Sharded Data Parallel（FSDP）とDeepSpeedという最も一般的な分散学習フレームワークを単一インターフェースに統一し、わずか4行のコード追加で同一のPyTorchコードを任意の分散構成で実行できるようにする。検証待ち Accelerate | Hugging Face
• Hugging Face公式ドキュメントによれば、TransformersのTrainerクラスは分散学習の実行APIをAccelerateへ委譲しており、Accelerateがモデルを分散ラッパーでラップし正しいデバイスへ移動、互換性のあるオプティマイザを作成し、混合精度時の勾配スケーリングもAccelerate自身のbackwardメソッドが処理する。利用者はAccelerateの設定ファイルまたはTrainingArgumentsを通じてAccelerateを構成できる。検証待ち Transformers TrainerによるAccelerateへの処理委譲

Key References

• Accelerateはなぜ、PyTorchの分散学習ツールとして推奨されるのですか？
• Accelerateとはどのようなライブラリですか？
• Accelerateは他の分散学習ツールと何が違いますか？

Part of

• Hugging Face— AccelerateはHugging Faceが開発するライブラリである。

Integrates With

• TRL— TRLはHugging Face Accelerateとの連携により分散学習に対応している。
• DeepSpeed— AccelerateはDeepSpeedを含む複数の分散学習フレームワークを単一インターフェースに統合している。