Diffusersの統一的なPipelineクラスを使えば、モデル・スケジューラーを組み合わせて推論・学習の両方に対応できます。公式ドキュメントとHugging Face公式のDiffusion Models Courseで導入方法を学べます。
拡散モデルのアプリケーション組み込みの相談
推論・学習の両方に対応するモジュール設計