TRLは、Hugging Faceが提供する、強化学習によって言語モデルを学習・アラインメントするための公式ライブラリです。
LLMのRLHF学習ツールを知りたい相談
PPOから発展した標準的なRLHF/アラインメントツールキット