人間のフィードバックによる強化学習（RLHF）

Identity

• RLHF（人間のフィードバックによる強化学習）は、人間の評価を報酬として用い、モデルの出力を人間の好みに沿わせる強化学習の手法である。検証待ち Hugging Face — Illustrating RLHF

Capability

• RLHF（人間のフィードバックによる強化学習）は、人間の評価を報酬として用い、モデルの出力を人間の好みに沿わせる強化学習の手法である。検証待ち Hugging Face — Illustrating RLHF
• RLHFは、正解データだけで学習する方法と異なり、人間の好みを報酬として学習させることで、より役立ち安全な応答へ調整できる点を特徴とする。検証待ち Hugging Face — Illustrating RLHF

Credibility

• OpenAIの論文「Training language models to follow instructions with human feedback」（arXiv:2203.02155、2022年、NeurIPS 2022掲載）は、RLHFで調整した13億パラメータのInstructGPTの出力が、100倍のパラメータ数を持つ1750億パラメータのGPT-3より人間評価者に好まれたことを示した。検証待ち Training language models to follow instructions with human feedback

Use Case

公開Evidence未整備

Constraints / Current Status

• RLHFは、正解データだけで学習する方法と異なり、人間の好みを報酬として学習させることで、より役立ち安全な応答へ調整できる点を特徴とする。検証待ち Hugging Face — Illustrating RLHF
• スタンフォード大学のRafailovらによるarXiv論文（arXiv:2305.18290）は、RLHFの代替としてDirect Preference Optimization（DPO）を提案し、別途の報酬モデル学習や強化学習によるサンプリングを不要にしつつ複数ベンチマークでRLHF（PPO）と同等以上の性能を示したと報告している。検証待ち Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Key References

• RLHFの効果を実証した代表的な研究にはどのようなものがありますか？
• RLHF（人間のフィードバックによる強化学習）とは何ですか？
• RLHFは通常の学習と何が違いますか？

Related

• 強化学習（Reinforcement Learning）— RLHFは強化学習を人間のフィードバックに適用した手法である。
• AIアライメント（AI Alignment）— RLHFはAIアライメントの代表的な手法として用いられる。
• Instruction Tuning— 指示チューニングは人間フィードバックからの強化学習（RLHF）と組み合わせて使われることが多い。