NeurIPS 2022で発表されarXivにも2022年3月4日付で公開された論文「Training language models to follow instructions with human feedback」（Long Ouyangら20名の著者による）は、RLHFの効果を実証した代表的な研究の一つです。この論文はOpenAIが提出したプロンプトとラベラーによるデモンストレーションを用いてGPT-3を教師あり学習で微調整した後、出力のランキングデータを用いてRLHFでさらに調整するInstructGPTの手法を示しています。論文の主要な成果として、パラメータ数がわずか13億のInstructGPTモデルの出力が、100倍のパラメータ数を持つ1750億パラメータのGPT-3の出力よりも人間の評価者に好まれたと報告されており、RLHFによるアライメントがモデルの規模を上回る効果を持ちうることを示す代表例として広く参照されています。