OpenAIの研究者ら（Ouyang, L.らを含む）が発表した論文「Training language models to follow instructions with human feedback」（arXiv:2203.02155）によると、GPT-3をベースにしたInstructGPTモデルは、まず人間のラベラーによるデモンストレーションを用いた教師あり学習を行い、続いてモデル出力のランキングデータセットを用いた強化学習（人間のフィードバックからの強化学習、RLHF）でファインチューニングされました。その結果、パラメータ数がわずか13億のInstructGPTモデルの出力が、100倍以上のパラメータ数を持つ1750億パラメータのGPT-3の出力よりも人間の評価者に好まれたと報告されています。さらに、InstructGPTは事実性の向上・有害な出力の減少も達成しつつ、標準的な自然言語処理ベンチマークでは同等の性能を維持したとされています。既存のReferenceは強化学習の定義・教師あり学習との違い・活用場面・AlphaGo Zeroの自己対戦を扱っていますが、大規模言語モデルの調整（アラインメント）という強化学習の応用領域には触れていないため新規性があります。