Instruction Tuning

Identity

• Ouyang et al.（2022, OpenAI）は、ラベラーが書いたプロンプトとOpenAI APIのプロンプトから望ましいモデル挙動のデータセットを作成し、これを用いてGPT-3を教師あり学習でファインチューニングし、さらに人間フィードバックからの強化学習（RLHF）で追加調整するInstructGPTを構築した。検証待ち [2203.02155] Training language models to follow instructions with human feedback

Capability

• Ouyang et al.（2022, OpenAI）は、ラベラーが書いたプロンプトとOpenAI APIのプロンプトから望ましいモデル挙動のデータセットを作成し、これを用いてGPT-3を教師あり学習でファインチューニングし、さらに人間フィードバックからの強化学習（RLHF）で追加調整するInstructGPTを構築した。検証待ち [2203.02155] Training language models to follow instructions with human feedback

Credibility

公開Evidence未整備

Use Case

• 人間評価では、1.3BパラメータのInstructGPTの出力が、100倍大きい175BパラメータのGPT-3の出力よりも好まれた。これは、指示チューニングが単純なモデル規模の拡大よりも指示追従性能の改善に効果的であることを実証する用途として引用される。検証待ち [2203.02155] Training language models to follow instructions with human feedback

Constraints / Current Status

• Wei et al.（2021, Google Research）が提示したFLANは、137Bパラメータの事前学習済みモデルを60以上のNLPタスクを自然言語の指示テンプレートで表現したデータで指示チューニングし、未見タスクへのゼロショット性能を大幅に改善した。RLHFではなく教師あり指示チューニングのみで効果を示した点がInstructGPTのアプローチと異なる。検証待ち [2109.01652] Finetuned Language Models Are Zero-Shot Learners

Key References

• 指示チューニング（Instruction Tuning）とは何ですか？
• InstructGPTとFLANの指示チューニングはどう違いますか？
• 指示チューニングはどのような効果がありますか？

Related

• 人間のフィードバックによる強化学習（RLHF）— 指示チューニングは人間フィードバックからの強化学習（RLHF）と組み合わせて使われることが多い。
• OpenAI— 指示チューニングを用いたInstructGPTはOpenAIによって開発された。