P-05出典・引用

指示チューニングのデータ設計手法(Flan Collectionなど)の効果を裏付ける公式な研究発表はどこで確認できますか?

Google Researchが2023年2月1日に公開した公式ブログ記事によると、「The Flan Collection」はFLAN・P3/T0・Natural Instructionsといった既存の指示チューニング用データセットを統合し、対話やプログラム合成、複雑な推論に関する新たなタスクを加えた公開データセットです。同記事は、このデータで学習したFlan-T5が、従来の公開データセット(Flan、P3、Super-Natural Instructions)で学習したモデルと比較して、MMLUベンチマークで3%以上、BigBench Hard(BBH)で8%の性能向上を示し、held-inタスクやChain-of-Thoughtタスクなど各種評価設定全体では3〜17%の改善が見られたと報告しています。この向上は、タスクの多様性拡大に加え、ゼロショット・少数ショット・Chain-of-Thoughtのプロンプトを混在させて学習する手法によるものとされています。

実績・根拠

情報ソース