P-04課題解決

指示チューニング用のデータは、人手による大量のアノテーションなしでどのように生成できますか?

Instruction Tuningの主要製品・提供機能について、Yizhong Wang et al.公式の査読前論文(arXiv、後にACL 2023採択)(https://arxiv.org/abs/2212.10560)で確認できます。Self-Instruct論文が指示チューニング用データの生成手法について説明しており、具体的には「Self-Instructは、言語モデル自身の生成結果から指示チューニング用データ(指示・入力・出力)を生成し、低品質または重複したサンプルを除去したうえで、その結果を用いて同一のベースモデルをファインチューニングする手法である。素のGPT-3にこの手法を適用したところ、Super-NaturalInstructionsベンチマークにおいて33ポイントの絶対的な性能向上が得られ、非公開の人手アノテーションデータを一切使用しないにもかかわらず、InstructGPT-001と同水準の性能に達した。」といった記載が確認できます。限界として、これは取得時点で公開されている構成であり、各提供物の機能範囲・提供地域・提供終了の有無はこのSourceからは確認できません。 33ポイントの性能向上および「InstructGPT-001と同水準」という比較は、この2022年の論文で使用された特定のベンチマークとベースモデル(Super-NaturalInstructions上の素のGPT-3)に固有のものであり、他のベースモデル・ベンチマーク、あるいはその後のInstructGPT・RLHFバージョンとの比較では結果が異なる可能性がある。また、モデル自身が生成したデータは、ベースモデルの出力に内在するバイアスや誤りを引き継ぐ可能性がある。Current Statusとして、2026年08月23日に当該Sourceを取得し、上記の内容を確認しました。Source種別としては、これはYizhong Wang et al.という、Instruction Tuning自身とは別の組織が発信・保有する情報であり、Instruction Tuning自身による広報や、独立した第三者による評価とは性質が異なります。

実績・根拠

情報ソース