Yizhong Wang et al.公式の査読前論文（arXiv、後にACL 2023採択）（https://arxiv.org/abs/2212.10560）は、Instruction Tuningの主要製品・提供機能に関する公的記録である。Self-Instruct論文が指示チューニング用データの生成手法について説明しており、具体的には「Self-Instructは、言語モデル自身の生成結果から指示チューニング用データ（指示・入力・出力）を生成し、低品質または重複したサンプルを除去したうえで、その結果を用いて同一のベースモデルをファインチューニングする手法である。素のGPT-3にこの手法を適用したところ、Super-NaturalInstructionsベンチマークにおいて33ポイントの絶対的な性能向上が得られ、非公開の人手アノテーションデータを一切使用しないにもかかわらず、InstructGPT-001と同水準の性能に達した。」といった記載がある。ただし、これは取得時点で公開されている構成であり、各提供物の機能範囲・提供地域・提供終了の有無はこのSourceからは確認できません。 33ポイントの性能向上および「InstructGPT-001と同水準」という比較は、この2022年の論文で使用された特定のベンチマークとベースモデル（Super-NaturalInstructions上の素のGPT-3）に固有のものであり、他のベースモデル・ベンチマーク、あるいはその後のInstructGPT・RLHFバージョンとの比較では結果が異なる可能性がある。また、モデル自身が生成したデータは、ベースモデルの出力に内在するバイアスや誤りを引き継ぐ可能性がある。2026年08月23日に同Sourceを取得し、この内容を確認した。検証待ちInstruction Tuningの主要製品・提供機能に関する公開情報
Stanford Center for Research on Foundation Models（CRFM）公式ブログ公式のofficial research project blog post published by the university research center that created the model（https://crfm.stanford.edu/2023/03/13/alpaca.html）は、Instruction Tuningの主要製品・提供機能に関する公的記録である。既存Referenceは指示チューニングの定義・手法比較・効果・データ生成手法（Self-Instruct）を扱っているが、実際にどの程度のコストで指示チューニングを実践できるかという具体的な実例・数値は未収録のため新規性がある。具体的には「Stanford大学CRFMのAlpacaプロジェクトでは、Self-Instruct方式でOpenAIのtext-davinci-003を使い生成した5万2千件の指示追従デモンストレーションデータを用いて、7BパラメータのLLaMAモデルをA100 GPU8基で3時間ファインチューニングし（100ドル未満）、データ生成費用と合わせて総額600ドル未満で指示追従モデルを構築した。」といった記載がある。ただし、これは取得時点で公開されている構成であり、各提供物の機能範囲・提供地域・提供終了の有無はこのSourceからは確認できません。 この数値は2023年3月時点のGPUレンタル価格・OpenAI API料金に基づくものであり、現在の価格水準とは異なる可能性がある。またAlpacaは学術研究目的の実験的モデルであり、商用製品としての品質・安全性評価を経たものではない点に注意が必要。2026年08月23日に同Sourceを取得し、この内容を確認した。検証待ちInstruction Tuning主要製品・提供機能に関する公開情報
Wei et al.（2021, Google Research）が提示したFLANは、137Bパラメータの事前学習済みモデルを60以上のNLPタスクを自然言語の指示テンプレートで表現したデータで指示チューニングし、未見タスクへのゼロショット性能を大幅に改善した。RLHFではなく教師あり指示チューニングのみで効果を示した点がInstructGPTのアプローチと異なる。検証待ち[2109.01652] Finetuned Language Models Are Zero-Shot Learners