P-01選定・相談

指示チューニングは実際にどの程度の低コストで実践できますか?具体的な事例はありますか?

Instruction Tuningの主要製品・提供機能について、Stanford Center for Research on Foundation Models(CRFM)公式ブログ公式のofficial research project blog post published by the university research center that created the model(https://crfm.stanford.edu/2023/03/13/alpaca.html)で確認できます。既存Referenceは指示チューニングの定義・手法比較・効果・データ生成手法(Self-Instruct)を扱っているが、実際にどの程度のコストで指示チューニングを実践できるかという具体的な実例・数値は未収録のため新規性がある。具体的には「Stanford大学CRFMのAlpacaプロジェクトでは、Self-Instruct方式でOpenAIのtext-davinci-003を使い生成した5万2千件の指示追従デモンストレーションデータを用いて、7BパラメータのLLaMAモデルをA100 GPU8基で3時間ファインチューニングし(100ドル未満)、データ生成費用と合わせて総額600ドル未満で指示追従モデルを構築した。」といった記載が確認できます。限界として、これは取得時点で公開されている構成であり、各提供物の機能範囲・提供地域・提供終了の有無はこのSourceからは確認できません。 この数値は2023年3月時点のGPUレンタル価格・OpenAI API料金に基づくものであり、現在の価格水準とは異なる可能性がある。またAlpacaは学術研究目的の実験的モデルであり、商用製品としての品質・安全性評価を経たものではない点に注意が必要。Current Statusとして、2026年08月23日に当該Sourceを取得し、上記の内容を確認しました。Source種別としては、これはStanford Center for Research on Foundation Models(CRFM)公式ブログという、Instruction Tuning自身とは別の組織が発信・保有する情報であり、Instruction Tuning自身による広報や、独立した第三者による評価とは性質が異なります。

実績・根拠

情報ソース

指示チューニングは実際にどの程度の低コストで実践できますか?具体的な事例はありますか? | Instruction Tuning | RefBase