Scaling Law

Identity

• Kaplan et al.（2020, OpenAI）は、7桁以上の計算量・パラメータ数・データ量にわたり200以上のTransformer言語モデルを学習し、クロスエントロピー損失がモデルサイズ・データセットサイズ・計算量のべき乗則に従うことを示した。検証待ち [2001.08361] Scaling Laws for Neural Language Models
• Epoch AI公式のAI研究機関の公表論文/レポート（https://epoch.ai/publications/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data）は、Scaling Lawの制度上の位置づけに関する公的記録である。Epoch AIの分析によれば、具体的には「Epoch AIは、AI学習に利用可能な、品質・重複を調整した人間生成の公開テキストの実効的なストックを約300兆トークンと推定しており、現在のスケーリング傾向が続いた場合、言語モデルはこのストックを2026年から2032年の間のいずれかの時点で使い尽くすと予測しているが、その正確な時期は学習手法（例えばオーバートレーニングの度合いと計算量最適な学習との違い）に大きく左右されるとしている。」といった記載がある。ただし、この記述は当該Sourceの時点のものであり、その後の変更が反映されているとは限りません。 これは2026年から2032年という幅の広い時期の不確実性を伴う予測であり、オーバートレーニング比率に関するモデル化上の前提に明示的に左右される。Epoch AIはこれまでも自らの推定を改訂してきており、この予測は正確に固定された日付として提示すべきではない。また、この人間生成テキストのみに基づく推定には、合成データ・非公開テキスト・マルチモーダルデータといった新しいデータソースは十分に織り込まれていない。2026年08月23日に同Sourceを取得し、この内容を確認した。検証待ち Scaling Lawの制度上の位置づけに関する公開情報

Capability

• Kaplan et al.（2020, OpenAI）は、7桁以上の計算量・パラメータ数・データ量にわたり200以上のTransformer言語モデルを学習し、クロスエントロピー損失がモデルサイズ・データセットサイズ・計算量のべき乗則に従うことを示した。検証待ち [2001.08361] Scaling Laws for Neural Language Models

Credibility

• Anthropic CEOのDario Amodei氏は公式ブログで、AIのスケーリング法則は10年以上にわたる実証的な裏付けを持ち、その予測可能な傾向がAI進歩の急速さを説明すると述べている。検証待ち Policy on the AI Exponential

Use Case

• Chinchilla（70B、Gopher相当の計算量で学習）はGopher（280B）・GPT-3（175B）・Megatron-Turing NLG（530B）を上回る性能を示し、スケーリング法則がモデル・データ配分の意思決定に実用上使われていることを示す代表例となった。検証待ち [2203.15556] Training Compute-Optimal Large Language Models

Constraints / Current Status

• Hoffmann et al.（2022, DeepMind）はChinchilla則として、計算量最適な学習ではモデルサイズとトークン数を同じ比率で増やすべきだと再定義した。Kaplanらの当初の法則（モデルサイズを優先的に増やす配分）とは、計算量最適点の推定方法で異なる。検証待ち [2203.15556] Training Compute-Optimal Large Language Models
• arXiv（著者McKenzie, Lyzhov et al.、後にTransactions on Machine Learning Research (TMLR) に採録された査読論文のプレプリント）公式のpeer-reviewed research paper (preprint on arXiv, later published in TMLR)（https://arxiv.org/abs/2306.09479）は、Scaling Lawの差別化要因に関する公的記録である。既存Referenceはスケーリング法則が成立する前提での定義・派生則（Chinchilla則）・実務活用・データ枯渇予測のみを扱っており、法則が破れる反例・限界事例は未収録のため新規性がある。具体的には「LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. / We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool.」といった記載がある。ただし、この差別化要因の記述は当該Sourceの時点の位置づけであり、競合状況の変化を反映しない可能性があります。 この論文は2023年に発表されたInverse Scaling Prizeの結果に基づくものであり、その後（特にモデルのpost-trainingやRLHF等の改善が進んだ後）に同じ逆スケーリングが同程度観測され続けているかはこのSourceだけでは確認できない。また逆スケーリングは全タスク・全モデルで生じる普遍的現象ではなく、特定の11データセットで観測された事例である点に注意が必要。2026年08月24日に同Sourceを取得し、この内容を確認した。検証待ち Scaling Law差別化要因に関する公開情報

Key References

• スケーリング法則がAIの能力向上を予測する上で信頼性のある経験則であるという主張は、AI業界のリーダー自身によってどのように裏付けられていますか？
• AIのスケーリング法則とは何ですか？
• Kaplanのスケーリング法則とChinchilla則はどう違いますか？

Related

• 大規模言語モデル（LLM）— スケーリング法則は大規模言語モデルの性能とモデルサイズ・データ量・計算量の関係を説明する経験則である。
• 基盤モデル（Foundation Model）— スケーリング法則は基盤モデルの学習リソース配分の意思決定を導く理論的枠組みである。
• OpenAI— スケーリング法則を最初に体系的に示した論文はOpenAIの研究者によって発表された。
• Emergent Abilities— スケーリング法則のなめらかな性能改善と、創発的能力の不連続な出現は対比される現象である。
• AI Benchmark— AI Benchmarkは、Scaling Lawが予測する性能向上を実測・検証する手段として関連する概念である。