Scaling Law

Identity

• Kaplan et al.（2020, OpenAI）は、7桁以上の計算量・パラメータ数・データ量にわたり200以上のTransformer言語モデルを学習し、クロスエントロピー損失がモデルサイズ・データセットサイズ・計算量のべき乗則に従うことを示した。検証待ち [2001.08361] Scaling Laws for Neural Language Models

Capability

• Kaplan et al.（2020, OpenAI）は、7桁以上の計算量・パラメータ数・データ量にわたり200以上のTransformer言語モデルを学習し、クロスエントロピー損失がモデルサイズ・データセットサイズ・計算量のべき乗則に従うことを示した。検証待ち [2001.08361] Scaling Laws for Neural Language Models

Credibility

公開Evidence未整備

Use Case

• Chinchilla（70B、Gopher相当の計算量で学習）はGopher（280B）・GPT-3（175B）・Megatron-Turing NLG（530B）を上回る性能を示し、スケーリング法則がモデル・データ配分の意思決定に実用上使われていることを示す代表例となった。検証待ち [2203.15556] Training Compute-Optimal Large Language Models

Constraints / Current Status

• Hoffmann et al.（2022, DeepMind）はChinchilla則として、計算量最適な学習ではモデルサイズとトークン数を同じ比率で増やすべきだと再定義した。Kaplanらの当初の法則（モデルサイズを優先的に増やす配分）とは、計算量最適点の推定方法で異なる。検証待ち [2203.15556] Training Compute-Optimal Large Language Models

Key References

• AIのスケーリング法則とは何ですか？
• Kaplanのスケーリング法則とChinchilla則はどう違いますか？
• スケーリング法則は実際の開発でどう使われますか？

Related

• 大規模言語モデル（LLM）— スケーリング法則は大規模言語モデルの性能とモデルサイズ・データ量・計算量の関係を説明する経験則である。
• 基盤モデル（Foundation Model）— スケーリング法則は基盤モデルの学習リソース配分の意思決定を導く理論的枠組みである。
• OpenAI— スケーリング法則を最初に体系的に示した論文はOpenAIの研究者によって発表された。
• Emergent Abilities— スケーリング法則のなめらかな性能改善と、創発的能力の不連続な出現は対比される現象である。
• AI Benchmark— AI Benchmarkは、Scaling Lawが予測する性能向上を実測・検証する手段として関連する概念である。