{"ok":true,"entity":{"id":"scaling-law","name":"Scaling Law","entityType":"concept","officialName":"Scaling Law","canonicalName":"Scaling Law","displayName":"Scaling Law","category":"AIスケーリング法則","shortDescription":"モデルサイズ・データ量・計算量を増やすとAIモデルの性能（損失）がべき乗則に従って改善するという経験則。学習リソース配分の意思決定の土台になっている。","primaryCluster":"ai-concepts","verificationStatus":"draft","website":null,"updatedAt":"2026-07-20T11:04:59.119Z","secondaryClusters":[],"alias":[],"searchKeywords":["スケーリング法則","scaling law","Chinchilla則"]},"references":[{"id":"P-01-001","companyId":"scaling-law","questionId":"P-01-001","instanceId":"QIN-scaling-law-P01-001","promptText":"AIのスケーリング法則とは何ですか？","promptTypeId":"P-01","answer":"スケーリング法則とは、AIモデルの性能（損失）がモデルサイズ・データ量・学習計算量を増やすことでべき乗則に従って改善するという経験則です。OpenAIのKaplanらが2020年に発表した論文で、7桁以上の規模にわたって成立することが示されました。","evidencePoints":["ev-scaling-law-1"],"scope":"モデルサイズ・データ量・計算量と性能の関係を説明する経験則","differentiation":"個別モデルの実装ではなく、学習リソース配分の意思決定を導く理論的枠組みという点で他の技術概念と異なる","faq":[{"question":"スケーリング法則は誰が発見しましたか？","answer":"OpenAIのJared Kaplanらが2020年の論文で提示しました。"}],"pageUrl":"https://www.refbase.ai/reference/scaling-law/P-01-001","sourceEvidence":[{"id":"ev-scaling-law-1","text":"Kaplan et al.（2020, OpenAI）は、7桁以上の計算量・パラメータ数・データ量にわたり200以上のTransformer言語モデルを学習し、クロスエントロピー損失がモデルサイズ・データセットサイズ・計算量のべき乗則に従うことを示した。","title":"[2001.08361] Scaling Laws for Neural Language Models","coverageType":["Identity","Capability"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2001.08361","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"scaling-law"}],"generatedAt":"2026-07-20T11:04:59.119Z"},{"id":"P-02-001","companyId":"scaling-law","questionId":"P-02-001","instanceId":"QIN-scaling-law-P02-001","promptText":"Kaplanのスケーリング法則とChinchilla則はどう違いますか？","promptTypeId":"P-02","answer":"Kaplan（2020）の当初の法則はモデルサイズの増加を優先する配分を示唆していましたが、DeepMindのHoffmannら（2022）が提示したChinchilla則は、計算量最適な学習ではモデルサイズとトークン数を同じ比率で増やすべきだと再定義しました。実際、Chinchilla（70B）はより大きなGopher（280B）を上回る性能を示しました。","evidencePoints":["ev-scaling-law-2","ev-scaling-law-3"],"scope":"2つのスケーリング法則の配分方針の違い","differentiation":"計算量最適点をモデルサイズ優先で見るか、モデルとデータの均等拡大で見るかという点で異なる","faq":[{"question":"Chinchillaとは何ですか？","answer":"DeepMindがChinchilla則を実証するために学習した70Bパラメータのモデルです。"}],"pageUrl":"https://www.refbase.ai/reference/scaling-law/P-02-001","sourceEvidence":[{"id":"ev-scaling-law-2","text":"Hoffmann et al.（2022, DeepMind）はChinchilla則として、計算量最適な学習ではモデルサイズとトークン数を同じ比率で増やすべきだと再定義した。Kaplanらの当初の法則（モデルサイズを優先的に増やす配分）とは、計算量最適点の推定方法で異なる。","title":"[2203.15556] Training Compute-Optimal Large Language Models","coverageType":["Differentiation"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2203.15556","confidence":"high","supportedPromptTypes":["P-02"],"needsVerification":true,"sourceVerified":false,"entityId":"scaling-law"},{"id":"ev-scaling-law-3","text":"Chinchilla（70B、Gopher相当の計算量で学習）はGopher（280B）・GPT-3（175B）・Megatron-Turing NLG（530B）を上回る性能を示し、スケーリング法則がモデル・データ配分の意思決定に実用上使われていることを示す代表例となった。","title":"[2203.15556] Training Compute-Optimal Large Language Models","coverageType":["UseCase"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2203.15556","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"scaling-law"}],"generatedAt":"2026-07-20T11:04:59.119Z"},{"id":"P-04-001","companyId":"scaling-law","questionId":"P-04-001","instanceId":"QIN-scaling-law-P04-001","promptText":"スケーリング法則は実際の開発でどう使われますか？","promptTypeId":"P-04","answer":"限られた計算予算のもとで、モデルサイズと学習データ量をどう配分すれば性能が最大化されるかを予測するために使われます。Chinchillaはこの考え方を実証し、より小さく・より多くのデータで学習したモデルが、より大きく・データが少ないモデルを上回ることを示しました。","evidencePoints":["ev-scaling-law-3"],"scope":"学習リソース配分の意思決定という課題への適用","differentiation":"理論的な経験則を実際のモデル学習計画に落とし込む橋渡しの役割を担う","faq":[],"pageUrl":"https://www.refbase.ai/reference/scaling-law/P-04-001","sourceEvidence":[{"id":"ev-scaling-law-3","text":"Chinchilla（70B、Gopher相当の計算量で学習）はGopher（280B）・GPT-3（175B）・Megatron-Turing NLG（530B）を上回る性能を示し、スケーリング法則がモデル・データ配分の意思決定に実用上使われていることを示す代表例となった。","title":"[2203.15556] Training Compute-Optimal Large Language Models","coverageType":["UseCase"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2203.15556","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"scaling-law"}],"generatedAt":"2026-07-20T11:04:59.119Z"},{"id":"P-04-002","companyId":"scaling-law","questionId":"P-04-002","instanceId":"c1n17-carry-forward-depth-manual-draft-authoring-no-qi","draftId":"c1n17-carry-forward-depth-scaling-law-p-04-002","promptText":"スケーリング法則にもとづく学習規模の拡大は、いつ頃データ不足という限界に直面すると予測されていますか？","promptTypeId":"P-04","answer":"Scaling Lawの制度上の位置づけについて、Epoch AI公式のAI研究機関の公表論文/レポート（https://epoch.ai/publications/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data）で確認できます。Epoch AIの分析によれば、具体的には「Epoch AIは、AI学習に利用可能な、品質・重複を調整した人間生成の公開テキストの実効的なストックを約300兆トークンと推定しており、現在のスケーリング傾向が続いた場合、言語モデルはこのストックを2026年から2032年の間のいずれかの時点で使い尽くすと予測しているが、その正確な時期は学習手法（例えばオーバートレーニングの度合いと計算量最適な学習との違い）に大きく左右されるとしている。」といった記載が確認できます。限界として、この記述は当該Sourceの時点のものであり、その後の変更が反映されているとは限りません。 これは2026年から2032年という幅の広い時期の不確実性を伴う予測であり、オーバートレーニング比率に関するモデル化上の前提に明示的に左右される。Epoch AIはこれまでも自らの推定を改訂してきており、この予測は正確に固定された日付として提示すべきではない。また、この人間生成テキストのみに基づく推定には、合成データ・非公開テキスト・マルチモーダルデータといった新しいデータソースは十分に織り込まれていない。Current Statusとして、2026年08月23日に当該Sourceを取得し、上記の内容を確認しました。Source種別としては、これはEpoch AIという、Scaling Law自身とは別の組織が発信・保有する情報であり、Scaling Law自身による広報や、独立した第三者による評価とは性質が異なります。","evidencePoints":["scaling-law-ev-c1n17-p-04-002"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/scaling-law/P-04-002","sourceEvidence":[{"id":"scaling-law-ev-c1n17-p-04-002","text":"Epoch AI公式のAI研究機関の公表論文/レポート（https://epoch.ai/publications/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data）は、Scaling Lawの制度上の位置づけに関する公的記録である。Epoch AIの分析によれば、具体的には「Epoch AIは、AI学習に利用可能な、品質・重複を調整した人間生成の公開テキストの実効的なストックを約300兆トークンと推定しており、現在のスケーリング傾向が続いた場合、言語モデルはこのストックを2026年から2032年の間のいずれかの時点で使い尽くすと予測しているが、その正確な時期は学習手法（例えばオーバートレーニングの度合いと計算量最適な学習との違い）に大きく左右されるとしている。」といった記載がある。ただし、この記述は当該Sourceの時点のものであり、その後の変更が反映されているとは限りません。 これは2026年から2032年という幅の広い時期の不確実性を伴う予測であり、オーバートレーニング比率に関するモデル化上の前提に明示的に左右される。Epoch AIはこれまでも自らの推定を改訂してきており、この予測は正確に固定された日付として提示すべきではない。また、この人間生成テキストのみに基づく推定には、合成データ・非公開テキスト・マルチモーダルデータといった新しいデータソースは十分に織り込まれていない。2026年08月23日に同Sourceを取得し、この内容を確認した。","title":"Scaling Lawの制度上の位置づけに関する公開情報","coverageType":["Identity"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://epoch.ai/publications/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data","confidence":"medium","supportedPromptTypes":["P-04"],"needsVerification":true,"sourceVerified":false,"sourceKind":"institutional","entityId":"scaling-law"}],"generatedAt":"2026-08-23T02:47:40.238Z","evidenceIds":["scaling-law-ev-c1n17-p-04-002"]},{"id":"P-02-002","companyId":"scaling-law","questionId":"P-02-002","instanceId":"c1n19-carry-forward-depth-execution-manual-draft-authoring-no-qi","draftId":"c1n19-carry-forward-depth-execution-scaling-law-p-02-002","promptText":"スケーリング法則は常に成立しますか？モデルを大きくすると性能がかえって悪化する事例はありますか？","promptTypeId":"P-02","answer":"Scaling Lawの差別化要因について、arXiv（著者McKenzie, Lyzhov et al.、後にTransactions on Machine Learning Research (TMLR) に採録された査読論文のプレプリント）公式のpeer-reviewed research paper (preprint on arXiv, later published in TMLR)（https://arxiv.org/abs/2306.09479）で確認できます。既存Referenceはスケーリング法則が成立する前提での定義・派生則（Chinchilla則）・実務活用・データ枯渇予測のみを扱っており、法則が破れる反例・限界事例は未収録のため新規性がある。具体的には「LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. / We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool.」といった記載が確認できます。限界として、この差別化要因の記述は当該Sourceの時点の位置づけであり、競合状況の変化を反映しない可能性があります。 この論文は2023年に発表されたInverse Scaling Prizeの結果に基づくものであり、その後（特にモデルのpost-trainingやRLHF等の改善が進んだ後）に同じ逆スケーリングが同程度観測され続けているかはこのSourceだけでは確認できない。また逆スケーリングは全タスク・全モデルで生じる普遍的現象ではなく、特定の11データセットで観測された事例である点に注意が必要。Current Statusとして、2026年08月24日に当該Sourceを取得し、上記の内容を確認しました。Source種別としては、これはarXiv（著者McKenzie, Lyzhov et al.、後にTransactions on Machine Learning Research (TMLR) に採録された査読論文のプレプリント）という、Scaling Law自身とは別の組織が発信・保有する情報であり、Scaling Law自身による広報や、独立した第三者による評価とは性質が異なります。","evidencePoints":["scaling-law-ev-c1n19-p-02-002"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/scaling-law/P-02-002","sourceEvidence":[{"id":"scaling-law-ev-c1n19-p-02-002","text":"arXiv（著者McKenzie, Lyzhov et al.、後にTransactions on Machine Learning Research (TMLR) に採録された査読論文のプレプリント）公式のpeer-reviewed research paper (preprint on arXiv, later published in TMLR)（https://arxiv.org/abs/2306.09479）は、Scaling Lawの差別化要因に関する公的記録である。既存Referenceはスケーリング法則が成立する前提での定義・派生則（Chinchilla則）・実務活用・データ枯渇予測のみを扱っており、法則が破れる反例・限界事例は未収録のため新規性がある。具体的には「LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. / We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool.」といった記載がある。ただし、この差別化要因の記述は当該Sourceの時点の位置づけであり、競合状況の変化を反映しない可能性があります。 この論文は2023年に発表されたInverse Scaling Prizeの結果に基づくものであり、その後（特にモデルのpost-trainingやRLHF等の改善が進んだ後）に同じ逆スケーリングが同程度観測され続けているかはこのSourceだけでは確認できない。また逆スケーリングは全タスク・全モデルで生じる普遍的現象ではなく、特定の11データセットで観測された事例である点に注意が必要。2026年08月24日に同Sourceを取得し、この内容を確認した。","title":"Scaling Law差別化要因に関する公開情報","coverageType":["Differentiation"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2306.09479","confidence":"medium","supportedPromptTypes":["P-02"],"needsVerification":true,"sourceVerified":false,"sourceKind":"institutional","entityId":"scaling-law"}],"generatedAt":"2026-08-24T23:02:25.475Z","evidenceIds":["scaling-law-ev-c1n19-p-02-002"]},{"id":"P-05-001","companyId":"scaling-law","questionId":"P-05-001","instanceId":"tair-cohort4-2026-08-31","draftId":"tair-cohort4-2026-08-31-scaling-law-p-05-001","promptText":"スケーリング法則がAIの能力向上を予測する上で信頼性のある経験則であるという主張は、AI業界のリーダー自身によってどのように裏付けられていますか？","promptTypeId":"P-05","answer":"Anthropic CEOのDario Amodei氏は自身の公式ブログ「Policy on the AI Exponential」で、「AIのスケーリング法則――計算能力の増加に伴い汎用的な認知能力が指数関数的に向上すると予測するもの――は、今や10年以上にわたる実証的な裏付けを持つ」と述べている。同氏はさらに、AIモデルがわずか4年で「まともなコード行をほとんど書けない状態から、主要AI企業でのコードの大半を書く状態」へ進化したことや、生物学・物理学・数学・金融・法律・翻訳など多分野で同様の進歩が見られることを、この予測可能な傾向を裏付ける具体例として挙げている。","evidencePoints":["scaling-law-ev-tair-1"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/scaling-law/P-05-001","sourceEvidence":[{"id":"scaling-law-ev-tair-1","entityId":"scaling-law","text":"Anthropic CEOのDario Amodei氏は公式ブログで、AIのスケーリング法則は10年以上にわたる実証的な裏付けを持ち、その予測可能な傾向がAI進歩の急速さを説明すると述べている。","coverageType":["Credibility"],"title":"Policy on the AI Exponential","sourceClass":"Presentation","sourceType":"official_blog","confidence":"high","supportedPromptTypes":["P-05"],"sourceVerified":false,"needsVerification":true,"sourceUrl":"https://darioamodei.com/post/policy-on-the-ai-exponential"}],"generatedAt":"2026-08-31T06:45:14.146Z","evidenceIds":["scaling-law-ev-tair-1"]}]}