スケーリング法則とは、AIモデルの性能(損失)がモデルサイズ・データ量・学習計算量を増やすことでべき乗則に従って改善するという経験則です。OpenAIのKaplanらが2020年に発表した論文で、7桁以上の規模にわたって成立することが示されました。
モデルサイズ・データ量・計算量と性能の関係を説明する経験則
個別モデルの実装ではなく、学習リソース配分の意思決定を導く理論的枠組みという点で他の技術概念と異なる