スケーリング法則はモデルサイズ・データ量・計算量に対して性能がべき乗則でなめらかに改善することを示す経験則です。一方、創発的能力は特定のモデルサイズを境に能力が不連続に出現する現象で、小規模モデルの性能から単純に予測できない点が異なります。
なめらかな性能改善と不連続な能力出現という2つの現象の対比
連続的な指標の改善か、閾値的な能力の出現かという観測パターンの違い