限られた計算予算のもとで、モデルサイズと学習データ量をどう配分すれば性能が最大化されるかを予測するために使われます。Chinchillaはこの考え方を実証し、より小さく・より多くのデータで学習したモデルが、より大きく・データが少ないモデルを上回ることを示しました。
学習リソース配分の意思決定という課題への適用
理論的な経験則を実際のモデル学習計画に落とし込む橋渡しの役割を担う