DeepMindの研究者らによる論文「Training Compute-Optimal Large Language Models」（arXiv:2203.15556、Hoffmann et al., 2022）によれば、計算量が最適な事前学習を行うには、モデルサイズを2倍にする場合、学習トークン数も同様に2倍にする必要があるとされています。同論文は70M〜160億パラメータの400以上のモデルを学習させて検証し、当時の多くの大規模言語モデルはパラメータ数の拡大に偏りデータ量が不十分な「学習不足」の状態にあったと指摘しています。実証として、Gopher（280Bパラメータ、約300Bトークン）と同じ計算量を使い、70Bパラメータのモデル「Chinchilla」を1.4兆トークンで学習させたところ、Gopher・GPT-3（175B）・Jurassic-1（178B）・Megatron-Turing NLG（530B）のいずれをも一貫して上回りました。