OpenAIの研究者らによる論文「Language Models are Few-Shot Learners」（arXiv:2005.14165、Brown et al., 2020）によれば、事前学習の規模を拡大することでタスクに依存しない少数ショット性能が大幅に向上し、場合によっては従来のファインチューニング手法による最先端の成果に匹敵するとされています。175億パラメータ（それまでの非スパース言語モデルの10倍）を持つGPT-3は、勾配更新やファインチューニングを一切行わず、テキストによる指示と少数の例示のみで翻訳・質問応答・推論などの多様なタスクに対応できることが示されました。これは事前学習とファインチューニングを組み合わせる従来の枠組みとは異なる、規模そのものが少数ショット能力を生み出すという知見です。