Pretraining

Identity

• Hugging Faceの公式ドキュメントによれば、事前学習済みモデル（pre-trained model）は大規模データセットで学習された汎用モデルであり、BERT・GPT・RoBERTaのような言語モデルは大規模テキストコーパス上で自然言語のトークンを予測するよう学習される。検証待ち Fine-tuning · Hugging Face

Capability

• Hugging Faceの公式ドキュメントによれば、事前学習済みモデル（pre-trained model）は大規模データセットで学習された汎用モデルであり、BERT・GPT・RoBERTaのような言語モデルは大規模テキストコーパス上で自然言語のトークンを予測するよう学習される。検証待ち Fine-tuning · Hugging Face
• OpenAIの論文「Language Models are Few-Shot Learners」（arXiv:2005.14165, 2020）は、175Bパラメータを持つGPT-3が勾配更新やファインチューニングを一切行わず、テキストによる少数の例示のみで多様なタスクに高い性能を発揮することを示し、事前学習の規模拡大がタスクに依存しない少数ショット性能を大きく向上させると報告している。検証待ち Language Models are Few-Shot Learners

Credibility

• DeepMindの論文「Training Compute-Optimal Large Language Models」（arXiv:2203.15556, Hoffmann et al., 2022）は、モデルサイズと学習トークン数を同じ比率で拡大すべきだと指摘し、Gopherと同じ計算量で1.4兆トークン学習させた70Bパラメータの「Chinchilla」がGopher・GPT-3・Jurassic-1・Megatron-Turing NLGを上回ったと報告している。多くの既存モデルが学習不足だったとする。検証待ち Training Compute-Optimal Large Language Models

Use Case

• Devlin et al.（2018, Google）のBERTは、大規模テキストコーパス上でマスク言語モデリングにより双方向表現を事前学習し、その後個別タスクにファインチューニングすることで11のNLPタスクで当時の最高性能を達成した、事前学習の効果を示す代表例である。検証待ち [1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Constraints / Current Status

• 同ドキュメントは、ファインチューニングは事前学習とほぼ同じ処理だが、ランダムな重みから始めない点が異なり、計算量・データ量・時間を大幅に削減できると説明する。事前学習はランダムな重みから大規模データで学習を始める段階である点で、ファインチューニングと明確に区別される。検証待ち Fine-tuning · Hugging Face

Key References

• 事前学習（Pretraining）とは何ですか？
• 同じ計算量で事前学習を行う場合、モデルサイズと学習データ量はどのように配分するのが最適ですか？
• 事前学習とファインチューニングはどう違いますか？

Related

• Fine-tuning— 事前学習はファインチューニングの前段階であり、両者は学習パイプライン上で連続する概念である。
• Transformer（アーキテクチャ）— 現代の事前学習済み言語モデルの多くはTransformerアーキテクチャを基盤としている。
• Hugging Face— Hugging Faceは事前学習済みモデルを公開・共有する主要プラットフォームである。
• Self-Supervised Learning— Pretrainingは、Self-Supervised Learningという学習手法を大規模言語モデルの訓練に応用した代表的な段階である。