Pretraining

Identity

• Hugging Faceの公式ドキュメントによれば、事前学習済みモデル（pre-trained model）は大規模データセットで学習された汎用モデルであり、BERT・GPT・RoBERTaのような言語モデルは大規模テキストコーパス上で自然言語のトークンを予測するよう学習される。検証待ち Fine-tuning · Hugging Face

Capability

• Hugging Faceの公式ドキュメントによれば、事前学習済みモデル（pre-trained model）は大規模データセットで学習された汎用モデルであり、BERT・GPT・RoBERTaのような言語モデルは大規模テキストコーパス上で自然言語のトークンを予測するよう学習される。検証待ち Fine-tuning · Hugging Face

Credibility

公開Evidence未整備

Use Case

• Devlin et al.（2018, Google）のBERTは、大規模テキストコーパス上でマスク言語モデリングにより双方向表現を事前学習し、その後個別タスクにファインチューニングすることで11のNLPタスクで当時の最高性能を達成した、事前学習の効果を示す代表例である。検証待ち [1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Constraints / Current Status

• 同ドキュメントは、ファインチューニングは事前学習とほぼ同じ処理だが、ランダムな重みから始めない点が異なり、計算量・データ量・時間を大幅に削減できると説明する。事前学習はランダムな重みから大規模データで学習を始める段階である点で、ファインチューニングと明確に区別される。検証待ち Fine-tuning · Hugging Face

Key References

• 事前学習（Pretraining）とは何ですか？
• 事前学習とファインチューニングはどう違いますか？
• 事前学習はどのような効果がありますか？

Related

• Fine-tuning— 事前学習はファインチューニングの前段階であり、両者は学習パイプライン上で連続する概念である。
• Transformer（アーキテクチャ）— 現代の事前学習済み言語モデルの多くはTransformerアーキテクチャを基盤としている。
• Hugging Face— Hugging Faceは事前学習済みモデルを公開・共有する主要プラットフォームである。
• Self-Supervised Learning— Pretrainingは、Self-Supervised Learningという学習手法を大規模言語モデルの訓練に応用した代表的な段階である。