事前学習とは、ランダムな重みから始めて、大規模なテキストコーパスを用いてモデルに言語の統計的構造を学習させる最初の学習段階です。BERT・GPTのような言語モデルは、このプロセスで自然言語のトークンを予測する能力を獲得します。
ランダムな重みから大規模データで行う最初の学習段階の定義
個別タスク向けの調整ではなく、汎用的な言語理解の基盤を構築する段階という点が特徴