事前学習はどのような効果がありますか？

事前学習により、モデルは大規模データから汎用的な言語理解を獲得し、その後少量のデータでファインチューニングするだけで個別タスクに適応できるようになります。BERTはこの手法で11のNLPタスクにおいて当時の最高性能を達成しました。

実績・根拠

• —ev-pretraining-3

向いている相談

汎用的な言語理解の獲得とタスク適応の効率化という効果

他の選択肢との違い

タスクごとにモデルをゼロから学習する必要がなくなる点が特徴

情報ソース

• Source
  [1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding検証待ち出典を見る