Googleの研究者ら（Jacob Devlin氏ら4名）がarXivに公開した論文「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」（2018年）によると、BERT（Bidirectional Encoder Representations from Transformers）は、ラベル付けされていないテキストから、左右両方の文脈を同時に条件づけて双方向の表現を事前学習するモデルです。この事前学習には、入力の一部をマスクしてその原単語を文脈のみから予測するマスク言語モデル（Masked Language Model）という自己教師あり学習の目的関数が用いられています。論文は、この手法を用いた事前学習モデルに1層の出力層を追加してファインチューニングするだけで、11のNLPタスクで当時の最高性能（state-of-the-art）を達成したと報告しています。具体的な性能改善として、GLUEベンチマークで80.5%（7.7ポイント改善）、MultiNLIで86.7%の精度（4.6ポイント改善）、SQuAD v1.1で93.2のF1スコア（1.5ポイント改善）、SQuAD v2.0で83.1のF1スコア（5.1ポイント改善）を達成したとされ、ラベルなしデータからの自己教師あり事前学習が下流タスクの性能を大きく押し上げることを実証した代表的な研究として位置づけられます。