2017年6月12日にarxivで公開された論文『Attention Is All You Need』（Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhinらによる）で、再帰や畳み込みを一切使わずAttention機構のみに基づくTransformerアーキテクチャが提案された。同論文はWMT2014の英独翻訳タスクで28.4 BLEUを達成し既存の最良結果を上回ったほか、英仏翻訳タスクでは単一モデルとして新たな最高スコアとなる41.8 BLEUを記録したと報告している。Transformerは逐次処理が必要な従来の再帰型ネットワークに比べ並列化に優れ、訓練時間を短縮しながら同等以上の性能を実現した点が評価されており、この論文が現在の大規模言語モデルの技術的基盤となっている。