アテンション機構は従来の再帰型（RNN）と何が違いますか？

比較軸 ・依存関係の捉え方 ・並列性 アテンション機構は系列を順番に処理する再帰型と異なり、離れた位置の要素どうしの関係を直接捉えられ、並列処理もしやすい点が異なります。

実績・根拠

• —ev-attention-mechanism-2

向いている相談

モデル構造の違いを知りたい相談

他の選択肢との違い

長距離依存と並列性

よくある質問

自己注意とは？

同じ系列内の要素どうしの関連を計算する仕組みです。

情報ソース

• Source
  Attention Is All You Need（arXiv:1706.03762）検証待ち出典を見る