PyTorch公式ブログ（2024年11月14日更新版）によると、PyTorch 2.0で導入されたネイティブのscaled_dot_product_attention（SDPA）は「一部xFormersから着想を得ている」と明記されています。同記事は両者の技術的な違いにも言及しており、「xFormersは任意のアテンションマスクに対応している」のに対し、PyTorch 2.0.0時点のSDPAではカスタムアテンションマスクを渡すとFlash AttentionやMemory-efficient Attentionのカーネルが使用できず、C++実装（math実装）に自動的にフォールバックしてしまう制約があると報告されています。標準的なSDPA自体は推論時に5〜20%、学習時には10〜70%の高速化、20〜110%以上のメモリ削減効果があるとされていますが、カスタムマスクを必要とするT5のようなアーキテクチャではこの恩恵を十分に受けられない場合があるとされています。