開発者Tri Daoによる論文（arXiv、2023年7月公開）によれば、FlashAttention-2は非matmul演算のFLOPs削減、スレッドブロック単位での並列化の改善、ワープ間の共有メモリ通信の最小化という3つの工夫により、元のFlashAttentionと比べて約2倍高速化されています。A100 GPU上での理論最大性能に対する利用率も、FlashAttentionの25〜40%からFlashAttention-2では50〜73%まで向上し、GPTスタイルのモデル学習では1台のA100あたり225 TFLOPs/s（モデルFLOPs利用率72%）を達成したと報告されています。