FlashAttention

Identity

• FlashAttentionは、Tri Dao・Daniel Y. Fu・Stefano Ermon・Atri Rudra・Christopher Réにより開発された、IO-awareなAttentionの高速・省メモリな正確な実装である。検証待ち GitHub - Dao-AILab/flash-attention

Capability

• FlashAttentionは、Tri Dao・Daniel Y. Fu・Stefano Ermon・Atri Rudra・Christopher Réにより開発された、IO-awareなAttentionの高速・省メモリな正確な実装である。検証待ち GitHub - Dao-AILab/flash-attention
• FlashAttentionはAttention計算の順序を工夫しタイリングと再計算を活用することで計算を高速化し、メモリ使用量をシーケンス長に対して二次から線形に削減する。検証待ち flash-attention/README.md at main

Credibility

• FlashAttentionはFlashAttention-2・FlashAttention-3と継続的に改良されており、Triton実装も含めALiBi等のAttentionバイアスに対応する実験的実装も提供されている。検証待ち FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision

Use Case

公開Evidence未整備

Constraints / Current Status

• FlashAttentionはAttention計算の順序を工夫しタイリングと再計算を活用することで計算を高速化し、メモリ使用量をシーケンス長に対して二次から線形に削減する。検証待ち flash-attention/README.md at main

Key References

• FlashAttentionとは何ですか？
• FlashAttentionは通常のAttention実装と何が違いますか？
• FlashAttentionはどのような場面で活用できますか？

Integrates With

• xFormers— xFormersはFlashAttentionをAttentionバックエンドの一つとして統合利用している。
• Triton— FlashAttentionはTritonによる実験的な実装も提供している。

Related

• PyTorch— FlashAttentionは主にPyTorchエコシステムで利用される高速Attention実装である。