xFormers

Identity

• xFormersはMetaが開発する、構成可能な構築を支援するハッカブルで最適化されたTransformerの構成要素（ビルディングブロック）を提供するライブラリである。検証待ち GitHub - facebookresearch/xformers

Capability

• xFormersはMetaが開発する、構成可能な構築を支援するハッカブルで最適化されたTransformerの構成要素（ビルディングブロック）を提供するライブラリである。検証待ち GitHub - facebookresearch/xformers
• xFormersはAttentionメカニズム・正規化レイヤー・フィードフォワードブロック等の最適化されたコンポーネントを組み合わせてカスタムTransformerシステムを構築できる。メモリ効率の良いAttention・融合GPU演算・スパース/ブロックスパースAttention等の高度な技術をサポートする。検証待ち What is xFormers? | xFormers documentation
• xFormers公式GitHubのREADMEによれば、同ライブラリのメモリ効率的な正確なAttention機能は、近似ではなく厳密な計算結果を保ちながら標準実装比で最大10倍の高速化を実現する。スパースAttentionや融合SwiGLU活性化など複数の最適化コンポーネントも提供する。検証待ち GitHub - facebookresearch/xformers

Credibility

• xFormersはAmpere GPUでのFlashAttention 3対応の追加等、継続的にリリースが行われている。検証待ち Releases · facebookresearch/xformers

Use Case

• Photoroomのブログ（2022年9月23日付）は、Meta（Facebook Research）開発のxFormersのメモリ効率的アテンション（Flash Attention活用）を導入することで、Stable DiffusionのNVIDIA A10G GPUでの推論速度が最大100%（2倍）向上したと報告し、diffusersライブラリのコード2箇所変更のみで実装できると紹介した。検証待ち Make stable diffusion up to 100% faster with Memory Efficient Attention

Constraints / Current Status

• xFormersはAttentionメカニズム・正規化レイヤー・フィードフォワードブロック等の最適化されたコンポーネントを組み合わせてカスタムTransformerシステムを構築できる。メモリ効率の良いAttention・融合GPU演算・スパース/ブロックスパースAttention等の高度な技術をサポートする。検証待ち What is xFormers? | xFormers documentation
• PyTorch公式ブログは、PyTorch 2.0のネイティブSDPA実装が「一部xFormersから着想を得ている」としつつ、xFormersが任意のアテンションマスクに対応する一方、PyTorch 2.0.0のSDPAはカスタムマスク使用時にFlash/Memory-efficient Attentionカーネルを使えずC++実装にフォールバックする制約があると報告した。検証待ち Out of the box acceleration and memory savings of Hugging Face decoder models with PyTorch 2.0

Key References

• xFormersを選ぶ理由として、標準的なAttention実装と比べてどれほどの性能向上が見込めますか？
• xFormersとはどのようなライブラリですか？
• xFormersは他のAttention最適化ライブラリと何が違いますか？

Part of

• Meta— xFormersはMetaが開発するライブラリである。

Integrates With

• FlashAttention— xFormersはFlashAttentionをAttentionバックエンドの一つとして統合利用している。