Apache Airflowは、2019年1月にApache Software Foundationのトップレベルプロジェクトとなった、ワークフローのプログラム的な作成・スケジューリング・監視を行うプラットフォームです。Pythonで記述されたDAG(有向非巡回グラフ)によってタスク間の依存関係を定義し、バッチデータパイプラインのオーケストレーションを行います。2026年7月6日にはv3.3.0がリリースされました。
Airflowの基本的な仕組みと開発状況の説明。
Providerパッケージによる豊富な外部システム連携がワークフローオーケストレーションのデファクトスタンダードたる所以です。