P-04課題解決

Apache Beam は実際にどのような環境で使われますか?

GitHubのREADMEは、Beamのパイプラインを複数の分散処理バックエンドでランナー経由で実行でき、DataflowRunner、FlinkRunner、SparkRunnerなどを使えるとしています。Google Cloudのドキュメントでは、Dataflowが「オープンソースのApache Beamプロジェクトの上に構築されている」Google Cloudのサービスで、Beamで書いたパイプラインはFlinkやSparkなど他のプラットフォームへ移せると説明されています。個別企業の導入事例は今回確認していません。

実績・根拠

向いている相談

Beamパイプラインの実行環境と利用形態(ドキュメント記載の範囲)

他の選択肢との違い

利用形態はドキュメント上の説明であり、具体的な導入企業・規模は未確認。

よくある質問

Google Cloudで動かせますか?
Google CloudのDataflowはApache Beamの上に構築されたサービスであると同社ドキュメントが説明しています。

情報ソース