Data Lakehouse

Identity

• Armbrust、Ghodsi、Xin、Zahariaの論文「Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics」(CIDR 2021)は、Apache Parquetなどのオープンな直接アクセス形式を基盤とし、機械学習やデータサイエンスを第一級でサポートするLakehouseを提案している。著者らは、現在のデータウェアハウス・アーキテクチャは今後数年で衰退すると主張し、データの鮮度、信頼性、コスト、ベンダーロックインなどの問題に対処すると述べている。検証待ち Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics

Capability

• Databricksの公式解説ページは、データレイクハウスを「データレイクの柔軟性・コスト効率・スケールと、データウェアハウスのデータ管理・トランザクション機能を組み合わせたオープンなデータ管理アーキテクチャ」と説明している。ACIDトランザクション、スキーマの強制、ガバナンス、BIと機械学習のサポートを特徴に挙げ、Delta Lake、Apache Iceberg、Apache Hudiを実装に使えるオープンな形式として挙げている。これはベンダー自身の説明である。検証待ち What Is a Lakehouse? | Databricks Blog
• Delta Lakeの公式サイトは、Delta Lakeを「format agnostic Lakehouse architecture」を構築するためのオープンソースのストレージフレームワークと説明し、2026年10月時点でDelta Lake 4.4.0とApache Spark 4.2.0の組み合わせを掲載している。同サイトは、独立したオープンソースプロジェクトで単一企業の管理下にはなく、2019年からLinux Foundation Projectsのサブプロジェクトだと記している。検証待ち Delta Lake
• Apache Hudiの公式サイトは、Hudiを高性能なオープンテーブルフォーマットに基づく「open data lakehouse platform」と説明し、分単位の低レイテンシ分析に向けたインクリメンタル処理を機能の一つに挙げている。連携先としてSpark、Flink、Trino、Presto、Hive、StarRocksなどのクエリエンジンが記載されている。検証待ち Apache Hudi | An Open Source Data Lake Platform | Apache Hudi
• Apache Icebergの公式サイトは、Icebergを「巨大な分析テーブルのための高性能フォーマット」であるオープンテーブルフォーマットと説明し、Spark、Trino、Flink、Presto、Hive、Impalaが同じテーブルを同時に安全に扱えるとしている。2026年10月時点で最新のドキュメント版は1.12.0。検証待ち Apache Iceberg
• Jainらの論文「Analyzing and Comparing Lakehouse Storage Systems」(CIDR 2023)は、データレイクのストレージ上にACIDトランザクションなどの管理機能を実装するLakehouseストレージシステムとして、Delta Lake、Apache Hudi、Apache Icebergを取り上げ、その設計上のトレードオフを比較している。同論文は、研究コミュニティがLakehouseシステム設計のトレードオフを詳細に検討してこなかったと述べている。検証待ち Analyzing and Comparing Lakehouse Storage Systems

Credibility

• Jainらの論文「Analyzing and Comparing Lakehouse Storage Systems」(CIDR 2023)は、データレイクのストレージ上にACIDトランザクションなどの管理機能を実装するLakehouseストレージシステムとして、Delta Lake、Apache Hudi、Apache Icebergを取り上げ、その設計上のトレードオフを比較している。同論文は、研究コミュニティがLakehouseシステム設計のトレードオフを詳細に検討してこなかったと述べている。検証待ち Analyzing and Comparing Lakehouse Storage Systems

Use Case

• Databricksの公式解説ページは、データレイクハウスを「データレイクの柔軟性・コスト効率・スケールと、データウェアハウスのデータ管理・トランザクション機能を組み合わせたオープンなデータ管理アーキテクチャ」と説明している。ACIDトランザクション、スキーマの強制、ガバナンス、BIと機械学習のサポートを特徴に挙げ、Delta Lake、Apache Iceberg、Apache Hudiを実装に使えるオープンな形式として挙げている。これはベンダー自身の説明である。検証待ち What Is a Lakehouse? | Databricks Blog
• Apache Hudiの公式サイトは、Hudiを高性能なオープンテーブルフォーマットに基づく「open data lakehouse platform」と説明し、分単位の低レイテンシ分析に向けたインクリメンタル処理を機能の一つに挙げている。連携先としてSpark、Flink、Trino、Presto、Hive、StarRocksなどのクエリエンジンが記載されている。検証待ち Apache Hudi | An Open Source Data Lake Platform | Apache Hudi

Constraints / Current Status

• Armbrust、Ghodsi、Xin、Zahariaの論文「Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics」(CIDR 2021)は、Apache Parquetなどのオープンな直接アクセス形式を基盤とし、機械学習やデータサイエンスを第一級でサポートするLakehouseを提案している。著者らは、現在のデータウェアハウス・アーキテクチャは今後数年で衰退すると主張し、データの鮮度、信頼性、コスト、ベンダーロックインなどの問題に対処すると述べている。検証待ち Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics
• Delta Lakeの公式サイトは、Delta Lakeを「format agnostic Lakehouse architecture」を構築するためのオープンソースのストレージフレームワークと説明し、2026年10月時点でDelta Lake 4.4.0とApache Spark 4.2.0の組み合わせを掲載している。同サイトは、独立したオープンソースプロジェクトで単一企業の管理下にはなく、2019年からLinux Foundation Projectsのサブプロジェクトだと記している。検証待ち Delta Lake

Key References

• レイクハウスを採用するメリットと注意点は？
• データレイクハウスという考え方の根拠となる論文や第三者の検討はありますか？
• データレイクハウス(Data Lakehouse)とは何ですか？

Related

• Delta Lake— Delta Lakeの公式サイトは、自らをformat agnosticなLakehouseアーキテクチャを構築するためのオープンソースのストレージフレームワークと説明している。
• Apache Iceberg— Databricksの用語集と2023年のCIDR論文は、Apache Icebergをレイクハウスの実装に使えるオープンな形式として扱っている。
• Apache Hudi— Apache Hudiの公式サイトは、Hudiを高性能なオープンテーブルフォーマットに基づくopen data lakehouse platformと説明している。
• データウェアハウス（Data Warehouse）— 2021年のCIDR論文は、Lakehouseを現在のデータウェアハウス・アーキテクチャの課題に対処する新しい世代の基盤として提案している。