Data Mesh

Identity

• Zhamak Dehghaniは2020年12月3日付のmartinfowler.com掲載記事で、データメッシュの4原則として「domain-oriented decentralized data ownership and architecture」「data as a product」「self-serve data infrastructure as a platform」「federated computational governance」を示している。同記事は分析データ（analytical data）の領域に焦点を当てるとし、特定のツールやレシピの処方ではなく、技術に依存しない概念的な論理モデルを示すものだと述べている。検証待ち Data Mesh Principles and Logical Architecture
• Zhamak Dehghaniの2019年5月20日付記事は、中央集権的でドメインに依存しないデータレイク型のプラットフォームは組織としてスケールしないと論じ、各ドメインが自らのデータセットを使いやすい形で提供する分散型の「データメッシュ」を提案している。この構想ではデータレイクやウェアハウスは、メッシュ上の一つのノードという位置づけになる。検証待ち How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh

Capability

• Zhamak Dehghaniは2020年12月3日付のmartinfowler.com掲載記事で、データメッシュの4原則として「domain-oriented decentralized data ownership and architecture」「data as a product」「self-serve data infrastructure as a platform」「federated computational governance」を示している。同記事は分析データ（analytical data）の領域に焦点を当てるとし、特定のツールやレシピの処方ではなく、技術に依存しない概念的な論理モデルを示すものだと述べている。検証待ち Data Mesh Principles and Logical Architecture
• Databricksの用語集は、データメッシュを「ビジネスドメインごとにデータを整理する分散型のデータアーキテクチャ」と定義し、ドメイン所有、プロダクトとしてのデータ、セルフサービス基盤、連邦型ガバナンスを原則に挙げている。また、データ取得の速さや高品質なデータプロダクトなどを利点として説明している。これはベンダー自身の説明であり、公開日はページに記載がない。検証待ち What is Data Mesh? | Databricks
• AWS Prescriptive Guidanceの文書は、中央のデータチームがデータレイクへのパイプラインを構築する方式ではデータ量や利用者が増えるとボトルネックになると述べ、その対処としてデータメッシュのような分散型アプローチを挙げている。同文書もデータメッシュの4原則を、ドメイン所有、プロダクトとしてのデータ、セルフサービス基盤、連邦型ガバナンスとしている。これはクラウドベンダーによる実装ガイダンスである。検証待ち Strategies for building a data mesh-based enterprise solution on AWS

Credibility

• Goedegebuureらによるarxiv掲載の論文「Data Mesh: A Systematic Gray Literature Review」(v2は2024年6月1日付表示)は、業界のグレーリテラチャ114件を選んで分析し、データメッシュを「ドメイン志向の分散型の分析データ管理アーキテクチャ」とし、2019年にDehghaniが最初に定義したと記している。実務者が挙げる課題として変更管理、人材不足、複雑さなど、また適合しにくい条件としてドメイン志向やガバナンス成熟度が低い場合などを挙げている。検証待ち Data Mesh: A Systematic Gray Literature Review

Use Case

• datamesh-architecture.comは、データメッシュという用語を2019年にZhamak Dehghaniが提唱したと記し、ベンダーから買えるものではなく主として組織変革だと述べている。また同サイトは、データメッシュは分析ユースケースに焦点を当てるとしている。サイトの共著者にはEntropy Dataが支援するJochen ChristとSimon Harrerが含まれる。検証待ち Data Mesh Architecture
• Databricksの用語集は、データメッシュを「ビジネスドメインごとにデータを整理する分散型のデータアーキテクチャ」と定義し、ドメイン所有、プロダクトとしてのデータ、セルフサービス基盤、連邦型ガバナンスを原則に挙げている。また、データ取得の速さや高品質なデータプロダクトなどを利点として説明している。これはベンダー自身の説明であり、公開日はページに記載がない。検証待ち What is Data Mesh? | Databricks
• AWS Prescriptive Guidanceの文書は、中央のデータチームがデータレイクへのパイプラインを構築する方式ではデータ量や利用者が増えるとボトルネックになると述べ、その対処としてデータメッシュのような分散型アプローチを挙げている。同文書もデータメッシュの4原則を、ドメイン所有、プロダクトとしてのデータ、セルフサービス基盤、連邦型ガバナンスとしている。これはクラウドベンダーによる実装ガイダンスである。検証待ち Strategies for building a data mesh-based enterprise solution on AWS

Constraints / Current Status

• Zhamak Dehghaniの2019年5月20日付記事は、中央集権的でドメインに依存しないデータレイク型のプラットフォームは組織としてスケールしないと論じ、各ドメインが自らのデータセットを使いやすい形で提供する分散型の「データメッシュ」を提案している。この構想ではデータレイクやウェアハウスは、メッシュ上の一つのノードという位置づけになる。検証待ち How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh
• datamesh-architecture.comは、データメッシュという用語を2019年にZhamak Dehghaniが提唱したと記し、ベンダーから買えるものではなく主として組織変革だと述べている。また同サイトは、データメッシュは分析ユースケースに焦点を当てるとしている。サイトの共著者にはEntropy Dataが支援するJochen ChristとSimon Harrerが含まれる。検証待ち Data Mesh Architecture
• Goedegebuureらによるarxiv掲載の論文「Data Mesh: A Systematic Gray Literature Review」(v2は2024年6月1日付表示)は、業界のグレーリテラチャ114件を選んで分析し、データメッシュを「ドメイン志向の分散型の分析データ管理アーキテクチャ」とし、2019年にDehghaniが最初に定義したと記している。実務者が挙げる課題として変更管理、人材不足、複雑さなど、また適合しにくい条件としてドメイン志向やガバナンス成熟度が低い場合などを挙げている。検証待ち Data Mesh: A Systematic Gray Literature Review

Key References

• データメッシュは採用すべきですか？メリットと注意点は？
• データメッシュの提唱者や根拠となる文献は何ですか？
• データメッシュ(Data Mesh)とは何ですか？

Related

• データウェアハウス（Data Warehouse）— Dehghaniの2019年記事は、データメッシュでは中央集権型のデータレイクやウェアハウスがメッシュ上の単なるノードになると述べている。