Apache Hadoop

Identity

• Apache Hadoop公式サイトは、同プロジェクトを「reliable, scalable, distributed computing」のためのオープンソースソフトウェアを開発するものと説明し、単一サーバーから数千台規模まで拡張できる設計だとしている。モジュールはHadoop Common、HDFS(高スループットなデータアクセスを提供する分散ファイルシステム)、YARN(ジョブスケジューリングとクラスタリソース管理のフレームワーク)、MapReduce(YARNベースの大規模データ並列処理システム)の4つ。2026年10月時点のトップページでは、2026年4月2日付で3.5系の最初の安定版3.5.0が公開され、3.4以降の485件の修正・改善を含むと告知されている。検証待ち Apache Hadoop
• InformationWeekの2016年2月1日付記事は、Doug CuttingがMike Cafarellaと進めていたWebクローラーNutchからHadoopのコードを切り出し、2006年1月にサブプロジェクトを始めたと記している。同記事は、Cuttingが2006年1月にYahooに入社し、同社がこの技術へ投資することにしたとも伝える。検証待ち Hadoop At 10: Doug Cutting On Making Big Data Work
• Apache Software Foundationの公式ページは、同財団を米国の501(c)(3)の慈善団体とし、1999年以来、知的財産と資金面の貢献のための枠組みを提供して、数百のプロジェクトを支援していると説明している。検証待ち About the ASF | Apache Software Foundation

Capability

• Apache Hadoop公式サイトは、同プロジェクトを「reliable, scalable, distributed computing」のためのオープンソースソフトウェアを開発するものと説明し、単一サーバーから数千台規模まで拡張できる設計だとしている。モジュールはHadoop Common、HDFS(高スループットなデータアクセスを提供する分散ファイルシステム)、YARN(ジョブスケジューリングとクラスタリソース管理のフレームワーク)、MapReduce(YARNベースの大規模データ並列処理システム)の4つ。2026年10月時点のトップページでは、2026年4月2日付で3.5系の最初の安定版3.5.0が公開され、3.4以降の485件の修正・改善を含むと告知されている。検証待ち Apache Hadoop
• HDFS設計文書は、HDFSを汎用的な低コストハードウェア上で動かす耐障害性の高い分散ファイルシステムとし、「ハードウェア障害は例外ではなく通常」という前提、書き込み一度・読み取り多数のアクセスモデル、データの近くで計算を実行する設計を挙げている。インタラクティブな利用よりバッチ処理を重視し、低レイテンシよりスループットを優先するとも記している。検証待ち HDFS Architecture
• YARNの公式ドキュメントは、YARNがリソース管理とジョブのスケジューリング／監視の機能を別々のデーモンに分離することを狙いとしていると説明している。ResourceManagerはシステム内の全アプリケーション間でリソースを調停する最終的な権限、NodeManagerは各マシンでコンテナを担当するエージェントとされる。検証待ち Apache Hadoop YARN

Credibility

• InformationWeekの2016年2月1日付記事は、Doug CuttingがMike Cafarellaと進めていたWebクローラーNutchからHadoopのコードを切り出し、2006年1月にサブプロジェクトを始めたと記している。同記事は、Cuttingが2006年1月にYahooに入社し、同社がこの技術へ投資することにしたとも伝える。検証待ち Hadoop At 10: Doug Cutting On Making Big Data Work
• VentureBeatの2018年10月6日付の寄稿(Anacondaの製品・マーケティング担当SVP Mathew Lodge氏)は、ClouderaとHortonworksの合併は「Hadoop市場が2つの大手を支えきれなくなったことを示す」と論じている。理由として、パブリッククラウドへの移行、AWS S3など低コストなオブジェクトストレージの台頭、BigQueryのようなサーバーレスDBの登場を挙げており、これは2018年時点の個人の見解である。検証待ち Cloudera and Hortonworks merger means Hadoop's influence is declining

Use Case

公開Evidence未整備

Constraints / Current Status

• HDFS設計文書は、HDFSを汎用的な低コストハードウェア上で動かす耐障害性の高い分散ファイルシステムとし、「ハードウェア障害は例外ではなく通常」という前提、書き込み一度・読み取り多数のアクセスモデル、データの近くで計算を実行する設計を挙げている。インタラクティブな利用よりバッチ処理を重視し、低レイテンシよりスループットを優先するとも記している。検証待ち HDFS Architecture
• VentureBeatの2018年10月6日付の寄稿(Anacondaの製品・マーケティング担当SVP Mathew Lodge氏)は、ClouderaとHortonworksの合併は「Hadoop市場が2つの大手を支えきれなくなったことを示す」と論じている。理由として、パブリッククラウドへの移行、AWS S3など低コストなオブジェクトストレージの台頭、BigQueryのようなサーバーレスDBの登場を挙げており、これは2018年時点の個人の見解である。検証待ち Cloudera and Hortonworks merger means Hadoop's influence is declining

Key References

• 今からHadoopを採用すべきか判断するときの注意点は？
• Apache Hadoopの来歴や評価はどの情報源で確認できますか？
• Apache Hadoopとは何ですか？どんなモジュールで構成されますか？

Related

• Cloudera— VentureBeatの2018年10月6日付寄稿は、ClouderaとHortonworksの合併をHadoop市場の動向を示すものとして論じている。