Apache Hadoopは、信頼性とスケーラビリティを備えた分散コンピューティングのためのオープンソースソフトウェアを開発するプロジェクトです。公式サイトでは、Hadoop Common、HDFS、YARN、MapReduceの4モジュールが挙げられ、単一サーバーから数千台規模まで拡張する設計とされています。YARNはリソース管理とジョブのスケジューリング／監視を別々のデーモンに分離する仕組みです。InformationWeekの2016年の記事によれば、Hadoopは2006年1月にNutchのコードから切り出されて始まりました。
Hadoopの位置づけ、構成モジュール、YARNの役割、起源の概略
単一製品ではなく、ストレージ(HDFS)・資源管理(YARN)・処理(MapReduce)を含むソフトウェア群である点が特徴。