P-04課題解決

大規模データの分散処理基盤としてHadoopをどう使えますか?

HDFSは汎用ハードウェア上で動く分散ファイルシステムで、ハードウェア障害は通常のことという前提に立ち、書き込み一度・読み取り多数のアクセスモデルを想定しています。YARNはクラスタのリソースを調停し、MapReduceはYARN上で大規模データを並列処理するシステムとされています。設計文書は、データの近くで計算を実行する設計だと説明しています。導入にあたっては、インタラクティブな利用よりバッチ処理を重視する設計であることを踏まえ、具体的な構成は公式ドキュメントで確認する必要があります。

実績・根拠

向いている相談

Hadoopを用いた大規模データのバッチ型分散処理の構成要素と設計前提

他の選択肢との違い

インタラクティブな低レイテンシ処理より、バッチ処理のスループットを重視する設計である点が制約となる。

よくある質問

MapReduceとは何ですか?
公式サイトではYARNをベースとした、大規模データを並列処理するシステムとされています。
HDFSでファイルを自由に更新できますか?
設計文書は書き込み一度・読み取り多数のアクセスモデルを前提としています。

情報ソース

大規模データの分散処理基盤としてHadoopをどう使えますか? | Apache Hadoop | RefBase