P-01選定・相談

イベントストリーミングという技術は、そもそもどのような課題を解決するために生まれたのですか?

イベントストリーミング技術の代表例であるApache Kafkaは、LinkedIn社のJay Kreps・Neha Narkhede・Jun Raoの3名が2011年にNetDBワークショップで発表した論文『Kafka: a Distributed Messaging System for Log Processing』を起点としています(ODBMS.orgが同論文を紹介、初出2011年1月1日・2014年2月16日更新)。同論文は『ログ処理(Log processing)は、コンシューマー向けインターネット企業のデータパイプラインにとって不可欠な要素になっている』と指摘し、大量のログデータを低遅延で収集・配信する仕組みの必要性からKafkaが開発されたと説明しています。発表当時、KafkaはすでにLinkedIn社内の本番環境で稼働しており、1日あたり数百ギガバイト規模の新規データを処理していたとされています。既存のログ集約ツールやメッセージングシステムの設計思想を取り入れつつ、オフラインとオンラインの両方の消費形態に対応できる点が特徴とされました。この論文がその後のApache Kafkaプロジェクトの技術的基盤となり、今日広く使われるイベントストリーミングという分野を形づくる出発点の一つとなっています。

実績・根拠

情報ソース