HadoopTimes

ストリーミングアーキテクチャ Apache Kafka とMapR Streams による新しい設計手法
技術情報

リアルタイムアプリケーション、YARNで運用可能に

多くのデータベースが、企業のビッグデータを長期にわたって蓄積し、さまざまな実務現場における同時的なデータ運用を可能にしています。そういったデータベースが、Hadoopとの利用に好んで選ばれるようになっています。このモデルは企業におけるデータサイロを簡単に防いでくれ、徐々にビッグデータアプリケーションを完成させていくことができます。

Apache YARNは、このようなモデルに非常に適任です。YARNには、企業が求める迅速性があり、Hadoopにおけるダイナミックなデータ利用が可能です。YARNを使うユーザーは、Hadoop上でさまざまなアプリケーションを実行することができます。システムが実務で利用可能かどうか心配する必要もありません。YARNの長所が最大限に発揮されるのは、Hadoop上でのアプリケーションのリアルタイムオペレーションにおいてです。リアルタイムオペレーションは、MapRの顧客利用事例の中でも最も早く伸びたものの一つです。

Hadoopのエコシステムコンポーネントはリアルタイムアプリケーションを実現するもので、急速に成長しています。たとえば、 Hadoopのリアルタイムストリーム処理は広く普及してきており、今ではApache Spark StreamingApache Stormとの利用もできます。これらのリアルタイムテクノロジーは今MapR上のYARNでも可能です。もしYARNの利用準備ができていなければ、YARNに準ずるモデルのサポートもいたしますし、YARNへのアプリケーション移行に必要なサポートもいたします。

さらに、データトレントは、われわれの提携企業であり、ビッグデータのリアルタイムストリーム処理を専門としています。最近では、DataTorrent RTSがMapRのYARNパッケージのサポートを開始しました。

リアルタイムコンポーネント以外にも、MapRはYARNを通じてHadoopの残りのアプリケーションもサポートします。MapReduceやHBaseといった、一般的に利用されているものも含まれます。近い将来、ユーザーが集中化されたデータハブやデータレイクの配置を続けることで、YARNアプリケーションと非YARNアプリケーションとの良い組み合わせがHadoop上で運用されることを大いに期待しています。また、そういった利用をするユーザーのサポートをすることも楽しみです。

ぜひYARNについての意見やアイデアをシェアしてください。もしあなたが開発したYARNのアプリケーションやユーティリティのシェアをご希望でしたら、App Gallery for Hadoopへどうぞ。