HadoopTimes

技術情報

【ホワイトボードウォークスルー】MapR、Spyglass Initiative:管理の概要

mapr whiteboard walkthrough

今回のホワイトボードウォークスルーでは、MapRのシニアプロダクトマネージャー、プラシャント・ラシーにより、MapRコンバージドデータプラットフォームによるきめの細かいモニタリングアーキテクチャについて説明されました。その中から、Spyglass Initiativeの一部として、様々なデータソースからの収集、保存そして可視化までをご紹介します。

 

こんにちは、ホワイトボードウォークスルーにようそこ。MapRのシニアプロダクトマネージャー、プラシャント・ラシーです。MapRコンバージドデータプラットフォームのモニタリングについてお話します。皆さんご存知のように、Hadoopクラスタ管理は非常に複雑で、多くのデータやユースケース、そしてユーザーもクラスタに追加する際には、強固な管理環境が必要と感じていると思います。

私達MapRは、強固なデータ収集とストレージインフラにより、管理者は思い通りに自分の環境でクラスタを管理できるようになると考えています。

ここでお話する内容は、モニタリング環境についてです。ノード・インフラのモニタリングによって、全てのメモリー、CPU、I/Oそして各ノードのディスク使用率を見ることができます。また、各ノード単位で全てのアプリケーション動作を確認することができます。さらに、クラスタスペース使用率を把握することで、ボリュームトレンドや、データのボリューム収集状況、またどれくらいクラスタ使用率されているかを確認することができます。

YARNとアプリケーションモニタリングでは、YARNリソースマネージャー、ノードマネージャーメトリックを確認することができ、YARNのキューやアプリケーションメトリックも確認することができます。また、サービスデーモンモニタリングでは、Drill、 SparkやHadoopインフラ全体を通じ動作する全てのサービスをモニターすることができます。

では、MapR Monitoringアーキテクチャの詳細の話に移りたいと思います。基本的に私達は全てのデータソースを持っています。これまで述べてきたように、皆さんは全てのホストとMapR-FSやMapR-DBなどMapR固有のコアコンポーネント全てを管理することが可能です。YARN、Drill、Spark等のエコシステムコンポーネントも同様です。

モニタリングレイヤー中心部である収集レイヤーでは、各ノードからの全てのメトリックとログや、リージョンがどのノード上で動作しているかを収集し、これらのメトリックとログをデータストレージレイヤーへ1秒以上のインターバルで送っています。

新しいメトリックを収集することや新しいサービスをモニタリングすることは、メトリックコレクターやログシッパーに新しいプラグインを追加するの同様にとても簡単です。

同時に、ストレージレイヤーでは、OpenTSDBと拡張ストレージによってメトリックとログのモニタリングを行っています。タイムシリーズデータベースのあるOpenTSDBによって、秒単位のモニタリングを行うことができるだけでなく、過去1週間、過去24時間のトレンドを確認することができます。そして、そのデータをElasticsearchのログと関連付け、ある特定の時間にクラスタで何が起こったのかを確認することができます。

インターフェースの力はストレージだけでなく、GrafanaやKibanaのような私達が選択したコンポーネントによって視覚化し、独自のダッシュボードを構築する場合にも、効果を発揮します。

では、構築できるダッシュボードタイプの1例を示したいと思います。クラスタのCPUとメモリーにだけをモニターする場合、それをダッシュボードに追加するだけで作業は完了です。ある特定のノードの全ての情報を確認したい場合は、その特定のノードをシステムにタグ付することで、メモリー、ディスクとCPUの次に特定ノードのその他の情報を確認することができます。

カスタマイズダッシュボードの構築だけでなく、インフラコンポーネントをモニタリングするための独自環境を用意する場合、OpenTSDBやElasticsearchといったAPIを使うことで簡単に組み入れることができます。

ご清聴いただきありがとうございました。

著者情報

Prashant Rathi

プラシャント・ラーチ

(シニアプロダクトマネージャ, MAPR)

「いまさら聞けない」データ分析の総ざらい

「いまさら聞けない」データ分析の総ざらい
昨今、「データ分析」の重要性が強く叫ばれています。ただ、それはアナリストやデータ・サイエンティストと呼ばれる“専門家だけが担うことができる難解なもの”という誤解を持たれてはいないでしょうか。

データ分析という手法は、IT のパワーを活用することで、どんな企業も導入・実践することができる“現実解”なのです。

データ分析とはいかなるものなのか――。

この資料では、これからデータ分析を始める方や始めたが、もう一度初歩知識を復習したい方々向けにデータ分析の基本を解説します。

無料ダウンロードはこちら

こちらの記事もおすすめです