HadoopTimes

実践 機械学習:レコメンデーションにおけるイノベーション
製品情報

Spyglass Initiativeとは – その始め方

MapR社で、私たちはコンバージドデータプラットフォームを作り上げました。これは、顧客の皆様の24時間365日稼働する様々な基幹アプリケーションを支える技術基盤です。私たちは、実際に運用される企業向けアーキテクチャーに組み込まれるHadoop環境と開発環境下でテスト・検証される環境とでは、大きく実態が異なることを、すでに早い段階で把握していました。

本番環境のHadoopクラスターを管理することは非常に困難で、実際の工程は、POCからテスト、開発へと進み、ユーザーやデータソースが付加されるため、問題点をいち早く診断するためには包括的なモニターが必要不可欠になります。管理者やユーザーがしばしば直面する主な疑問点を以下にまとめます。

  • ストレージはどのような状態か。高すぎないか。ノードを増やすべきか。
  • ノードはどれも均等に使われているだろうか。
  • なぜ、サービスが起動しないのだろうか。
  • データベースのレスポンスが、昨日より遅くなっていないだろうか。
  • ジョブの実行が昨日より遅くなったのはなぜだろうか。何でフェールするのだろうか。

本日、弊社は簡単な管理で可視化に優れ十分な制御性を持ったSpyglass Initiativを発表いたしました。

この初回リリース版により、MapR Monitoringはデータ管理責任者にクラスターのモニタリング機能を提供します。例えば、数々のノードやサービス、ジョブからメトリクスやログを集めることができ、各情報をダッシュボード上にわかりやすく表示します。

便利な新機能

  • 各ログやメトリクを含むクラスターのモニタリングデータの統合管理
  • メトリクス・パネルの構築やサーチログによる効果的なインサイトの提示
  • パワフルでカスタマイズが可能なダッシュボード
  • サードパーティのオープンスタンダードなモニタリングソフトウェアとの統合

MapR Monitoring Arhitecture

堅牢な監視環境を構築するという目的に向けて、カスタマイズや拡張ができるこのアーキテクチャーは、オープンソース・コミュニティからの最適なコンポーネントを選択し構築されています。ここに各部をご紹介し、どのように組み込めばよい説明します。

データソース

データソースは、既存のクラスター・インフラストラクチャーに加えMapRのコアサービス (MapR-FSやMapR-DB) ならびにエコシステムのサービス (たとえばYARN、Drill、Hive、Sparkなど) のすべてのノードからの運用データとなります。

収集

本システムは、これらのすべてのデータソースから、オープンソースのプラグインを用いて、ログやメトリクスを集めます。これは、解析を実行する前段階として、自由に間隔を設定しデータをキャプチャーするという基本的部分です。

集積と格納

ストレージエンジンは集められる様々なデータタイプに最適化されています。OpenTSDBは、MapR-DBの上位レイヤーで動作する時系列データベースであり、メトリクスを集積して格納します。メトリクスに付けられたタグを用いれば、クラスターレベル、ノードレベル、アプリケーションキューのレベル、またはユーザーレベルなど、様々なメトリクスのフィルタリングが可能です。

Elasticsearchを使ってすべてのログの格納ができます。強力な統合型サーチ機能により、複数構成のノードやサービス、またシビリティーレベルのメッセージなどの検索ができます。

可視化

OpenTSDBのコミュニティやElasticsearchのコミュニティがサポートするフロントエンド、ユーティリティ、ライブラリーおよびリソースはすばらしいものであり、迅速な適用可能で優れたUI機能を持っています。弊社はGrafanaとKibanaを選択しデフォルトのツールとしてセットに組み込んでいます。

これらの可視化ツールはカスタマイズの自由度が高く人気があり、直観的で、利用性が高く個別の使用に合わせたダッシュボードの構築ができます。MapRはユーザが開発したダッシュボードの共有とモニタリング技術の向上を目的にMapR Exchange Communityの発足も発表しました。以下にノード・ダッシュボードの外見の一例をご紹介します。

可視化

長年にわたる経験をもとに、全体のインフラを単一画面から簡単に把握することを望む顧客が、容易に実現する手段を提供すること目指しています。ストレージ・インフラ(例えばElasticsearch) に組み込む、または、OpenTSDBやElasticsearchのAPIを利用することで、現在使用しているツールと併せてシステム全体の可視化が実現できます。

まとめ

Spyglass Initiativeの第1フェーズは以下のように構築されています。

  • 統一的で簡易なコンバージドデータプラットフォームの可視化
  • 既存システム環境全体のモニタリング管理
  • 増大するオペレーション作業寮に伴った可視性の強化

 

著者情報

Prashant Rathi

プラシャント・ラーチ

(シニアプロダクトマネージャ, MAPR)

ベンチマーク結果:SAS Visual Analytics on MapR Converged Data Platform

ベンチマーク結果:SAS Visual Analytics on MapR Converged Data Platform
この資料では、SASVisualAnalytics( 以下SASVAと略す)のインフラとなるMapR Converged Data Platform における環境構築および性能評価について評価・考察します。

評価・考察の目的

  • インストール検証においては、OS、MapR、SAS のインストール作業手順の確立、およびインストール時の設定値を洗い出しインストールの標準設定/個別設定を明確にし安定したインストールを支援する事を目的とします。

  • 機能検証においてはHadoop 機能にフォーカスしてSASVA のデータロード機能がMapR
    と連携して製品が所定の機能を提供できる状態であることを確認します。

  • MapR Hadoop ディストリビューションを採用することで、Apache Hadoop と比較し、
    システムの性能向上、システムの安定稼働、システム管理の用意性が実現出来ることを
    確認します。

  • 本検証報告は、製品導入における判定・補足資料として使用されることを希望します。


是非ご覧ください。

無料ダウンロードはこちら

こちらの記事もおすすめです