HadoopTimes

実践 機械学習:レコメンデーションにおけるイノベーション
技術情報

MapR M7向け HPリファレンスアーキテクチャー 第4回

この内容をPDFで読む

[PDF] MapR M7向け HPリファレンスアーキテクチャー

中規模クラスター(2ラック)のMapR M7構成

MapR M7の中規模クラスターの設計では、単一ラック設計が配置済みであることを前提に、スケーラビリティを拡張します。単一ラック設計によって、スケールアウトに必要な量のコントロールサービスが配置されていることになります。中規模クラスターの構成では、単一ラック設計にラックを1つ追加するだけです。ここでは、中規模クラスター構成のためのラック設計を紹介します。

ラックエンクロージャー

1つ目のラックの構成は単一ラック構成と同じです。2つ目のラックも、9基のHP ProLiant SL4540 Gen8シャーシ(27×サーバーノード)と2台のHP 5900AF-48XG-4QSFP+スイッチを搭載した42Uラックです。ただし、以下に述べるとおり、サービスの構成は異なります。ここではオプションのKVMスイッチ用に1Uを空けてあります。

ネットワーク

項目「スイッチ」で説明したように、パフォーマンスと冗長性を確保するために、2台のHP 5900AF-48XG-4QSFP+スイッチを指定しています。HP 5900AF-48XG-4QSFP+には最大4個の40GbEアップリンクがあり、目的のネットワークを構築する際にラック内のスイッチ接続に使用できます。IRFボンディングを使用する場合、スイッチあたり2個の40GbEポートが必要です。各スイッチに残っている2個の40GbEポートはアップリンク用になります。

ProLiant SL4540 Gen8サーバー

1つ目のラックの構成は単一ラック構成と同じです。必要な管理サービスはすべて1つ目のラックに構成されているので、2つ目のラックに搭載する27のすべてのProLiant SL4540 Gen8(3 x 15)サーバーノードはワーカーサービスで構成されます。
sl4540-image10
中規模クラスターのMapR M7の各種ノードサービスの詳細は以下のとおりです。

ラック1のノード1と4

ラック1のノード1と4では以下のサービスが実行されます。

  • CLDB(Container Location Database)サービス
  • FileServerサービス
  • NFSサービス
  • TaskTrackerサービス(MapReduce使用の場合)
ラック1のノード2と5

ラック1のノード2と5では以下のサービスが実行されます。

  • JobTrackerサービス(MapReduce使用の場合)
  • WebServerサービス
  • Metricsサービス
  • FileServerサービス
  • NFSサービス
  • TaskTrackerサービス(MapReduce使用の場合)
ラック1のノード6、9、12

ラック1のノード6、9、12では以下のサービスが実行されます。

  • ZooKeeperサービス
  • FileServerサービス
  • NFSサービス
  • TaskTrackerサービス(MapReduce使用の場合)
注記

デフォルト設定を使用する場合、コントロールサービス実行ノードのマップスロットと削減スロットの数がMapRによって自動的に削減されます。これらの値を手動で設定する場合は、コントロールサービスに必要なリソースをワーカーサービスで消費してしまわないよう、マップスロットと削減スロットの数を減らす必要があります。

ラック1と2つ目のラックの残りのSL4540 3×15サーバー

コントロールサービス実行ノードを構成した後は、両方のラックの残りのノードをワーカーサービス専用に構成できます。ノードとラックを追加するほどパフォーマンスとストレージ容量は向上します。両方のラックの残りのノードでは以下のワーカーサービスが実行されます。

  • FileServer
  • ネットワークファイル共有(NFS)
  • TaskTracker(MapReduce使用の場合)

sl4540-image11