HadoopTimes

ストリーミングアーキテクチャ Apache Kafka とMapR Streams による新しい設計手法
技術情報

MapR M7向け HPリファレンスアーキテクチャー 第3回

この内容をPDFで読む

[PDF] MapR M7向け HPリファレンスアーキテクチャー

リファレンスアーキテクチャー

Hadoopクラスターを単一ラック構成から完全なMapR M7クラスター構成に展開する参考例を以下に紹介します。構成の各要素のベストプラクティスは前に述べたとおりです。

単一ラックのMapR M7構成

単一ラックのMapR M7構成はMapR M7クラスター構成の出発点となります。この構成には以下の要素が反映されています。

ラックエンクロージャー

42Uラックに9基のHP ProLiant SL4540 Gen8シャーシ(27×サーバーノード)と2台のHP 5900AF-48XG-4QSFP+スイッチが搭載されています。ここではオプションのKVMスイッチ用に1Uを空けてあります。

電源および冷却

大規模クラスターを計画するうえで、電源の冗長性と分配を正しく管理することが重要です。サーバーとラックに十分な電源の冗長性を確保するために、各サーバーにバックアップ電源装置を装備し、各ラックに2基以上のパワーディストリビューションユニット(PDU)を搭載することを推奨します。冗長電源装置の調達には追加のコストが発生します。大規模クラスターでは電源の冗長化はそれほど重要ではありません。MapR M7に備わっているフェイルオーバーによって影響が抑えられるからです。

ベストプラクティス

各SL4540シャーシの4つの電源装置は、2つずつを異なるPDUに接続することを推奨します。また、ラック内のPDUは、それぞれ個別のデータセンター内電気系統に接続すると、データセンター内電気系統の障害からインフラストラクチャを保護できます。
さらに、ラック内PDUに対するサーバーの電源装置の接続を均等に分散配置するだけでなく、データセンター内電気系統へのPDU接続も均等に分散させると、データセンター内で均一な電源分配が確保され、データセンターのいずれかの電気系統に過負荷をかけることもありません。クラスターを設計する場合は、データセンターから各ラックに供給可能な最大の電源および冷却能力をチェックし、ラック内で能力以上の利用にならないようにしてください。

ネットワーク

項目「スイッチ」で説明したように、パフォーマンスと冗長性を確保するために、2台のHP 5900AF-48XG-4QSFP+スイッチを指定しています。HP 5900AF-48XG-4QSFP+には最大4個の40GbEアップリンクがあり、目的のネットワークを構築する際にラック内のスイッチ接続に使用できます。IRFボンディングを使用する場合、スイッチあたり2個の40GbEポートが必要です。各スイッチに残っている2個の40GbEポートはアップリンク用になります。

ProLiant SL4540 Gen8サーバー

MapRクラスターでは、ラック内のProLiant SL4540 Gen8サーバーがノードとして機能します。MapRソフトウェアのアーキテクチャーでは、実質的に1つ以上の任意のノードに任意のサービスを実行してクラスターの可用性とパフォーマンスを高めることができます。コントロールサービスノードとワーカーサービスノードで基本要件に違いはありません。このため、同機種サーバーによる構成が実現します。一方、ノードへのサービスの割り当てがクラスターのパフォーマンスに影響する場合があります。高いパフォーマンスを得るには、CLDBサービスやZooKeeperサービスなどのコントロールサービスは別々のノードで実行する必要があります。また、高可用性(HA)を実現するには、ラックに複数のコントロールサービスを構成することを推奨します。単一障害点を除去するために、少なくとも3つのZooKeeperサービス、2つまたは3つのCLDBサービス、2つまたは3つのJobTrackerサービス、2つのWebServerサービスを構成してクラスターのHA機能を確保してください。

以下の図(図8を参照してください)に、HA機能を含む単一ラックのMapR M7クラスターの推奨構成を示します。3つのZooKeeper、2つのCLDB、2つのJobTrackerで高可用性が実現されています。2つのWebServerサービスがMetricsサービスと共にJobTrackerノードに配置されています。NFSサービスは必要に応じて大半のノードに配置できます。冗長化したコントロールサービス(CLDBサービス、ZooKeeperサービス、JobTrackerサービスなど)は、1つのシャーシが故障した場合に備えて別のシャーシに分配されており、高可用性が実現されています。