HadoopTimes

実践 機械学習:レコメンデーションにおけるイノベーション
導入事例

電通レイザーフィッシュの「次世代コミュニケーションプラットフォーム」

サービス概要

いま小売・流通業界では、実店舗、オンラインショップなどあらゆる販路を統合するオムニチャネル構築の動きが活発化している。中でも顧客の利用シーンを問わず適切なタイミングで相互コミュニケーションを図ることは、顧客満足度を高めて購買につなげる重要な手段だ。こうした仕組みを実現するために、デジタルマーケティング業界をリードする電通レイザーフィッシュでは、新しいソリューションサービスの提供を開始した。それが「次世代コミュニケーションプラットフォーム(NGCP)」である。

NGCPは、大きく3つのフレームワークから成り立っている。1つは「エクスペリエンスジェネレーティング フレームワーク」。スマートフォンやタブレットなどのデジタルデバイス、KinectやLeapMotionなどのモーションセンサーやiBeacon、 NFCなどのデジタルテクノロジーを組み合わせ、自宅、店舗、外出先など顧客がどこにいても最適なタイミングで、最適なコンテンツを“ユニークな体験”として提供するためのフレームワークである。「e-CommerceやWebサイトなどのデジタルの世界からもたらされる体験と店舗などからもたらされる体験をシームレスにつなげることを目指しています」と電通レイザーフィッシュのテクノロジーダイレクター、坂田英宣氏は語る。

2つ目は「コマース フレームワーク」。オーダー管理機能だけでなく、顧客管理、マスター管理、売上管理、在庫管理など、各種システムと連携し、顧客とのコミュニケーションを支えるために必要な機能をサポートする拡張性の高いコマース基盤だ。坂田氏によれば、これまで分断されていた体験を生み出す仕組みと購買の仕組み(システム)を融合するために用意されたとのことだ。

そしてもう1つが「アナリティクス フレームワーク」。これはログデータや購買データなどのビッグデータを蓄積、分析し、リアルタイムレコメンデーションや次にどのようなアプローチが考えられるかという包括的な仮説検証を行うものだ。これらのフレームワークで構成されたNGCPは、ビジネス環境の変化にも柔軟に対応する。NGCPは、SaaSモデルでの提供となっており、導入コンサルティングから実運用まで、電通レイザーフィッシュによってワンストップで提供される。

特長

NGCPには、電通レイザーフィッシュがグローバルで培ってきた技術と経験が集約されている。しかし、すべての技術を独自開発したのではなく、価値の高い各種製品を適材適所に採用した。アナリティクス フレームワークには、MapRが提供するエンタープライズグレードのHadoopディストリビューション「MapR」を採用。ビッグデータを柔軟に分析するのに適したHadoopだが、OSSのHadoopでは拡張性、耐障害性、管理面において、やや課題がある。MapRは、そうしたHadoopの課題を補完する独自のテクノロジーが標準で組み込まれており、それが採用の決め手になったと坂田氏は言う。

つまり、最良かつ最先端の製品を活用し、コストを抑えながら顧客にユニークな体験をもたらすコマース基盤や高度な分析機能を提供しているのが、NGCPの大きな特長だ。すでに多くの企業がサービスを利用しており、ビッグデータから顧客それぞれにパーソナライズされたレコメンデーション(おすすめ)を提示するなど、さまざまな用途で利用されている。

テクノロジー概要

MapRのHadoopは、OSSの「Apache Hadoop」をベースに機能強化したディストリビューション。Hadoopは大量のデータを効率的に分散処理するソフトウェア基盤として広く普及しているが、エンタープライズ向けの用途が拡大するにつれ、機能・性能面でいくつかの欠点が指摘されるようになった。そんなHadoopの欠点を補うために、数多くの改良が施されたのが、MapRが提供する「エンタープライズグレード」Hadoopである。

Apache Hadoopとの最大の差別化ポイントは、独自のファイルシステムを採用している点だ。従来のHadoopには、HDFSという分散ファイルシステムが用意されており、そのHDFSはJavaで実装されているが、このJavaがボトルネックとなってパフォーマンスや安定性に大きな影響を与える場合がある。また、Hadoopで処理するには外部システムのデータをHadoop(HDFS)に移動しなければならず、この移動もHDFSの場合は分析システム全体のパフォーマンス劣化の原因になります。そこでMapRでは、ファイルシステムをJavaではなくネイティブのファイルシステムにし、POSIX準拠のNFSインターフェースを装備し、運用やデータ移動の負荷を軽減している。これにより、HDFSに比較して2〜3倍の高速化を実現し、かつHadoopにデータを持ってくる時間やコストを低減しリアルタイム性をも向上させている。

エンタープライズグレードにふさわしく、MapRには耐障害性を高める改良も施されている。Hadoopにはファイルシステムのメタ情報を一元管理する「ネームノード」と呼ばれる特殊なノードが必要だが、このネームノードは「1つのクラスタに1つ」という構成であるため、この部分がHadoopの単一障害点となっている。それに対しMapRでは、ネームノードを分散配置することが可能になっている。これによりHadoopの単一障害点の問題を解決し、クラスタに障害が発生しても処理が停止することはない。

特長

このように、OSSのHadoopの課題を解決しながら、Hadoopのアプリがそのまま稼働するといったエコシステムはそのまま利用できることが、MapRの大きな特長だ。MapRによる処理が高速化できるということは、裏を返せば同じ処理時間なら少ないサーバー台数で処理が実行できることになる。他のHadoopディストリビューションでは150台のサーバーを使っていた処理が、MapRでは50台のサーバーだけで対応できた例もあるという。

MapR Hadoopは、NGCPを構成する「アナリティクス フレームワーク」の要に採用されている。実店舗やECサイトの売上データや検索ログなどのデータをMapR上に収集し、ビッグデータ分析の基盤にするという使い方だ。レイザーフィッシュでのMapRの採用理由は、やはり処理能力と耐障害性の高さだという。

「OSSのHadoopを使うと、他のシステムからソースデータを移行するだけでも大変な作業です。この課題を解決し、高速に分析処理を行えることが、MapRを採用した理由です。また運用性、つまり単一障害点を取り除き、可用性を高めている部分も評価しています。分散可能なネームノードだけでなく、ジョブ管理プロセスも冗長化されているので、たとえ障害が発生してもジョブを最初からやり直す必要はなく、サービスレベルが低下する心配もありません」(坂田氏)

NGCPが、リアルタイムにビッグデータ分析処理が可能で、かつユニークな顧客体験を提供できるのは、MapR Hadoopのおかげなのだ。

こちらの記事もおすすめです