大規模データ処理基盤Hadoopの最新版パッケージ製品の販売・サポートサービスを開始 ～米国Cloudera社製ディストリビューションによる高品質・高機能なHadoopの導入を促進～

株式会社NTTデータは、米国Cloudera（クラウデラ）社のHadoop製品「Cloudera's Distribution including Apache Hadoop v3（CDH3）」の販売および本製品に対応したサポートサービスを6月2日から開始します。

Hadoopは大規模なデータの処理を実現するオープンソースの基盤ソフトウエアであり、新しいビジネスの創出や新しい価値を提供する技術として注目が集まっています。CDH3は、Hadoopおよびその拡張機能の導入を容易にする、世界で最も有名なディストリビューション（配布用パッケージ）の一つです。このたびNTTデータは日本国内でのCDH3の販売およびサポートを開始します。

CDH3は、従来Hadoopを用いたシステムを構築する際に手間がかかっていた、Hadoopと他のシステムとのデータ連携を容易に実現する機能や、日々増え続ける大規模なデータに対しても早いレスポンスが求められるWebシステムなどの構築を可能にする機能などを有しており、エンタープライズ用途でのHadoopの利用拡大を促進します。

NTTデータは、CDH3の販売およびサポートサービスを開始することで「BizXaaS^® Hadoop構築・運用ソリューション」の強化を行います。

NTTデータは、4月にリリースされた米国Cloudera社のHadoop製品「Cloudera's Distribution including Apache Hadoop v3（CDH3）」の販売および本製品に対応したサポートサービスを2011年6月2日から開始します。

オープンソースの分散処理基盤ソフトウエアHadoopは、大量データを整理・分析することで、新しい発見を生んだり、社会をより効率化したりするソフトウエアとして注目が集められており、金融分野やテレコム分野での採用が進んでいます。

NTTデータは、大規模データや大規模処理に対応するためにHadoopの利用を推進し、これまでに数十台～千台のサーバで構成したHadoopシステムをお客様に提供してきました。そこで培ったHadoopの構築・運用に関するノウハウをもとに「BizXaaS Hadoop構築・運用ソリューション」を提供しています。2010年10月には、米国Cloudera社と協業を発表し、日本およびアジア太平洋地域でのHadoopシステムのさらなる普及を目指しています。

CDH3は、世界で最初に商用サポートを実現したフル・オープンソースのHadoopディストリビューションです。品質向上のためのパッチの適用を行い、検証済みのソフトウエア構成を提供することにより、エンタープライズ用途で求められる信頼性を確保しています。

Hadoopは、下記のようなあらゆる業界に対し、以前は実現が難しかった高度なデータ分析やデータ処理を実現することができます。CDH3を利用することで、このようなシステムにおけるHadoopの導入障壁をより下げることができます。

今回の発表にあたり、Cloudera社 Mike Olson CEOは「Clouderaは、CDH3のベータ版の適用を多くの企業で繰り返してきました。この中には、世界でも最も厳しい要件を持つ企業も含まれています。この適用により、Hadoopによって得られる最大級の安定性と信頼性が確保できるという結果が得られました。CDH3は、Hadoopのビジネス利用において必要なすべてを備えている、即日利用できるパッケージ製品です。」とコメントしています。

NTTデータは、CDH3を採用したシステムインテグレーションおよびHadoopミドルウエアサポートサービスを開始することで、「BizXaaS Hadoop構築・運用ソリューション」の強化を行います。Hadoopシステムにおける安定性と耐久性の一層の向上、パフォーマンスの改善、認証サポートの拡張など優れた最新機能を提供できるようになります。

CDH3は、Hadoopの活用に欠かせない複数の関連ソフトウエアを、検証に基づいてパッケージングした最新のHadoopディストリビューションです。世界の大規模クラスの企業において実証されたHadoop技術が結集されています。前バージョンのCDH2からさらに数百のパッチ追加がなされ、商用システムで利用するための品質強化が行われています。さらに、商用システムでHadoopを活用する上で欠かせない有用な7つのソフトウエアが新たに正式パッケージとして提供を開始されています。また、Red Hat Package Manager（RPM）などのパッケージ管理機能を利用した導入が可能であり、煩雑となりがちなインストール・設定作業を支援します。

CDH3で新たに導入されたおもな新機能は以下になります。

RDBMSのデータをHadoopにインポート・エクスポートするツールSqoopと、様々なサーバからのログや機器が生成するデータをHadoopへ効率的に取り込むツールFlumeを採用しました。大量データの処理をHadoop上で行うにあたって必要となるデータの移行を容易に実現します。

増え続ける巨大なデータに対して、高いレスポンス性能が求められるシステムを構築する際にHbaseを利用します。Hadoop単体では実現が難しい大量のオンラインアクセスが発生する場面で活用できます。

認証モデルを拡張することでHadoopに格納されるデータに対するアクセス権を、要件に応じてよりきめ細かく管理することができるようになりました。

Hueを利用することでコマンドラインからではなくブラウザからHadoopに対するジョブの実行やデータ操作が可能となります。

同梱ソフトウエアのバージョンなどの詳しい情報はこちらをご参照ください。

CDH3の製品およびサポートサービスの詳細は、6月2日にNTTデータとCloudera社が共催するイベント「Hadoopエンタープライズソリューションセミナー」でもご案内します。Cloudera社 Mike Olson CEOのキーノートやNTTデータにおける金融分野・テレコム分野での適用例などのセッションをご用意しています。

Hadoopはオープンソースの分散処理基盤ソフトウエアであり、広く一般に利用されているIAサーバを活用し、その利用台数に応じて扱えるデータの規模や処理能力を拡張できる利便性の高い分散処理システムを構成できるようになります。従来、複数サーバで1つの処理を行う場合、処理の分散や結果の集約、また分散処理の信頼性確保などについて、アプリケーションごとに個別の設計が必要でした。Hadoopでは、アプリケーション開発者は MapReduceフレームワークを用いて個々の分散制御を意識することなく、処理の分散化を実現できます。

たとえば、購買データを柔軟に分析することで新しい商機を見いだしたり、移動体端末から収集される行動情報やセンサー情報を解析したりすることによる社会動向の分析やシミュレーションなどに活用するシステムで活用されています。

Cloudera社は、Apache Software Foundationが提供するオープンソースソフトウエアHadoopをベースとしたデータ管理ソフト/サービスのリーディングカンパニーです。製品「Cloudera's Distribution including for Apache Hadoop」「Cloudera Enterprise」を開発・提供するとともに、米国において金融、官公庁、Webサービスなどの業界向けにHadoopのミドルウエアサポートサービスや教育サービスを提供しています。Cloudera社には、Hadoopの開発を主導する開発者が所属しており、開発コミュニティに一定の影響力を持っています。本社はカリフォルニア州パロアルトに置かれています。