独自のIn-Database Analytics技術により従来比1,000倍以上の件数の高速データ分析に成功

株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本 敏男、以下：NTTデータ）および株式会社NTTデータ数理システム（本社：東京都新宿区、代表取締役社長：山本 二朗、以下：NTTデータ数理システム）は、データウェアハウス（以下：DWH）に蓄積されるより大量なデータに対してより高速にデータ分析を行うためのIn-Database Analytics技術を共同で開発し、HPC（High Performance Computing）環境^注1において大規模ベンチマークを実施した結果、従来比1,000倍以上の件数の高速データ分析に成功しました。

今回の大規模ベンチマークでは、In-Database Analytics技術をSAP社のDWH製品であるSAP IQに適用し、インテル社製の最新プロセッサーを搭載した業界標準サーバーの環境にて分析処理性能を測定しました。その結果、R言語^注2などの従来の分析ツールや既存製品の処理限界量に比べ、1,000倍以上のデータ件数が分析可能になり、単位時間内における処理速度も大幅に向上することを確認しました。また、1,000並列以上という大規模環境においてでもサーバー数やコア数にあわせて性能向上する、高い性能拡張性を確認しました。従来の1,000倍以上のデータを分析可能になることで、IoT分野での予知保全分析やテレコム業界のトラフィック解析など大量のデータを扱う分析、そしてデジタルアーカイブなどひとつのデータに多くの情報を含んだデータ群解析等が低コストで実現します。

NTTデータおよびNTTデータ数理システムでは、大規模ベンチマークの成果をベースに、2015年度にIn-Database Analytics技術をソリューション化し、2020年度までに100億円の売り上げを目指します。

近年、ビッグデータ市場やビジネスアナリティクス市場の成長に従い、データの流通量は増加の一途をたどっています。加えて、IoTの発展などさらなるデータ量の増加が見込まれ、ビッグデータを対象とした高度なデータ分析技術が求められています。しかし、従来のデータ分析技術ではビッグデータを対象とした場合、処理速度や扱えるデータ量に限界があることが課題でした。

NTTデータでは、このような課題を解決すべく、NTTデータ数理システムと共に分析処理（=Analytics）をデータベースの中で（=In-Database）実施する技術開発（以下：In-Database Analytics技術）に取り組んできました（図）。^注3

本ベンチマークでは、In-Database Analytics技術をSAP社のDWH製品であるSAP IQに適用し、インテル株式会社の協力を得て最新のインテル^® Xeon^® プロセッサー E5 v3ファミリーが搭載されているHPC環境において評価しました。本技術の処理性能、拡張性を評価するため、SAP IQ上で実装している分析アルゴリズムのうち、K-means^注4を用いて56並列（1ノード）、560並列（10ノード）、1,120並列（20ノード）の3構成としました。

既存製品では計算量過多によるリソース不足などで今まで分析が不可能であったデータ件数、データ量に対しても分析可能であることを確認しました。例えば1ノードで分析を実行した場合、R言語が分析できた処理件数は1,000万件までですが、本技術を用いることでその1,000倍にあたる100億件以上のデータ件数を分析できます（表）。

従来の分析で広く利用されるいくつかの既存製品と比較して、データ件数に対する高い処理性能を確認しました。R言語が処理不可能な100億件のデータ件数でも16,596秒（約4時間半）で分析できます（表）。これは地球の全人口約70億人の性別や年齢などの属性データを複数のグループに分類する分析を実行した場合、約4時間で処理を完了できることになります。

HPC環境においてノード数を1ノードから10ノード、20ノードに増加させた場合、SAP IQの卓越した並列分散処理に相乗して、10ノードで約5倍、20ノードで約10倍と線形的に処理性能が向上する高いスケールアウト効果を確認しました。

NTTデータとNTTデータ数理システムでは、大規模データを活用したPoC（Proof of Concept）^注5をユーザー企業と広く進め、「BizXaaS^® BA^注6」へのラインアップ化を含む、In-Database Analytics技術のソリューション化を目指します。また、各種DWH製品に本技術を適用し、マルチプラットフォーム対応を図っていきます。あわせて、NTTデータ数理システムのデータ分析プラットフォームであるVisual Analytics Platform、Visual Mining Studioと連携することにより、従来のデータ分析に留まらず、ビジネスにおいて経営層が意思決定をする際のサポートになることを目指します。

SAPジャパン株式会社 プラットフォーム事業本部 本部長　鈴木 正敏

リアルタイムとビックデータという相反するキーワードが錯綜し広がる中、NTTデータ様、NTTデータ数理システム様のIn-Database Analytics技術開発は、1つの回答に成り得るものと理解しております。SAPはERPだけでなくプラットフォーム分野でも良きパートナーとして、これからも協業し、より良いソリューションを提供してまいります。

インテル株式会社 常務執行役員 ビジネスデベロップメント　平野 浩介

Internet of Thingsの市場が広がりを見せる中、NTTデータ様およびNTTデータ数理システム様の両社が取り組まれたビックデータの高速データ分析を実現するIn-Database Analytics技術の開発は、IoT市場のさらなる可能性を広げるものと期待しています。インテルは、大規模サーバーからエッジデバイスまで、さまざまなソリューションをNTTデータ様およびNTTデータ数理システム様をはじめとする業界各社と協力して開発し、IoTの実現を推進してまいります。

In-Database Analytics技術を用いたコンセプトデモンストレーションを実施していきます。直近の展示会では2015年5月5～7日で米国フロリダ州オーランドにて開催されるSAP SE社主催のSAPPHIRE NOW^注7にて出展予定です。