国を選択する グローバル - 日本語
お問い合わせ

Apache Kafkaによる大規模データ処理基盤の構築・運用を支援 ～センサー情報や位置情報などをリアルタイムに活用するシステムの構築を容易に～

ニュースリリース/NTTデータ
SHARE

2019年8月29日

株式会社NTTデータ

株式会社NTTデータ（以下：NTTデータ）は、8月29日より、Apache Kafka（読み：アパッチ カフカ）を使った大規模データのリアルタイム処理実現を支援する「Kafka構築・運用ソリューション」を提供開始します。

Apache Kafkaは、近年増え続けるIoTのセンサーなどから随時生成される大規模データを、データを処理する基盤へ受け渡す役割を担う、オープンソースの分散メッセージング基盤注1です。従来、随時生成される大規模データの受け渡しは各システムで個別に設計・構築を行う必要がありました。Apache Kafkaを利用することで、高機能で拡張性の高いリアルタイム処理基盤をより容易に実現できるようになり、例えばGPSや速度センサー情報を利用した渋滞を考慮した経路案内や、金融取引のリアルタイム不正検知など、さまざまな用途に活用できます。

今回NTTデータが提供する「Kafka構築・運用ソリューション」は、Apache Kafkaを活用したリアルタイム処理基盤のコンサルティング・実証実験・基盤構築・運用まで幅広くサポートするものです。大規模データのリアルタイム処理の活用を検討するお客さまに、拡張性・信頼性・運用性に優れ、長期間運用できる環境を提供します。
NTTデータは本ソリューションを通じて、今後3年間で累計100億円の売り上げを目指します。

背景

近年、大規模データの収集・処理を即座に行い、数秒～数分以内に処理結果を返すリアルタイム処理に注目が集まっています。Apache Kafkaは、センサーなどのデータが生成される箇所とリアルタイム処理基盤の間で随時生成される大規模データを受け渡すためのオープンソースの分散メッセージング基盤です。Apache Kafkaは商用利用を意識した機能を持つ利便性の高いプロダクトである一方、比較的新しいプロダクトであることから一般に利用実績が少ないことや、分散システムに対する知見が必要なことが、導入のハードルを上げる要因になっています。

NTTデータでは以前より、オープンソースの大規模データ処理基盤であるApache Hadoop注2やApache Spark注3を活用した「Hadoop/Spark構築・運用ソリューション」注4を提供してきました。また、大規模データのリアルタイム活用ニーズの増加に合わせ、独自にApache Kafkaの検証および、商用システムを安心して利用・運用するための知見を蓄積してきました。このたび、これらの培ってきた知見を生かし、Apache Kafkaを活用した大規模データのリアルタイム処理基盤を幅広くサポートするため「Kafka構築・運用ソリューション」を提供開始することとしました。

特長

「Kafka構築・運用ソリューション」は、Apache Kafkaを活用した大規模データのリアルタイム処理基盤のコンサルティング・実証実験・基盤構築・運用まで幅広く技術サポートを行うものです。蓄積した知見や独自技術の活用により、大規模データのリアルタイム処理の検討を行うお客さまに拡張性・信頼性・運用性に優れ、長期間の運用が可能なリアルタイム処理基盤を提供します。

  • サーバー台数を抑えて、高信頼な分散メッセージング基盤を実現
    Apache Kafkaが標準で有する耐障害性の仕組みを最大限に活用し、独自に検証した耐障害性の方式を併用することで、標準のApache Kafkaと比較し、少ないサーバー台数で高い信頼性と運用性を有する基盤を実現します。
  • お客さまの利用環境や要件に応じたデータ活用基盤全体のコンサルティング・インテグレーション
    お客さまのシステム要件や将来の拡張性を考慮した基盤アーキテクチャの検討をはじめ、導入検討時のコンサルティングを行います。また、「Hadoop/Spark構築・運用ソリューション」と組み合わせることで、大規模データのバッチ処理基盤も含めたデータ活用基盤全体のインテグレーションに対応します。
  • 専門技術者によるサポートサービス
    Apache Kafkaを用いたシステム構築・運用時の疑問点やトラブルなどの問い合わせに回答します。Hadoop/Spark構築・運用ソリューションで提供しているHadoop/Sparkサポートサービスとの併用も可能です。全ての問い合わせにはソースコードの解析ができる専門技術者が対応し、導入後の運用が長期間となった場合でも継続的なサポートサービスの提供が可能です。

本ソリューションの活用例

本ソリューションで提供するリアルタイム処理基盤はさまざまな用途で利用できます。例えば各自動車に取り付けられたGPSや速度センサーなどの情報を集約して交通量を算出し、渋滞を考慮した経路案内をリアルタイムに行うことが挙げられます。また、別の例としては、金融機関やクレジットカードの取引情報を集約して分析し、不正な取引の検知をリアルタイムに行い、被害の防止や軽減行うことなども挙げられます。

このようなシステムにおいて「Kafka構築・運用ソリューション」は、Apache Kafkaが大量のセンサーや機器などから送信されるデータの受け渡しや集計を確実に行うことはもちろん、運用性や将来のデータ量増加や処理内容の変化に耐え得る拡張性を考慮した基盤の設計・構築、サービス開始後の長期間に渡る運用までトータルで支援することが可能です。

今後について

NTTデータは分野・業界を問わず、Apache Kafkaを利用するシステムの活用を推進し、3年間で累計100億円の売り上げを目指します。現在、Apache Hadoop/Apache Sparkに対応できる300名以上の専門技術者を有していますが、Apache Kafkaについても対応し、さらに体制を拡充していく予定です。また、これらの開発コミュニティーへの貢献、商用システムでの活用を見据えた信頼性、運用性の向上の取り組みを継続して実施していきます。

In English

NTT DATA announces Apache Kafka based end to end large-scale data processing platform solution
--Easily develop production systems to process real-time data such as sensor data or location data--（PDF：3ページ, 185KB）

注釈

  • 注1ここでは複数のシステム間などでメッセージ（データ）をやり取りするための基盤をメッセージング基盤と呼んでいます。分散メッセージング基盤とは複数台のサーバーで構成されるメッセージング基盤のことです。
  • 注2Apache Hadoop（英文のみ）
    http://hadoop.apache.org/
  • 注3Apache Spark（英文のみ）
    http://spark.apache.org/
  • 注4Hadoop/Spark構築・運用ソリューション
    https://www.nttdata.com/jp/ja/lineup/bizxaas_hadoop/
  • 本文中の商品名、会社名、団体名は、各社の商標または登録商標です。

本件に関するお問い合わせ先

報道関係のお問い合わせ先

株式会社NTTデータ
広報部
後藤
TEL：03-5546-8051

ソリューションに関するお問い合わせ先

株式会社NTTデータ
技術革新統括本部
システム技術本部
生産技術部
OSSプロフェッショナルサービス
土橋、志田、佐々木
TEL：050-5546-9000

参考

「NTTデータ テクノロジーカンファレンス2019 ～未来を創る NTT DATA の確かな技術力～」開催概要

NTTデータが行っているApache Kafkaに関する取り組みや、Apache Kafkaと組み合わせて利用されることの多いApache Hadoop、Apache Sparkなどの技術トピックなどを紹介します。

日時2019年9月5日 10：00～17：30
場所東京コンファレンスセンター品川（東京都港区港南1-9-36アレア品川3F-5F）
NTTデータ テクノロジーカンファレンス2019 公式サイトhttps://oss.nttdata.com/techconf2019/

過去の活用事例

NTTデータによるApache Kafkaの活用事例は以下の海外カンファレンスなどで紹介されています。