背景と概要
DataOpsとは、データの利用者が、欲しいデータや分析結果を必要な時にすぐに、信頼できる形で入手できるようにするため、データの利用者と管理者とが協調してプロセス、ツール環境や組織文化を継続的に改善する取組みです。2014年が初出とされ(※1)、データ統合ソリューションを提供する企業であるTamr(※2)が積極的に提唱していましたが、2018年に入ってより認知が広がり、GartnerのHype Cycleにおいても”On the Rise”のキーワードとして掲載されました。(※3)
いま、企業におけるデータの利用側では、デジタル変革の進展と、データ分析ツールの進化・普及、さらにAI活用の取組みなどにより、業務部門でのデータ活用のすそ野が急速に広がり、よりクイックなデータ提供・分析・活用が求められています。一方、データの供給側では、スマートフォンやセンサーのログ、オープンデータの活用など、取り扱うべきデータは種類・量ともに爆発的に増えています。
このようにデータの利用側・供給側の双方でデータ活用ニーズが急速に拡大する一方、多くの組織において、データ抽出・加工・分析は部門ごと・担当者ごとの属人的なやり方で進められています。しかし、今後はデータ提供・分析・活用のスピード・生産性がビジネス全体のパフォーマンスを左右し得ることから、いまDataOpsの取組みが注目されています。
図1:データ活用の課題
DataOpsのポイント
DataOpsはアプリケーション開発におけるDevOpsと呼ばれる取組みをデータ活用のプロセスに応用したものであり、要求の発生からデータの提供までを扱い、その過程でのデータの利用者と管理者との協調を重視します。
そのプロセスについて、未だ明確に定義された標準はありませんが、DataOpsの前提となるデータ分析・活用のプロセスと、その実現のポイントをNTTデータでは下図のように考えています。
図2:データ分析・活用のプロセス
図3:DataOps実現のポイント
DataOpsを支えるテクノロジー
DataOpsを効果的に推進するためには、テクノロジーの活用が有効です。ただし、DataOpsの領域ではアプリケーション開発におけるDevOpsのように統合的なツールが整備されているわけではなく、下図に示すような目的別のツール群を使い分ける必要があります。これらのプロセス全体を統合するオーケストレーションツールなども出て来つつありますが、すべてのプロセスをカバーすることはできないため、高度に自動化を図るには、各ツールが備える管理用のAPIなどを利用し、スクリプトなどを組み合わせることも必要です。
図4:DataOpsを実現するテクノロジー
上図に示した領域の中では、特に蓄積しているデータの意味・内容を利用者に公開するためのデータカタログや、高度なスキルを必要とせずデータ加工を可能とするデータ準備ツールの領域は、昨今、弊社のお客様でもニーズが急速に高まっています。代表例として、Alteryxというツールはこの双方および機械学習による統計分析モデルの構築・実行までをカバーしており、その使い勝手の良さもあって好評を得ています。(※4)
DataOpsのもたらす効果
DataOpsの効果的な推進は、組織におけるデータ活用を高速化し生産性を向上させるのみでなく、業務担当・IT担当・分析担当の協働を活性化し、新たな分析・活用のアイディアを生み出すなど、データ活用の普及・定着を促進する土台となります。
図5:DataOpsのもたらす効果
まとめ
企業のデジタル化においてデータ活用の拡大が喫緊の課題となる今、その足腰を作るためのDataOpsの継続的な取り組みは、今後ますます必要とされてくると考えています。
- ※13 reasons why DataOps is essential for big data success
- https://www.ibmbigdatahub.com/blog/3-reasons-why-dataops-essential-big-data-success
- ※2Data Ops: What Is It? Do We Need It?
- https://tdwi.org/articles/2018/04/16/diq-all-what-is-data-ops-1.aspx
- ※3Gartnerがデータ管理分野の「3つの新興技術」に注目、いずれも急速に普及が進む
- http://www.atmarkit.co.jp/ait/articles/1809/13/news054.html
- ※4データ分析ソリューション「Alteryx」の提供について 米国Alteryx社とパートナー契約を締結
- http://www.nttdata.com/jp/ja/news/release/2018/051400.html