エッジアナリティクス：ローカルで即座に知見を得ることのメリットとデメリットについて
「IoT」に関する前回のブログで述べたデータのストレージと処理について、多くのデータサイエンティストから問い合わせを受けました。質問は大まかに言ってどれも同じ内容で、データの扱いに関するものでした。エンタープライズデータを保存すべきか廃棄すべきか、保存したデータを自社の戦略的資産とするための最善のアプローチはどのようなものか、困っているとのことでした。
センサーが普及しているにもかかわらず、収集されるインダストリアルIoT（IIoT）データの大部分は分析されていないという由々しき状況にあります。既存のIoTプラットフォームソリューションの多くは、非常に低速でコストがかかり、多くのリソースを必要とします。そのために、保存データの分析は非常に困難です。
ガートナーは、展開されたデータの90%は役に立っていないと報告しています。また、エクスペリアン（Experian）は、米国企業が抱えるデータの約32%は不正確であると報告しています。重要なのは、あらゆる企業にとってデータが最も貴重な資産であることということです。データを丸ごと廃棄したり、利用されないデータレイクに放置したりするのは非常に残念なことです。さまざまな情報エンドポイントを理解し、最終的にビジネス成果をもたらす結論を導くためには、すべてのデータサイエンティストがIoTの膨大なデータプールを活用することが不可欠です。また、データを処理しないまま破棄することには、私は断固として反対です。
IoTに関するブログで述べたように、数年後には、エッジからデータを生成するデバイスが、現在に比べて150〜400億個増え[1]、これが新たな課題をもたらします。このデータをデータレイクと処理ハブに転送して処理するためのインフラストラクチャを想像してみてください。処理の負荷が今後数か月から数年の間に指数関数的に上昇し続け、インフラストラクチャが極限まで酷使されるというさらなる問題が生じることになります。
このデータの唯一のメリットは、「モノ」や監視カメラのトラフィックを分析することによって得られます。時間が重大となる状況では、この分析が遅れると、「遅すぎる」ことになる可能性があります。そのような遅れは、ネットワークの可用性の制限や過負荷の中央システムのような、多くの理由が原因で発生します。
比較的新しいアプローチとなる「エッジアナリティクス」は、これらの問題に対処するために使用されています。簡単に言うと、データが生成されている場所でアナリティクスを実行することです。現場でリアルタイムで分析することです。「モノ」のアーキテクチャーは、組み込みのアナリティクスを考慮して設計される必要があります。たとえば、電車や信号機のセンサーは、交通のインテリジェントな監視と管理を提供するものですが、周辺環境の分析に基づいて近くの消防署や警察署に警報を送るのに十分な機能を備えているべきです。防犯カメラもよい例です。何も変更せずにライブビデオを送信するだけでは、ほとんど役に立ちません。変化を検知できるアルゴリズムがあり、前のイメージから新しいイメージを生成できれば、変更を送信するだけで済みます。したがって、これらの種類のイベントは、アナリティクスのためにネットワーク経由で送信するのではなく、ローカルで処理する方が理にかなっています。エッジアナリティクスが合理的である状況を把握することが非常に重要です。「デバイス」がローカル処理をサポートしていない場合、最寄りの場所のセンサーやデバイスが生成データを解釈するように、接続されたネットワークの設計方法を理解しなければなりません。Cisco、Intelなどの企業はエッジコンピューティングを支援しており、エッジコンピューティングデバイスとしてゲートウェイを推進しています。IBM Watson IoT（IBMとCiscoのプロジェクト）は、強力なアナリティクス機能をどこにでも提供することにより、アナリティクスアーキテクチャーの設計を再形成しています。典型的なサーバーハードウェアベンダーであるDellは、エッジでアナリティクスをサポートするための特殊デバイス（Dell Edge Gateway）を開発しました。Dellが構築したアナリティクス用の包括的システム/ハードウェア/ソフトウェアは、アナリティクスモデルを1つの場所またはクラウドに作成し、エコシステムのほかの部分に展開できるようにします。
ただし、エッジアナリティクスにはいくつかの欠点があり、これらを考慮する必要があります。エッジアナリティクスでは、データのサブセットのみが処理され、分析されます。また、アナリティクスの結果はネットワークを介して送信されます。つまり、生データの一部を実質的に破棄し、一部の知見を得られなくなる可能性があるのです。この「損失」を受け入れられるかどうか、データ全体が必要か/アナリティクスの結果で十分か、どのような影響があるかといった点を検討する必要があります。一般的な答えは存在しません。たとえば、航空機のシステムは、どのようなデータでも失うことは許されず、すべてのデータを転送して分析し、異常につながる可能性のあるパターンを検出する必要があります。それでも、飛行中のデータ転送はあまり都合の良いことではありません。このため、データをオフラインで収集し、飛行中にエッジアナリティクスを実行するのが好ましいアプローチとなります。フォールトトレランスがある状況では、すべてのデータを分析しなくても許容されます。このような点については、組織がIoTアナリティクスのこの新しい分野に関与し、結果を検討するようになる中で、経験から学ばなければなりません。
データの価値について再度強調したいと思います。パターンの検出や市場分析では、すべてのデータを分析する必要があります。データ駆動型企業はそうではない企業と比べてはるかに前進しています。IoTのエッジアナリティクスは刺激的な分野であり、データの保守と使いやすさを実現するための解決策を提供しており、多くの大企業がこれに投資しています。IoTに関する「IDC FutureScape」レポートによると、2018年までに、IoTデータの40%は、ネットワークに転送される前に生成された場所で保存/処理/分析されるようになると予想されます[2]。データの転送にはコストがかかり、タイムリーで高品質な意思決定に影響を与えずにコストを削減する必要があります。エッジアナリティクスは、確実にその答えを提供します。
出典：
- [1]「The Data of Things: How Edge Analytics and IoT go Hand in Hand」（2015年9月）
- [2]Will Analytics on the Edge be the Future of Big Data?」（フォーブス誌、Bernard Marr、2016年8月）
- http://www.forbes.com/sites/teradata/2016/07/01/is-your-data-lake-destined-to-be-useless http://www.kdnuggets.com/2016/09/evolution-iot-edge-analytics.html https://www.datanami.com/2015/09/22/the-data-of-things-how-edge-analytics-and-iot-go-hand-in-hand
- https://developer.ibm.com/iotplatform/2016/08/03/introducing-edge-analytics/
- http://www.forbes.com/sites/bernardmarr/2016/08/23/will-analytics-on-the-edge-be-the-future-of-big-data/ http://www.ibm.com/internet-of-things/iot-news/announcements/ibm-cisco/
- https://www.experianplc.com/media/news/2015/new-experian-data-quality-research-shows-inaccurate-data-preventing-desired-customer-insight/
