ビッグデータ活用の大前提となる「データ形成プロセス」を効率化するには？

　ビッグデータ分析を行う企業の中で、構築した分析環境に回すデータそのものの形成をストレスなく実行できている企業は少ない。また分析対象のデータの種類を増やしたり、IoTからのデータフローを分析したりするようになってから、データ形成時間の短縮やデータの信頼性担保に苦労しているユーザーも多い。

　ビッグデータは分析環境に適したデータを形成する必要があり、複数のサイロ化されたリソースからデータ収集する場合は、さらなる工夫が必要となる。さらにIoTシステムでは通信環境やデバイスの状況によって、データが不完全なものになることがあり、的確に管理する必要がある。

　本コンテンツは遠隔地の複数サイトに散在しているデータや不完全なデータなどにも、低コストで対応するための管理基盤の条件を解説している。オープンフレームワークで構築され、「Apache Hadoop」との適合性も高い製品を例に、データ形成プロセスをシンプルにし、データ保護のレベルアップを図る手法を説明している。