Hadoopよりも高速なSparkの活用を積極推進するIBMは何をしようとしているのか？

　2009年にUC Berkeley AMPLabのプロジェクトとしてスタートした「Apache Spark」は、2010年にオープンソース化され、現在ではApache Software Foundationで最もアクティブなプロジェクトの1つとなった。SparkはHadoopと比較して、統計処理や機械学習のような「繰り返し計算」や「多段処理」が必要な複雑な処理を得意としているため、IoT（Internet of Things：モノのインターネット）から上がってくるビッグデータの分析や処理の基盤として注目を集めている。

　そのSparkに対して、他ベンダーに先駆けてさまざまな取り組みを行っているのがIBMだ。米国サンフランシスコに「Spark Technology Center」を設立し、AMPLabなどとのパートナーシップを維持・強化し、Sparkテクノロジーの活用を加速している。また、IBMでは社内外プロジェクトにSparkを積極的に取り入れ、既に100に及ぶプロジェクトが進行中だ。

　本コンテンツではSparkが注目されるようになった背景を解説するとともに、IBMが行っているSparkを活用したさまざまな取り組みを紹介する。IoT技術本格活用時代に向けて100万人のデータサイエンティストとデータ活用の技術者育成を目指すIBMは、Sparkで何をしようとしているのか？