ビッグデータ処理を高速化、Spark／Hadoop対応のバッチ開発フレームワーク

　企業の収集・生成するデータ規模が膨張し、バッチ処理は限界に達しつつある。そこで解決策として注目されているのが、HadoopやSparkなどビッグデータ処理に長ける分散処理技術の活用だ。その開発を推し進めようと、オープンソースの高速バッチ開発フレームワークも生まれている。

　その大きな強みの1つが、開発ソースを一切変更することなくSparkやMapReduceなど分散処理基盤の実行コードを生成できることだ。また、三層DSLによるシンプルなJavaの組み合わせにより、従来は難しかった複雑なバッチ処理も可能としており、性能と開発の自由度の双方の課題を解決できる。

　本コンテンツでは、このバッチ開発フレームワークを解説する。分散処理向けアプリケーションの開発だけでなく、バッチ実行、統合テスト、データ連携などの業務に必要なツールをオールインワンで提供しており、開発のスピードアップにも貢献するだろう。