性能・分析・拡張性など高度な要件をもつ大手投資銀行が認めたデータ基盤とは？

　年間収益が329億ドルに上り、フォーチュン100にも名を連ねる大手投資銀行では、データの蓄積にHadoopデータレイクを活用していた。しかし、基本的な履歴分析には対応できたものの、データストリームのリアルタイム分析やドリルダウン分析ができず、スケールアウト時にも制約があるなど、さまざまな技術的課題に直面していた。

　そこで同行は、データプラットフォームの刷新を決意する。新たな基盤に求めたのは、最終顧客の資産に関するアドホッククエリへの対応、動的な拡張性およびミリ秒単位のクエリ応答性など、高度なものだった。さらに、インフラコストの低減、増大しつづけるデータの速度や容量の増加に対応できる拡張性なども要件となった。

　これらを満たした新たなデータプラットフォームにより、単一の参照アーキテクチャを構築することで、ユーザー定義のアドホッククエリに高いパフォーマンスで対応できるようなった。他にもHDFS（Hadoop Distributed File System）との連携によりテラバイト級の履歴データの統合が可能になるなど、多くの効果が生まれたという。本資料では、同行の事例を基にこのデータプラットフォームの実力を探る。