【検証報告】HadoopのボトルネックとなるI/O問題を解決する方法

　ビッグデータの分析処理基盤として普及が進むHadoop。手頃なハードウェアと組み合わせた活用方法に加えて、最近ではクリティカルなデータを非常に高いスペックのハードウェアの中に集約して運用しようとする動きもある。

　一方で、こうした大量データ処理で最も課題となるのがI/O性能だ。データ処理のためにおこなわれるプロセッサやメモリ間でのデータの受け渡しにおいて、個々の通信部分の速度差がシステム全体のパフォーマンスに大きな影響を及ぼすからだ。

　本ホワイトペーパーでは、I/Oが及ぼすHadoopの分散処理時間への影響について、PCI Express Bus直結型の超高速IPネットワークデバイス「Bonet」を用いた検証テストによって明らかにしている。通信負荷やI/O負荷がボトルネックになりやすいシステムを改善したい、そのように考えている担当者は参考となるだろう。