Hadoopとは

Hadoop（ハドゥープ）は、データを複数のサーバに分散し、並列して処理するミドルウェア（ソフトウェア基盤）です。テラバイト、ペタバイト級大容量データの分析などを高速処理できるため、「ビッグデータ」活用における主要技術として活用が進んでいます。

Hadoop登場の背景

近年、大量でかつ多種多様なデータを分析し、その結果得られる情報をもとに、マーケティングや新たなビジネスを創出しようというICT活用が新たな潮流となっています。
例えば、ソーシャルメディアなどに日々蓄積する、テキストデータや音声、動画データなど非構造データも、その意味では価値のある「ビッグデータ」ですが、これらテラバイト（1兆バイト以上）からペタバイト（1,000兆バイト）におよぶデータを高速・効率的に処理するために、新たな手法が必要となりました。従来では一般的だった「対象となるデータを1つのサーバに蓄積し、あるキーワードで問いかけて、目的のデータを抽出する方法」では高速処理が難しいのです。
そこで考えられたのがデータを分散並列処理する手法です。つまり、データを複数のサーバに分散させ、各サーバに計算処理させることで、1台のコンピュータでは難しい大容量データの高速分析処理を行おうというものです。
ただ、分散並列処理を行う上ではいくつかの課題もありました。例えば、複数のサーバをネットワークでつなぎ、データを分散させたり、計算処理の同期をとったり、あるサーバが何らかの理由でストップした場合に対処する仕組みも求められるなど、複雑なシステム構築になるのです。当然、スピードアップや容量アップしようとする場合も容易ではありません。これらの課題に応えるのが、Hadoopなのです。

Hadoopのユニークな仕組み

課題と展望

Hadoopはオープンソースであるため、安価に導入が可能ですが、扱うスキルを持つ人材が求められます。より効率的に運用するには、どのようにデータを分散させればより効果的に処理が行えるか考えなければなりません。そのためにはサーバの配置やデータの処理単位について検討する必要があります。また、Hadoopだけでは詳細な分析や統計をカバーできないため、分析処理や統計処理をどのように連携して実行するかなどの課題もあります。
しかし、「ビッグデータ」時代の本格的な到来と共に、Hadoopをベースとしたパッケージも増えており、これらの課題も解決されつつあります。Hadoopは本格化するビッグデータ時代を牽引する主要技術の1つであり、今後さらに普及が進むものと考えられます。

富士通はNTTデータとともに、ディスクストレージシステム ETERNUSへのアクセス方法を拡張し、HadoopやPOSIX（Portable Operating System Interface for UNIX）対応のストレージシステムを共同開発しました。これはETERNUSを従来のHDFSの代わりに利用することが可能で、Hadoopから高性能に利用できることはもちろん、POSIXにより外部システムからも共有ストレージとして、統合管理およびETERNUSのバックアップ機能が利用できるといった特長で注目されています。

今後もストレージ 「ETERNUS」をはじめ、サーバ「PRIMERGY」「SPARC Enterprise」「PRIMEQUEST」などのハードウェア製品に加え、データの並列分散処理を可能にする「Big Data Platform」、統計・分析処理を行う「Big Data Middleware」などのソフトウェア製品群を提供することで、ビッグデータ活用に対するお客様の多様なニーズに対応してまいります。

掲載日：2012年9月26日

その他の関連情報

• ビッグデータ分析・活用Interstage Big Data Parallel Processing Server
• [PRESS RELEASE] ビッグデータ活用を支援するソフトウェア群を体系化し販売開始