Hadoopとは

Hadoopでは、1台のマスターサーバと、その配下につながる多数のスレーブサーバが連係プレーでデータの高速処理を行います。データ処理全体の流れをコントロールするのがマスターサーバで、実際の計算処理は配下のスレーブサーバが手分けして行います。したがって、スレーブサーバの台数が多ければ多いほど処理能力は高まり、爆発的に増大するデータを高速で計算処理できるようになるわけです。

Hadoopを特長づけているのは、HDFS（Hadoop Distributed File System）と呼ばれるファイルシステム、そしてMapReduceと呼ばれる計算プログラミングの2つの技術です。 HDFSは、多数のスレーブサーバのハードディスクを取りまとめ、そこに計算すべき膨大なデータを書き込んだり、また集計した結果を書き込んだりできる仮想的なファイルシステムです。 MapReduceは、計算処理を2つの手順、「Map処理（与えられたデータから欲しいデータを抽出・分解する）」と「Reduce処理（抽出されたデータ集計する）」でこなす手法です。各スレーブサーバは割り振られた分をMapReduceによって計算処理します。複数台のスレーブサーバで並列処理ができるので効率的です。

図2のMapReduceの処理イメージをご覧ください。「季節の人気おかずランキング（口コミ）」を例にとり、口コミより得た情報から、人気のおかずを抽出、分解、集計し、順位づけした略図です。

ユーザー数が1千万人を超える料理レシピサイトでは、約1年分の膨大すぎるRelational Data Baseのデータ解析に約10カ月要する見積もりに対し、Hadoopの利用により、その処理を1日半程度に短縮されたという事例もあります。
このように、HDFSとMapReduceの組み合わせで、現在、数ペタバイト程度のデータまでを迅速に分散並列処理できるようになっています。