データ統合基盤FUJITSU Software Big Data Integration Server
機能

Big Data Integration Serverは、さまざまなデータソースから出力されるログを効率的に収集する「ログ収集」機能と、簡単・高速にデータを加工する「高速データ加工」機能と富士通が培ってきたシンプルな検索技術による「マートレス検索」機能により、少ない運用コストで業務を迅速化します。

• 最新バージョンの機能強化ポイント

機能説明

• ログ収集
• 高速データ加工
• マートレス検索

ログ収集

ログ収集

さまざまなデバイス、アプリケーション、ミドルウェアから出力されるログを効率的に収集します。収集したデータのバッファリングや送信に失敗したデータの再送信機能により、永続的に発生するストリームデータの収集をより簡単に、安全に実現します。

メッセージング

収集したデータを一時的にメモリに保持し、スキーマレス加工などを利用したデータ加工が入力データとして利用できるようにします。データ加工間のデータ入出力を非同期化することで、全体のレスポンス・スループット性能を最適化します。

高速データ加工

スキーマレス加工

多種・大量のデータを、データの構造（スキーマ）を意識せず、そのままの形式で収集したデータから、使いたい項目だけを抽出・加工することで、検索用のデータの準備が容易にできます。大量データから絞り込みや項目の編集 / 結合を行った検索用ファイルは、インメモリ検索用データまたはディスク検索用データとして格納します。高速パターンマッチング技術や、データ加工時に中間ファイルを介さずに処理するため、大量データを加工する処理の時間短縮を実現します。

ETLツールによる加工

本製品のデータ加工

並列分散処理

長時間かかっても処理できなかった大量のデータや繰り返しの多い複雑なデータ加工処理を、Hadoop / Spark上で数十台から数千台のサーバで分散処理することによって、スループットを向上します。

• （注）
  図中の「HDFS」は、Apache Hadoopが利用する分散ファイルシステムです。

マートレス検索

インメモリ検索

インメモリ検索は、スキーマレス加工によって準備されたデータのうち、サマリデータや直近データなどの重要なデータをインメモリに格納し、インメモリ検索API（JavaまたはC）を使用することで、格納データの絞り込み、ソート / 集計を高速にできます。リレーショナルデータベースと異なり、テーブルやインデックスがありません。このため、テーブル設計・インデックス設計といった煩わしい作業から解放されます。絞り込みやソート / 集計の高速化によってマートを作成する必要がなくなり、すぐに検索業務を開始できます。また、富士通が培ってきたシンプルな検索技術により検索レスポンスを短縮しており、安定した性能を維持します。

ディスク検索

ディスク上の大量データから、キーワードで検索によって目的の情報を高速に取り出します。また、絞り込み、ソート / 集計、項目編集、結合が可能なため、大量データを要約（サマリ）して抽出もできます。スキーマレス加工と同様の方法（データ操作のために必要な条件を指定してコマンドを実行するだけ）で取り出せるため、効率的にデータを取り出すアプリケーションを作成できます。

製品体系

Big Data Integration Server	多種・大量なデータを収集、柔軟に統合し、高速に検索・集計できるデータ統合基盤です。