データ統合基盤FUJITSU Software Big Data Integration Server
機能

Big Data Integration Serverは、さまざまなデータソースから出力されるログを効率的に収集する「収集機能」と、簡単・高速にデータを加工する「データ管理機能」と、富士通が培ってきたシンプルな検索技術による「検索機能」により、少ない運用コストで業務を迅速化します。

• 最新バージョンの機能強化ポイント

機能説明

• 収集機能
• データ管理機能
• 検索機能
• データガバナンス

収集機能

ログ収集

さまざまなデバイス、アプリケーション、ミドルウェアから出力されるログを効率的に収集します。収集したデータのバッファリングや送信に失敗したデータの再送信機能により、永続的に発生するストリームデータの収集をより簡単に、安全に実現します。

メッセージング

収集したデータを一時的にメモリに保持し、スキーマレス加工などを利用したデータ加工が入力データとして利用できるようにします。データ加工間のデータ入出力を非同期化することで、全体のレスポンス・スループット性能を最適化します。

データ管理機能

スキーマレス加工

多種・大量のデータを、データの構造（スキーマ）を意識せず、そのままの形式で収集したデータから、使いたい項目だけを抽出・加工することで、検索用のデータの準備が容易にできます。大量データから絞り込みや項目の編集 / 結合を行った検索用ファイルは、インメモリ検索用データまたはディスク検索用データとして格納します。高速パターンマッチング技術や、データ加工時に中間ファイルを介さずに処理するため、大量データを加工する処理の時間短縮を実現します。

ETLツールによる加工

本製品のデータ加工

並列分散処理

長時間かかっても処理できなかった大量のデータや繰り返しの多い複雑なデータ加工処理を、Hadoop / Spark上で数十台から数千台のサーバで分散処理することによって、スループットを向上します。

• （注）
  図中の「HDFS」は、Apache Hadoopが利用する分散ファイルシステムです。

検索機能

インメモリ検索

インメモリ検索は、スキーマレス加工によって準備されたデータのうち、サマリデータや直近データなどの重要なデータをインメモリに格納し、インメモリ検索API（JavaまたはC）を使用することで、格納データの絞り込み、ソート / 集計を高速にできます。リレーショナルデータベースと異なり、テーブルやインデックスがありません。このため、テーブル設計・インデックス設計といった煩わしい作業から解放されます。絞り込みやソート / 集計の高速化によってマートを作成する必要がなくなり、すぐに検索業務を開始できます。また、富士通が培ってきたシンプルな検索技術により検索レスポンスを短縮しており、安定した性能を維持します。

ディスク検索

ディスク上の大量データから、キーワードで検索によって目的の情報を高速に取り出します。また、絞り込み、ソート / 集計、項目編集、結合が可能なため、大量データを要約（サマリ）して抽出もできます。スキーマレス加工と同様の方法（データ操作のために必要な条件を指定してコマンドを実行するだけ）で取り出せるため、効率的にデータを取り出すアプリケーションを作成できます。

データガバナンス

メタデータ管理

データ管理者がスキーマ情報や業務上の意味、作成者などのデータ自体を説明する情報（メタデータ）を、格納したデータに付与することで、データの利用者が必要なデータの検索ができます。また、収集データからどのような加工・変換されてデータが作成されたのかに関する来歴情報（データリネージ）を記録することで、データの信頼性をデータの作成者以外でも確認することができ、品質の高いデータを利用できます。

セキュリティ管理

ディレクトリやファイル単位、テーブルやカラム単位でアクセス権を付与し、機密情報を含むデータでも安全に活用できます。セキュリティ管理では、以下の機能があります。

• アクセスポリシーによるアクセス制御
  Apache Hadoopが保持するデータに対して柔軟なアクセス制御を実施できます。
• 監査ログの記録
  利用者のデータ操作を記録することができます。

製品体系

Big Data Integration Server	多種・大量なデータを収集、柔軟に統合し、高速に検索・集計できるデータ統合基盤です。