データ統合基盤FUJITSU Software Big Data Integration Server
機能

Big Data Integration Serverは、さまざまなデータソースから出力されるログを効率的に収集する「収集機能」と、簡単・高速にデータを加工する「データ管理機能」と、富士通が培ってきたシンプルな検索技術による「検索機能」により、少ない運用コストで業務を迅速化します。

機能説明

収集機能

ログ収集

さまざまなデバイス、アプリケーション、ミドルウェアから出力されるログを効率的に収集します。収集したデータのバッファリングや送信に失敗したデータの再送信機能により、永続的に発生するストリームデータの収集をより簡単に、安全に実現します。

メッセージング

収集したデータを一時的にメモリに保持し、スキーマレス加工などを利用したデータ加工が入力データとして利用できるようにします。データ加工間のデータ入出力を非同期化することで、全体のレスポンス・スループット性能を最適化します。

データ管理機能

スキーマレス加工

多種・大量のデータを、データの構造(スキーマ)を意識せず、そのままの形式で収集したデータから、使いたい項目だけを抽出・加工することで、検索用のデータの準備が容易にできます。大量データから絞り込みや項目の編集 / 結合を行った検索用ファイルは、インメモリ検索用データまたはディスク検索用データとして格納します。高速パターンマッチング技術や、データ加工時に中間ファイルを介さずに処理するため、大量データを加工する処理の時間短縮を実現します。

ETLツールによる加工

本製品のデータ加工

並列分散処理

長時間かかっても処理できなかった大量のデータや繰り返しの多い複雑なデータ加工処理を、Hadoop / Spark上で数十台から数千台のサーバで分散処理することによって、スループットを向上します。

  • (注)
    図中の「HDFS」は、Apache Hadoopが利用する分散ファイルシステムです。

検索機能

インメモリ検索

インメモリ検索は、スキーマレス加工によって準備されたデータのうち、サマリデータや直近データなどの重要なデータをインメモリに格納し、インメモリ検索API(JavaまたはC)を使用することで、格納データの絞り込み、ソート / 集計を高速にできます。リレーショナルデータベースと異なり、テーブルやインデックスがありません。このため、テーブル設計・インデックス設計といった煩わしい作業から解放されます。絞り込みやソート / 集計の高速化によってマートを作成する必要がなくなり、すぐに検索業務を開始できます。また、富士通が培ってきたシンプルな検索技術により検索レスポンスを短縮しており、安定した性能を維持します。

ディスク検索

ディスク上の大量データから、キーワードで検索によって目的の情報を高速に取り出します。また、絞り込み、ソート / 集計、項目編集、結合が可能なため、大量データを要約(サマリ)して抽出もできます。スキーマレス加工と同様の方法(データ操作のために必要な条件を指定してコマンドを実行するだけ)で取り出せるため、効率的にデータを取り出すアプリケーションを作成できます。

データガバナンス

メタデータ管理

データ管理者がスキーマ情報や業務上の意味、作成者などのデータ自体を説明する情報(メタデータ)を、格納したデータに付与することで、データの利用者が必要なデータの検索ができます。また、収集データからどのような加工・変換されてデータが作成されたのかに関する来歴情報(データリネージ)を記録することで、データの信頼性をデータの作成者以外でも確認することができ、品質の高いデータを利用できます。

セキュリティ管理

ディレクトリやファイル単位、テーブルやカラム単位でアクセス権を付与し、機密情報を含むデータでも安全に活用できます。セキュリティ管理では、以下の機能があります。

  • アクセスポリシーによるアクセス制御
    Apache Hadoopが保持するデータに対して柔軟なアクセス制御を実施できます。
  • 監査ログの記録
    利用者のデータ操作を記録することができます。

製品体系

Big Data Integration Server 多種・大量なデータを収集、柔軟に統合し、高速に検索・集計できるデータ統合基盤です。

Big Data Integration Server に関するお問い合わせ

ご検討中のお客様

お電話で
富士通コンタクトライン(総合窓口)
0120-933-200
受付時間 9時~17時30分
(土曜・日曜・祝日・当社指定の休業日を除く)
富士通コンタクトラインでは、お問い合わせ内容の正確な把握、およびお客様サービス向上のため、お客様との会話を記録・録音させていただいておりますので、予めご了承ください。
Webで
当社はセキュリティ保護の観点からSSL技術を使用しております。

ご使用中のお客様

サポート情報
Big Data Integration Server Webページにおきまして、各種サポート情報を公開しております。ご質問・お問い合わせに先だち ぜひご参照ください。
使用方法、技術的なお問合せ
「SupportDesk受付窓口」または製品を購入された際の販売会社もしくは当社担当営業・SEまでご連絡ください。
ページの先頭へ