データ統合基盤FUJITSU Software Big Data Integration Server
機能
Big Data Integration Serverは、さまざまなデータソースから出力されるログを効率的に収集する「ログ収集」機能と、簡単・高速にデータを加工する「高速データ加工」機能と富士通が培ってきたシンプルな検索技術による「マートレス検索」機能により、少ない運用コストで業務を迅速化します。
機能説明
ログ収集
ログ収集
さまざまなデバイス、アプリケーション、ミドルウェアから出力されるログを効率的に収集します。収集したデータのバッファリングや送信に失敗したデータの再送信機能により、永続的に発生するストリームデータの収集をより簡単に、安全に実現します。
メッセージング
収集したデータを一時的にメモリに保持し、スキーマレス加工などを利用したデータ加工が入力データとして利用できるようにします。データ加工間のデータ入出力を非同期化することで、全体のレスポンス・スループット性能を最適化します。
高速データ加工
スキーマレス加工
多種・大量のデータを、データの構造(スキーマ)を意識せず、そのままの形式で収集したデータから、使いたい項目だけを抽出・加工することで、検索用のデータの準備が容易にできます。大量データから絞り込みや項目の編集 / 結合を行った検索用ファイルは、インメモリ検索用データまたはディスク検索用データとして格納します。高速パターンマッチング技術や、データ加工時に中間ファイルを介さずに処理するため、大量データを加工する処理の時間短縮を実現します。
ETLツールによる加工
本製品のデータ加工
並列分散処理
長時間かかっても処理できなかった大量のデータや繰り返しの多い複雑なデータ加工処理を、Hadoop / Spark上で数十台から数千台のサーバで分散処理することによって、スループットを向上します。
-
(注)図中の「HDFS」は、Apache Hadoopが利用する分散ファイルシステムです。
マートレス検索
インメモリ検索
インメモリ検索は、スキーマレス加工によって準備されたデータのうち、サマリデータや直近データなどの重要なデータをインメモリに格納し、インメモリ検索API(JavaまたはC)を使用することで、格納データの絞り込み、ソート / 集計を高速にできます。リレーショナルデータベースと異なり、テーブルやインデックスがありません。このため、テーブル設計・インデックス設計といった煩わしい作業から解放されます。絞り込みやソート / 集計の高速化によってマートを作成する必要がなくなり、すぐに検索業務を開始できます。また、富士通が培ってきたシンプルな検索技術により検索レスポンスを短縮しており、安定した性能を維持します。
ディスク検索
ディスク上の大量データから、キーワードで検索によって目的の情報を高速に取り出します。また、絞り込み、ソート / 集計、項目編集、結合が可能なため、大量データを要約(サマリ)して抽出もできます。スキーマレス加工と同様の方法(データ操作のために必要な条件を指定してコマンドを実行するだけ)で取り出せるため、効率的にデータを取り出すアプリケーションを作成できます。
製品体系
Big Data Integration Server | 多種・大量なデータを収集、柔軟に統合し、高速に検索・集計できるデータ統合基盤です。 |
---|
Big Data Integration Server に関するお問い合わせ
ご検討中のお客様
- お電話で
- 富士通コンタクトライン(総合窓口)
- 0120-933-200
- 受付時間 9時~17時30分
(土曜・日曜・祝日・当社指定の休業日を除く) - 富士通コンタクトラインでは、お問い合わせ内容の正確な把握、およびお客様サービス向上のため、お客様との会話を記録・録音させていただいておりますので、予めご了承ください。
- Webで
- 当社はセキュリティ保護の観点からSSL技術を使用しております。
ご使用中のお客様
- サポート情報
- Big Data Integration Server Webページにおきまして、各種サポート情報を公開しております。ご質問・お問い合わせに先だち ぜひご参照ください。
- 使用方法、技術的なお問合せ
- 「SupportDesk受付窓口」または製品を購入された際の販売会社もしくは当社担当営業・SEまでご連絡ください。