データ収集・統合ソフトウェアFUJITSU Software Interstage Information Integrator
機能

Interstage Information Integratorは、世界85ヵ国12,000社に導入実績がある米国Syncsort社のETL（Extrac【抽出】、Transform【加工】、Load【格納】）製品であるDMExpressを組み込むことで直感的で使いやすいGUIや豊富な接続アダプターを備え、容易なデータ統合を実現します。

• 最新バージョンの機能強化ポイント

機能説明

• 高速データ加工（DMExpress）
• 連携アダプター・GUI（DMExpress）
• データ収集・統合
• 転送アクセラレーター

高速データ加工（DMExpress）

米国Syncsort社の超高速ETL製品DMExpressを組み込み、チューニング不要の大量データ加工を実現します。直観的なGUIでデータ処理定義を作成することで、利用者プログラムを開発することなく、データ連携システムを定義設定のみで簡単に構築・運用することができます。

ビジネス活動から生まれる様々なデータの活用に、どれくらいの時間をかけていますか？ 大量データを短時間で活用できる超高速データ加工製品について、「適用例」「3つの特長」「操作画面」でわかりやすくご紹介します。

性能チューニングを不要とする動的パフォーマンス最適化

データ加工処理実行時に、メモリ使用状況、ディスクI/O、CPUスペック、処理対象のデータ（データの種類、レコードフォーマット、レコード数、カラム数）を分析して、使用リソース（メモリ、ディスク）、並列実行の多重度、アルゴリズムを自動的に最適化します。アルゴリズムや多重度の最適化は常に自動的に行われるため、データの量や種類、ハードウェアリソースが変化しても、性能チューニングは必要ありません。

I/O負荷の削減による高速加工

データの加工に必要な一連の処理を並列で行うパイプライン処理や、ファイルシステムを経由しないディスクへの直接アクセスにより、I/O負荷を削減し、データ加工処理時間を短縮します。

DMExpress GUI

データ加工アプリケーションの設計やスケジュール設定、管理ができます。

• タスクエディタ
  タスク（データ加工の最小単位）を定義し、サーバに接続することなくテストできます。
• ジョブエディタ
  タスクをグループ化してジョブ（データ加工アプリケーションの定義）を作成し、即時実行あるいはスケジュール実行できます。
• メタデータの読込み
  データベースからテーブルの項目の情報を読み込み、自動で展開することができます。CSVファイルから項目の情報を自動で展開することができます。
• メタデータへのリンク
  リンクを設定することで、他のタスクに定義されたメタデータ（レコードレイアウト、データベース接続情報など）を読込んで再利用することができます。リンク元のメタデータを変更すると、リンク先のタスクへ自動的に反映します。
• 環境変数を使用した定義
  システムの環境変数を使用して処理を定義できます。実行時に指定される値に従って、動的に処理を実行できます。
• 中間データの確認
  各タスクの入出力となる中間データの内容を確認しながらジョブ・タスクを作成できます。
• ダイレクトデータフロー
  各タスクが入出力する中間データをメモリ上で受渡すことで、処理時間を短縮できます。
• レポート
  ジョブやタスクの内容をHTMLやテキスト形式で出力できます。
• 比較
  2つのジョブまたはタスクの差異を確認できます。
• 影響分析
  データ項目の変更によりジョブの中で影響を受ける箇所を特定することができます。

データ加工

• データ入出力
  データベーステーブル、ファイル、標準入出力またはパイプ、メモリ内における個々のレコードからの入出力ができます。CSV、固定長、可変長、メインフレーム形式、JSON（注1）、QlikView（QVX）（注2）、Tableau（TDE）（注2）の各形式のファイルを入出力できます。
  リモートファイルの入出力には、FTP、SFTPまたはConnect:Directによる接続を使用することができます。
• リフォーマット
  項目の選択・並べ替え、四則演算や関数を用いた計算値の出力、形式や文字コードの変換ができます。
• フィルタリング
  条件を指定して、出力したいレコードを選択することができます。
• コピー
  レコードの順番を変更せずに、入力されたレコードを出力します。フィルタリングやリフォーマットを行うときに使用します。
• 集計
  キーとなる値に基づいてレコードをグループ化し、集計データを作成します。
• 結合
  2つの入力をキーとなる項目でつきあわせ、それぞれの項目を出力します。たとえば、マスタデータとの比較による置き換えを行うことができます。
• マージ
  同じ項目でソート済みの複数の入力を、同じ順序でソートされた1つの出力にマージします。
• ソート
  指定された順序にレコードを並べ替えます。
• カスタムタスク
  ジョブからアプリケーションやスクリプト等の外部プログラムを実行することができます。
• DTL（データ変換言語）
  専用言語を利用して、ジョブやタスクをすべてテキスト形式で作成できます。
• コマンド呼出しによる実行
  DMExpress GUIまたはDTLを使用して作成したジョブ・タスクをコマンド呼出しによって実行することができます。
• ジョブの再開
  ジョブが異常終了した場合、異常終了した箇所から処理を再開します。

• 注1
  入力のみ行うことができます。
• 注2
  出力のみ行うことができます。

連携アダプター・GUI（DMExpress）

DMExpressは、企業内外のシステム間で流通する多種多様なデータ形式や膨大な量のデータを豊富な連携アダプタで接続して連携することができ、データ連携システムの中核として機能します。

データベース連携

データベースからの全件抽出、条件抽出、データベースへのデータ置換、追加、更新ができます。（注3）

• Symfoware Server Standard Edition V12（Openインターフェース）
• Symfoware Server Enterprise Edition V12（Openインターフェース）
• Enterprise Postgres V9.6
• Oracle Database 11g以降
• Microsoft SQL Server 2008以降
• My SQL 5.1.73以降
• IBM DB2 / UDB 9.7以降
• Amazon Redshift
• IBM Netezza 7.0以降
• ODBC レベル3準拠
• JDBC 3.0準拠
• Sybase ASE 15.0以降
• Sybase IQ 15.0以降
• Teradata TD14以降
• Vertica 7.1以降
• NoSQLデータベース（Apache Cassandra / Apache Hbase / MongoDB）
• Greenplum 4.2以降
• My SQL 5.1.73以降
• Microsoft Access 2010以降
• Microsoft Excel 2010以降

• 注3
  データベーステーブルにアクセスするためには、適切なデータベースクライアントソフトウェアを導入する必要があります。動作OSによって連携可能なデータベースが異なります。動作OS毎の対応データベースについては、ご紹介資料でご確認ください。

クラウド連携

パブリッククラウドに構築されたシステムとのデータ入出力ができます。

• Salesforce.com
• Amazon S3
• Googleクラウドストレージ

対応ファイル形式

様々な形式のファイル入出力が可能です。

• CSV
• 固定長
• 可変長
• XML
• メイフレーム形式
• JSON（入力のみ）
• QlikView（QVX）形式（出力のみ）
• Tableau（TDE）形式（出力のみ）

DMExpress GUI

ツリー形式の画面で、入出力データの設定など、必要な情報を入力するだけで容易にタスク（データ処理の最小単位）を作成できます。

作成したタスクをジョブエディタに呼び出すことで、タスク同士が自動的に連携します。

様々な設計支援機能を利用することにより、さらに効率的でかつ高品質な開発作業を行うことができます。

• CSVからのメタデータ読み込み
  CSVから項目の情報を自動で展開することができます。

• 影響分析
  タスクの設定を変更した場合の影響範囲を視覚的に確認し、影響範囲から 修正範囲の特定ができます。

• グローバル検索
  ジョブ/タスク内のある文字列を検索し、指定した範囲内で変更対象が 含まれる箇所を特定できます。

• 差異レポート
  2つのジョブまたはタスクの差異を確認できます。

• 定義情報出力
  処理内容を出力して保存することができます。タスク、ジョブの内容はHTMLで出力することもできます。また、フローはエディタから印刷できます。

ジョブレポートをHTMLで保存

ジョブフローをエディタから印刷

データ収集・統合

ファイル転送

ファイル転送により、データの収集・配付ができます。FTP+、HICS、HULFT、SAN、HTTP、HTTPSの各プロトコルに対応します。（注4）

• 注4
  • FTP+プロトコルを使用する場合、相手システムにInterstage Information Integrator エージェント、もしくは以下の商品を導入することで実現できます。
    • Linkexpress Enterprise Edition V5
    • Linkexpress Standard Edition V5
    • Linkexpress File Transfer V10L10（グローバルサーバ）
  • HTTP、HTTPSプロトコルを使用する場合、相手システムに以下のいずれかの商品が必要です。
    • Linkexpress Enterprise Edition V5
  • HICSプロトコルを使用する場合、自システムに通信制御サービス、相手システムにLinkexpress File Transfer、HICSの導入が必要です。
  • SAN連携を使用する場合、自システムにETERNUS SF XL / DATA MV、相手システムにETERNUS SF XL/DATA MV、Linkexpressの導入が必要です。
  • HULFT連携を行う場合は、自システム、相手システムにHULFTの導入が必要です。

高速ファイル転送

WAN帯域を最大限利用することにより、遠隔地でのデータ収集を高速に行うことができます。帯域100MbpsでのFTPとの転送速度比は従来の5倍から14倍（当社調べ）です。

データベース連携

データベースからの全件抽出、条件抽出、データベースへのデータ置換、追加、更新ができます。（注5）

• Symfoware Server Enterprise Extended Edition V11
• Symfoware Server Enterprise Edition V11 / V12
• Symfoware Server Standard Edition V11 / V12
• Oracle Database 10g Enterprise Edition R10.2.0 / R10.1.0
• Oracle Database 10g Standard Edition R10.2.0 / R10.1.0
• Oracle 10g Standard Edition R10.2.0 / R10.1.0
• Oracle Database 11g Enterprise Edition R11.2.0 / R11.1.0
• Oracle Database 11g Standard Edition R11.2.0 / R11.1.0
• Oracle Database 11g Standard Edition One R11.2.0 / R11.1.0
• Oracle Database 12c Enterprise Edition R12.2.0 / R12.1.0
• Oracle Database 12c Standard Edition R12.2.0 / R12.1.0
• Oracle Database 12c Standard Edition 2 R12.2.0 / R12.1.0
• Microsoft SQL Server Standard Edition 2005以降
• Microsoft SQL Server Enterprise Edition 2005以降
• IBM DB2 Enterprise Server Edition 9.7
• IBM DB2 Workgroup Server Edition 9.7
• IBM DB2 Express Edition 9.7
• PostgreSQL 8.1（8.1.11以降）
• Microsoft Excel 2010 / 2013

• 注5
  データベーステーブルにアクセスするためには、適切なデータベースクライアントソフトウェアを実装する必要があります。

ジョブ起動

データ配付後にジョブを起動し、ジョブの処理結果を受け取ることができます。

EDIアダプター連携

ACMS EDI-BASE（流通BMSの通信プロトコルをサポートした製品）と連携できます。

クラウド連携

クラウド連携アダプターにより、オンプレミス（注6）の業務とパブリック・クラウド間で業務データのアップロード・ダウンロードができます。（注7）

• 注6
  自社管理下に設置され、運用されるシステム形態です。
• 注7
  Salesforce.com、FUJITSU Cloud Service for Microsoft Azure、Microsoft Azureをサポートしています。

帳票連携

帳票連携アダプターにより、Interstage List Creatorと連携して、帳票が出力できます。帳票出力結果も確認できます。

文字コード変換

EBCDIC、SJIS、EUC、JEF、Unicodeの相互変換、およびIBM日本語文字セット（注8）

• 注8
  IBM日本語文字セットは、変換元からの文字コード変換のみサポートします。

転送アクセラレーター

特性が異なる複数の高速転送プロトコルやデータ最適化機能を組み合わせ、様々な環境に柔軟に対応して最大限の高速化を行うことができます。
ソフトウェアでWAN高速化を実現しているため、クラウド環境に簡単に適用できます。新たな機器を設置することなく既存のサーバに導入でき、また一部の業務から段階的・手軽に適用範囲を広げられます。

ネットワーク通信の課題と対応する機能（目安）

Interstage Information Integratorは、海外を含む遠隔地へのファイル転送や、データセンターにある­ファイルサーバへのアクセスなど、WAN経由の大容量データ送受信を高速化するソフト­ウェアです。Interstage Information Integratorの概要について簡単にご紹介します。

高速転送プロトコル

TCP / IPインターフェースのアプリケーション間のプロキシとして利用することにより、富士通独自のRPS技術とUNAP技術を駆使したUDP（注9）通信で通信距離・回線品質による遅延を解消し、データ転送を高速化できます。ネットワーク特性とアプリケーション特性を計測し、最良の性能を発揮するプロトコルを高速に推定し使用するプロトコルを自動選択します。また、転送アクセラレーターのクライアント機能により、Windows PCおよびスマートデバイスのアプリケーションとInterstage Information Integrator Standard Editionを導入したサーバのアプリケーションとの間で高速な通信ができます。

• RPS（データ消失訂正技術）
  送信中に消失したパケットは、受信側で自動復元が可能なため、回線品質が悪いエリアでの再送処理を抑止し、確実なデータ転送を実現します。特許公開済（2015年9月現在）
• UNAP（高速軽量な遅延改善プロトコル）
  消失したパケットを高速に識別し、不要な再送を抑止することで、高速・大量データ転送ができます。加えて、低CPU負荷により、スマートデバイスでも利用できます。特許出願済（2015年9月現在）
• R-TSP（通信最適化）
  ネットワーク特性とアプリケーション特性を計測し、環境に応じた最良の性能を発揮する通信方式（TCP / RPS / UNAP）を自動選択します。特許出願済（2015年9月現在）
• 帯域制御
  定期的に通信回線の状態を確認し動的に帯域制限を行います。この機能により、他の通信業務への影響を最小限に抑えつつ効率的に回線を活用できます。

• 注9
  User Datagram Protocolの略で、エラー訂正機能を持たないためTCPよりも信頼性に劣るが高速に転送できる利点があります。

データ最適化 （注10）

差分データのみの転送や圧縮により既存帯域を有効に活用し、狭い帯域でもデータ転送速度を高速化できます。

• 重複除去
  一度送信したデータを送信側と受信側の双方で保存しておき、二度目からは同じデータを送らない技術により転送データ量を削減します。
• データ圧縮
  一般的な圧縮技術よりCPU負荷が軽いデータ圧縮技術により、転送データ量を削減します。

• 注10
  Interstage Information Integrator Enterprise Editionでは、Linux用製品およびWindows用製品でサポートします。

導入・運用の容易性 （注11）

• 透過プロキシ
  通信の接続先を変更できないアプリケーション（例：PDM / PLMソフトウェア、バックアップソフトウェア）にも転送アクセラレーターを適用できるため通信を高速化できます。
• 異常時バイパス
  クライアントとサーバの間の通信で異常が続く場合、転送アクセラレーターを経由しないで通信を行います。これにより、転送アクセラレーターのサーバに異常があっても業務を続行できます。

• 注11
  Interstage Information Integrator Enterprise Editionでは、Linux用製品およびWindows用製品でサポートします。

機能一覧表

表中記号の意味は以下のとおりです。なお、OSにより利用できる機能が若干異なります。
レ：機能有り、N/A：機能無し

• 注12
  エージェント機能を使用する場合、自システムまたは連携先システムのいずれかにInterstage Information Integratorを導入し、他方にエージェントを導入する必要があります。エージェントだけを使用することはできません。
• 注13
  転送アクセラレーター機能を使用する場合、自システムと連携先システムの両方にInterstage Information Integratorを導入するか、または、自システムまたは連携先システムのいずれかにInterstage Information Integratorを導入し、他方にクライアントを導入する必要があります。クライアント間での通信はできません。
• 注14
  Interstage Information Integrator Enterprise Editionでは、Linux用製品およびWindows用製品でサポートします。
• 注15
  高速ファイル転送機能を使用する場合、自システムと連携先システムの両方にInterstage Information Integratorを導入する必要があります。

製品体系

Interstage Information Integrator Enterprise Edition	Interstage Information Integrator Standard Editionの機能に加え、高速データ加工処理エンジン（Syncsort社のDMExpress）を搭載し、富士通独自の高速データ転送、高信頼なファイル転送技術を組み合わせて、データの収集、加工処理に要する時間を大幅に削減できる、高性能・高信頼なデータ収集・統合ソフトウェアです。
Interstage Information Integrator Standard Edition	多様なデータを収集、統合し、必要なときに必要な形で利用者に配付するデータ収集・統合ソフトウェアです。 また、エンタープライズ・サービスバスInterstage Service Integratorとの連携をノンプログラミングで実現します。さらに、Interstage Information Integrator エージェントを導入した連携先も含めて、定義作成、監視ができます。
Interstage Information Integrator エージェント	Interstage Information Integrator Standard Edition と併用し、連携先の業務システムに導入することで、連携先の業務システムにおけるデータの収集、配付処理を支援し、アプリケーション作成コストを削減します。