データ加工ツールFUJITSU Software Interstage Data Effector
機能 － 独自技術搭載による高速なデータ加工 －

重要なお知らせ

• 本製品は、2023年3月31日（金曜日）をもって販売を終了しました。
  Linux向けの後継製品としてFujitsu Software Big Data Integration Serverをご用意しております。

Interstage Data Effectorは、データ加工条件が複雑な場合でも高速に処理ができ、集計・ソート処理はもちろん、複数のマスターデータとの連結、複数条件に対応した抽出/仕分け処理も、中間ファイルを使わずにそれぞれ1回の処理で実現できます。大量データの中から目的の情報を素早く取り出せるため、状況の変化に応じたスピーディーな業務が実現します。

• 最新バージョンの機能強化ポイント

独自技術搭載による高速なデータ加工

膨大な遺伝子情報の中から特定のパターンを探し出す検索技術「高速パターンマッチング技術」やインターネット環境などにおいて不特定多数の検索要求を一体化して処理する検索技術「ハイトラフィック技術」といった当社独自技術を搭載し、データの抽出・連結・加工・ソートを高速化しています。各機能を実現するインターフェイスは「コマンド」と「C API」を提供しています。

データの抽出

入力ファイルのデータから、条件に一致するデータを抽出し、結果をファイルに出力します。大きくは以下3つの機能があります。

• 一括仕分け
  1回の抽出処理で、複数の異なる条件を指定し、結果を別々のファイルに出力します。検索式と出力ファイルを複数指定するだけで、一括仕分けできます。
• 文字列検索によるデータの抽出
  文字列検索、ワード検索、数値検索、論理演算検索により目的とするデータの抽出条件にあった検索式を指定することで、柔軟なデータ抽出ができます。
• 出力項目の指定
  必要な項目だけを指定して、出力することもできます。

データの連結

入力ファイルと他のファイルを連結条件に合わせて結合・編集し、結果をファイルに出力します。たとえば、日々の業務で発生するデータが格納されたファイルと、顧客マスターまたは商品マスターなどのマスターファイルを連結できます。また、一度に複数のマスターファイルを連結することもできます。
連結時に、以下の機能が有効です。

• 複数ファイルの項目間の連結
• 繰返し項目を含むXML文書の連結
• XML形式のデータのCSV変換
• 連結する項目間の算術演算
• データ形式の変換
  • CSV形式のデータをXML形式に変換
  • XML形式のデータをCSV形式に変換
  • CSV形式/XML形式のデータを自由な形式に変換

また、結合方法には、以下の3つがあります。

• INNER JOIN方式：入力ジャーナルファイルのデータが、入力マスターファイルに存在しない場合、そのデータを出力しない。
• LEFT OUTER JOIN方式：入力ジャーナルファイルのデータが、入力マスターファイルに存在しない場合、そのデータは空で出力する。
• FULL OUTER JOIN方式：入力ジャーナルファイルのデータが、入力マスターファイルに存在しない場合、または、入力マスターファイルのデータが入力ジャーナルファイルに存在しない場合、そのデータは空で出力する。

データの集計

入力ファイルのデータを任意のグループごとに集計し、結果をファイルに出力します。一時ファイルを使用することで、実装メモリーが少ない場合でも大量データを集計できます。

集計時に、以下の機能が有効です。

• 多種類の集計処理（sum関数、avg関数など）
• 階層的なグループ化と各階層における集計処理（小計、総計など）
• 集計する項目間の算術演算

データのソート

入力ファイルのデータを任意の項目ごとにソートし、結果をファイルに出力します。形式（項目数および項目順）の異なるファイルもソートできます。また、実装メモリーが少ない場合でも大量データをソートできます。

ソート時に、以下の機能が有効です。

• ソート結果に対する集計処理（sum関数、avg関数など）
• ソートする項目間の算術演算