GTM-MML4VXJ
Skip to main content

データ加工ツール
FUJITSU Software Interstage Data Effector
機能

機能説明

基本的なデータ操作

各機能を実現するインターフェースとして、「コマンド」「C API」があります。

データの抽出

入力ファイルのデータから、条件に一致するデータを抽出し、結果をファイルに出力します。大きくは以下3つの機能があります。

  • 一括仕分け
    1回の抽出処理で、複数の異なる条件を指定し、結果を別々のファイルに出力します。検索式と出力ファイルを複数指定するだけで、一括仕分け(注1)できます。
  • 文字列検索によるデータの抽出
    文字列検索、ワード検索、数値検索、論理演算検索により目的とするデータの抽出条件にあった検索式を指定することで、柔軟なデータ抽出ができます。
  • 出力項目の指定
    必要な項目だけを指定して、出力することもできます。

データの抽出

(注1) 一括仕分けは、一度に30まで可能です。

データの連結

入力ファイルと他のファイルを連結条件に合わせて結合・編集し、結果をファイルに出力します。たとえば、日々の業務で発生するデータが格納されたファイルと、顧客マスタまたは商品マスタなどのマスタファイルを連結できます。また、一度に複数のマスタファイルを連結することもできます。
連結時に、以下の機能が有効です。

  • 複数ファイルの項目間の連結
  • 繰返し項目を含むXML文書の連結
  • XML形式のデータのCSV変換
  • 連結する項目間の算術演算
  • データ形式の変換
    • CSV形式のデータをXML形式に変換
    • XML形式のデータをCSV形式に変換
    • CSV形式/XML形式のデータを自由な形式に変換

また、結合方法には、以下の3つがあります。

  • INNER JOIN方式:入力ジャーナルファイルのデータが、入力マスタファイルに存在しない場合、そのデータを出力しない。
  • LEFT OUTER JOIN方式 : 入力ジャーナルファイルのデータが、入力マスタファイルに存在しない場合、そのデータは空で出力する。
  • FULL OUTER JOIN方式 : 入力ジャーナルファイルのデータが、入力マスタファイルに存在しない場合、または、入力マスタファイルのデータが入力ジャーナルファイルに存在しない場合、そのデータは空で出力する。

データの連結

データの集計

入力ファイルのデータを任意のグループごとに集計し、結果をファイルに出力します。一時ファイルを使用することで、実装メモリが少ない場合でも大量データを集計できます。

集計時に、以下の機能が有効です。

  • 多種類の集計処理(sum関数、avg関数など)
  • 階層的なグループ化と各階層における集計処理(小計、総計など)
  • 集計する項目間の算術演算

データの集計

データのソート

入力ファイルのデータを任意の項目ごとにソートし、結果をファイルに出力します。形式(項目数および項目順)の異なるファイルもソートできます。また、実装メモリが少ない場合でも大量データをソートできます。

ソート時に、以下の機能が有効です。

  • ソート結果に対する集計処理(sum関数、avg関数など)
  • ソートする項目間の算術演算

データのソート

データ加工機能

仮想項目機能

入出力データの値を、条件に基づいて別の値に変換できます。
入出力ファイル中の実データを一時的に別の値に置き換える場合や、流動的な値を使ってデータ処理を行う場合に、仮想項目機能を利用すると非常に便利です。また、文字の実データを仮想項目の数値データに変換すると、集計やソート処理が簡単にできます。さらに、処理結果の実データに対して付加情報をつけたい場合にも、利用できます。

仮想項目機能

XML形式データの属性値サポート

XML形式データの属性値に対して、以下の処理ができます。

  • 属性値でデータを連結
  • 属性値でデータを集計
  • 属性値でデータをソート

文字列関数

文字列に対して、以下の処理ができます。これにより、指定した位置からの部分文字列の取出しや、文字列同士を結合することができます。

  • データの後方空白削除
  • 文字列の部分取出し
  • 標準形式の文字列に変換
  • 文字列と文字列を結合
  • 文字数/文字のバイト数の取出し

文字列関数

日時関数

様々な形式の日時データを処理する関数です。本関数では標準形式を定めて、この形式を基準に日時データに対して、以下の処理ができます。

  • 標準形式への変換
  • 日時データ同士の大小比較と取出し
  • 日時データの加算・差分
  • 半期、四半期などの単位での丸め・切捨て
  • 月末日、最古/最新の日時データの取り出し

フォーマット関数

日時データや数値データを指定した形式の文字列に変換します。

採番関数

出力データに対して、指定した開始番号の値から一意性のある番号を付加できます。

変換関数

文字列の表現形式を変換する関数を提供します。

  • CSVテキスト表現形式に変換(エスケープ文字の変換)
  • XMLテキスト表現形式に変換(実体参照文字列の変換)

ユーザー定義関数

外部のC言語プログラムを、Data Effectorの処理の中から呼び出します。

入出力ファイル

入力ファイル形式の拡張

CSV、XML形式に加えて、水平タブや半角空白を区切り文字とする形式のファイルを処理対象とします。

入力ファイルのエラー処理

入力ファイル中に不当なデータがあった場合、不当なデータをファイルに出力して、処理を継続することができます。本機能は、カンマ区切り、水平タブ区切りまたは半角空白区切り形式のファイルで有効です。

入力ファイルの見出し行の読み飛ばし

入力データの見出し行の読み飛ばしができます。

入力ファイルのフォルダ指定

複数の入力ファイルを1つのフォルダに格納し、そのフォルダ名を指定するだけで、入力対象とすることができます。任意の名前でファイル名が自動生成される場合など、入力ファイル名の定義を変更する手間がなくなります。

入力ファイルの並列処理

大量のファイルを入力した場合、ファイルが同時に読み込まれ、並列に処理されます。ファイルを複数のディスクに分散し、読み込み処理のディスクI/O負荷を分散することで、並列効果を最大限に発揮できるため、高速化が可能です。また、ファイルごとの読み込み、抽出、書き込みなどの処理も並列化することで、さらにCPUを効率よく使用できます。

入力ファイルの並列処理

入出力ファイルの名前付きパイプ

Interstage Data Effectorのコマンド間やプログラムとのデータのやり取りに名前付きパイプ(注1)を使用できます。
例えば、複数条件一括仕分け時に利用すると、中間ファイルを使用せずに高速に処理できます。

(注1) 一括仕分けは、一度に30まで可能です。

出力形式の自由化

CSV形式またはXML形式の入力データに対して、任意の形式でのデータ出力が可能となります。たとえば、JSON形式やHTML形式など、加工後の活用方法に合わせたさまざまな形式へ変換できます。これにより、結果データの活用範囲が広がります。

出力形式の自由化

出力ファイルのCSVの二重引用符制御

CSV出力時に、二重引用符の付加を制御できます。

出力ファイルの見出し行とデータ行の分離

処理の結果を「見出し行」と「データ行」に分けて別ファイルに出力できます。

コマンド操作

実行パラメタの動的変更(可変項目)

変動するパラメタを定義ファイル内に定義できます。

統合コマンド

基本的な4コマンド(抽出、連結、集計、ソート)の機能を統括的に制御できます。

本製品に関するお問い合わせ

Webでのお問い合わせ

入力フォームはこちらから

当社はセキュリティ保護の観点からSSL技術を使用しております。

お電話でのお問い合わせ

富士通コンタクトライン(総合窓口)0120-933-200

受付時間 9時~17時30分
(土曜・日曜・祝日・当社指定の休業日を除く)