GTM-MML4VXJ
Skip to main content
  1. ホーム >
  2. 製品 >
  3. ソフトウェア >
  4. ライブラリー >
  5. 特集 >
  6. ビッグデータ活用を支える富士通のソフトウェア - 第4回 富士通のバッチ処理高速化ソフトウェア

ビッグデータ活用を支える富士通のソフトウェア
第4回 富士通のバッチ処理高速化ソフトウェア
基幹システムのプロセスを革新し、ビジネスの変革を支える
「NetCOBOL」「Interstage Data Effector」

ビッグデータ活用を支える富士通のソフトウェア 第4回 富士通のバッチ処理高速化ソフトウェア 基幹システムのプロセスを革新し、ビジネスの変革を支える「NetCOBOL」「Interstage Data Effector」

データ量の増大、ビジネスの複雑化などにともない、多くの企業がバッチ処理に関する課題を抱えています。バッチ処理の長時間化によるオンライン業務への影響や、開発・拡張の難しさ、あるいは既存資産の活用などの課題です。しかし、最近ではこのバッチ処理にビッグデータ技術を適用し、処理時間を短縮、ビジネスの変革に繋げることに注目が集まっています。
当社では、最新のビッグデータ技術である「Apache Hadoop」を適用し、バッチ処理を高速化するためのソフトウェアを提供しています。今回は、COBOL開発環境である「NetCOBOL」とデータ加工ソフトウェア「Interstage Data Effector」によるバッチ処理高速化の特長、効果とそれらを支える技術について紹介します。

 [2012年12月7日掲載]

ビッグデータ技術を生かしてバッチ処理を高速化

膨大なデータを処理することで新たな価値を創出するビッグデータの利活用。企業や社会から生み出される膨大なデータを処理するために、注目されているのが「Apache Hadoop」です。この「Apache Hadoop」を効果的に、さらに企業で安心して利用するために、当社では並列分散処理ソフトウェア「Interstage Big Data Parallel Processing Server」を提供しています。「Interstage Big Data Parallel Processing Server」については第1回で詳しく説明しました。
今回は、「Apache Hadoop」と組み合わせることでバッチ処理の高速化を実現するソフトウェア「NetCOBOL」と「Interstage Data Effector」を紹介します。これら2つのソフトウェアは、「Interstage Big Data Parallel Processing Server」をプラットフォームとして組み合わせることで、さらなるバッチ処理の高速化や開発効率化を実現することができます。

今回ご紹介する製品は、当社が提供するオンプレミス型ビッグデータ活用ソフトウェア製品の中で、ビッグデータ利活用を支援する「業種・業務ソリューション」に位置付けられるソフトウェアです。

FUJITSU’s Middlware Newsのご案内

既存のCOBOL資産を活用してバッチ処理を高速化する「NetCOBOL」

NetCOBOL」は、WindowsやLinux、.NET Frameworkなどの各種プラットフォームや、当社のパブリッククラウドサービス「FGCP/S5」などのクラウドにも対応した、オープンプラットフォームのCOBOL開発環境であり、お客様のCOBOL資産の長期安定稼働を実現します。2012年12月に発表された「NetCOBOL」最新版では、新たに Hadoopへ対応しました。これにより、既存のCOBOL資産をHadoopに適用し、バッチ処理時間を短縮することが可能となりました。

  • 既存の資産を活用
    NetCOBOL」では、READ/WRITE文による従来通りのファイルアクセスをサポートし、突き合わせ処理など複数ファイルの入出力も可能となっています。
    Hadoop上でも新規アプリケーション開発は不要です。Hadoop適用のために必要だったJavaによるMapReduceプログラミングは必要ありません。また、COBOLとHadoopとで異なるデータ形式をCOBOLランタイムが自動的に変換する独自機能を搭載しているため、既に稼働実績のあるCOBOLバッチ業務アプリと、COBOLのデータをそのまま使用可能です。

既存のCOBOL業務アプリケーションとデータをそのまま活用の説明図

  • バッチ処理を大幅に高速化
    こうした移行性の確保に加え、「NetCOBOL」では、パイプライン処理とバッファリング処理を組み合わせることにより、ファイル入出力の処理時間を短縮します。
    さらに、「Interstage Big Data Parallel Processing ServerV1.0.1」を組み合わせることにより、より一層の高速化を図ることが可能です。

当社で検証したところ、COBOLバッチのHadoop適用効果として、トランザクションデータをマスタデータと突き合わせて集計する処理の場合、従来のバッチアプリで150分かかっていたものを、「Interstage Big Data Parallel Processing Server」を16多重で処理することにより8分に処理時間を短縮することができました。

バッチ処理の並列処理による効果実測例の図

【図2:実績ある既存のCOBOL業務アプリケーションとデータをそのまま活用】

性能向上と容易なプログラム開発を可能とする「Interstage Data Effector」

Interstage Data Effector」は、CSV/XMLを高速・簡単に仕分け・結合・集計するためのデータ加工ソフトウェアです。富士通独自の技術により、従来、データの結合処理のために一般的に利用されてきたJavaアプリケーションの10倍という高速化を実現する、データ量に応じたリニアな超高速データ加工が特長です。これにより、大量データの中から目的の情報を素早く取り出し、状況の変化に応じたスピーディーな業務を支援します。
Interstage Data Effector」を利用すれば、Hadoopを適用したバッチ処理アプリケーションも、容易かつ低コストで開発できます。

Interstage Data Effector」の特長は主に3つです。

  • プログラミングレスによる容易な開発
    Interstage Data Effector」を利用することで、プログラム開発コストを大幅に削減することができます。「Interstage Data Effector」は、業務要件に応じた条件をファイル化し、コマンドにパラメーターを指定して実行するだけで、簡単にデータを加工できます。抽出、連結、集計、ソートなどの処理についてのプログラム開発が不要になるので、開発コストを大幅に削減することができます。
  • CSV/XMLフォーマットに対応
    CSVやXMLといった、並びや長さの異なる不揃いなデータを、そのまま利用することができます。データの形式揃えやテーブル定義などの事前作業は不要で、運用後のデータ変化やニーズ変化にともなう仕様変更にも素早く対応できます。
  • データ量に応じたリニアな超高速データ加工
    従来のバッチ処理では、「ソート+結合」処理の繰り返しと多種類のマスタデータとの結合処理が必要となっていました。「Interstage Data Effector」は、九州大学 竹田正幸教授(システム情報科学研究院)と富士通研究所の研究成果による文字列照合エンジンを搭載しており、CSVやXMLの様に可変長で多様な形式のデータを1度の読み込み処理で高速に加工します。当社独自の高速パターンマッチング技術やハイトラフィック技術の搭載により、ソート不要で、複数マスタを一括結合し、ストリーム的に結合結果を出力することができます。目的に合ったデータ抽出が1コマンドで処理できるため、データを効率的に早く取り出すことができます。

「Interstage Data Effector」の適用イメージ

高速化の効果は、当社で検証したところ、マスタデータとトランザクションデータをキー結合する処理の場合、従来のバッチアプリで15時間かかっていたものが、12多重の「Apache Hadoop」による並列化で90分に、さらに「Interstage Big Data Parallel Processing Server」に「Interstage Data Effector」を組み合わせることで15分に短縮することができました。これは実に60倍もの高速処理を実現したということになります。

「Interstage Data Effector」の適用効果の図

ビッグデータ技術を生かしたバッチ処理の高速化による
ビジネスプロセス革新とビジネス最適化

バッチ処理の高速化により、オンラインサービス時間の確保だけでなく、ビジネスプロセス革新とビジネスの最適化に繋げるためには、既存のバッチ資産の活用、もしくは容易な新規アプリケーション開発が欠かせません。もちろん、投資により期待される高速化の効果を上げることも必要となります。当社では、既存の資産を活かし、あるいは新規アプリケーション開発を容易とし、バッチ処理の高速化を実現するソフトウェア「NetCOBOL」「Interstage Data Effector」とHadoopを組み合わせることにより、これらの課題を解決いたします。

FUJITSU’s Middlware Newsのご案内

本コンテンツに関するお問い合わせ

Webでのお問い合わせ

入力フォームはこちらから

当社はセキュリティ保護の観点からSSL技術を使用しております。

お電話でのお問い合わせ

富士通コンタクトライン(総合窓口)0120-933-200

受付時間 9時~17時30分
(土曜・日曜・祝日・当社指定の休業日を除く)