GTM-MML4VXJ
Skip to main content
  1. ホーム >
  2. 製品 >
  3. ソフトウェア >
  4. ライブラリー >
  5. 特集 >
  6. バッチ処理の性能・コスト課題を解消する新たな選択肢

Special Interview

富士通の並列分散処理ソリューションを野村総合研究所が検証!バッチ処理の性能・コスト課題を解消する新たな選択肢

企業の業務をバックエンドで支えるバッチ処理。ビジネススピードが加速し、データが増大するなか、いかにその処理性能を高めるかという問題に頭を悩ませる企業も多い。富士通では、COBOLで開発された既存のアプリケーション資産を活用し、「Apache Hadoop」を用いたスケールアウト型の並列分散処理によってバッチ実行を高速化するソリューションを提供。SI及び各種ITビジネスの展開で知られる野村総合研究所にあって、Hadoopをはじめとする数々の先端技術評価に携わり、実際に富士通のソリューションの評価にあたった同社 情報技術本部の西片公一氏に訊いた。

[2014年3月20日掲載]


株式会社野村総合研究所 情報技術本部 先端ITイノベーション部 上席テクニカルエンジニア 西片 公一 氏の写真

株式会社野村総合研究所
情報技術本部 先端ITイノベーション部 上席テクニカルエンジニア
西片 公一 氏

野村総合研究所において、証券業務のトレーディング、DSS(Decision Support System:意思決定支援システム)関連の先端技術を使ったシステム開発業務に従事。その後、証券、インターネット系システムの方式、ネットワーク設計などの基盤系業務に携わる。2000年より、研究開発部門にて新技術の評価、適用、およびWeb系システム基盤開発に従事。近年は、セキュリティ、リッチクライアント、XTP、Hadoop関連技術、クラウド、NoSQL関連技術を手掛けている。

ビジネススピードに追随すべく、バッチ処理の性能向上が課題

各種業務システムに蓄積されたデータの仕分けや集計、各種伝票の作成や印刷などを行うバッチ処理。Webアプリケーションなどフロントのオンライン処理に比べ、どちらかというと裏方的なイメージだが、ITシステムの領域で企業のビジネスの根幹を支えているという観点では、フロントの処理と同様に重要な位置づけを担っていることに変わりはない。これに関し、野村総合研究所(以下、NRI)の西片公一氏は今日の企業システムにおけるバッチ処理をめぐる状況について次のように指摘する。

「企業システムの基盤アーキテクチャがホストからクライアントサーバ、Web3階層、さらにはクラウドへと移り変わっています。そのなかで、オンライン系の処理をシステム拡張するアプローチもサーバのCPUやメモリなどのハードウェアを高性能なものにして処理性能を上げる『スケールアップ』という手法から、複数のサーバに処理を分散して全体としての性能を稼ぐ『スケールアウト』へと変化してきました。これに対しバッチ系の処理は、ホスト時代から今日に至るまで基本的には変わることなく、スケールアップを前提としたものとなっています。言うまでもなく、近年、業務システムで扱われるデータ量が爆発的に増え続けてきているという状況を考えれば、バッチ処理の高速化は企業にとって急務です。しかし、サーバの置き換えなどが前提となるスケールアップによる対応では、多大な時間とコストが必要となり、スピードが求められる企業の経営上の要請に応えることが困難だというのが実情でしょう」(西片氏)

こうした企業のバッチ処理にかかわる状況を変革するものとして、最近、大きな注目を集めているのが並列分散処理のためのオープンソースソフトウェア(以下、OSS)である「Apache Hadoop」だ。

「Hadoop自体、もともとはデータウェアハウスやBI(Business Intelligence)系のデータ処理を中心に活用されてきましたが、昨今では一般的なバッチ処理の用途に向けて機能拡張を施した製品が提供されています。企業における大量データによるバッチ処理の高速化に貢献するものとして、いま改めて注目が寄せられています」(西片氏)

国産ベンダーの一貫したサポートがユーザーにとっての大きな安心感に

富士通が「FUJITSU Software NetCOBOL V10.5」およびApache Hadoopを実装した「FUJITSU Software Interstage Big Data Parallel Processing Server V1.0」の両製品の組み合わせによって提供しているソリューションは、まさにそうしたHadoopをベースにして、今日の企業が抱えるバッチ処理をめぐる課題を解消するものである。

西片氏は「NetCOBOLは、同製品だけでなく他社製のCOBOL処理系で開発した既存のバッチアプリケーションのソースを改修することなく、再コンパイルによって、Hadoop環境に適用することができます。NRIでも、実際に他社製のCOBOLで開発したアプリケーションを使って、その事実を検証できました」と話す。

NetCOBOLによる Hadoop連携の概要図
COBOLとHadoopのフレームワークであるMapReduceのデータ形式の違いを、独自のデータ変換機能により吸収することで、COBOLのデータをMapReduceの入出力データとして利用することができるようになっている。

またInterstage Big Data Parallel Processing Serverは、HadoopのためのファイルシステムであるHDFSに代わる富士通独自の分散ファイルシステムを搭載することで、データ処理にかかわる性能および信頼性の大幅な向上を実現するミドルウェアである。Hadoopでのデータ処理に際してストレージシステムに格納したデータに直接アクセスし、処理できる仕組みを提供することで処理性能の向上を図っている。また、クラスタ技術を用いたマスタサーバの二重化運用でHadoopのジョブ実行管理における単一障害点の問題を解消。信頼性の向上を実現している。

「より大規模な並列処理を行うというスケーラビリティの観点では実績面で分のあるHDFSという選択になりそうですが、基幹業務など、より高い信頼性、堅牢性が要求される局面におけるInterstage Big Data Parallel Processing Serverのアドバンテージは非常に大きいものと思います」(西片氏)

HDFSの高可用性・性能対策の図
独自の分散ファイルシステムの採用によって、HDFSの可用性、性能の向上を図る。

これらNetCOBOLInterstage Big Data Parallel Processing Serverの組み合わせが、マスタデータとトランザクションログなど、複数ファイルを入力してソート・マージ処理し、複数のファイルを出力するといったかたちのバッチアプリケーションにおいてとりわけ大きな強みを発揮する。例えば、某小売大手向けシステムのPOC(概念実証)では、Hadoop15多重で現行基幹サーバの8.5倍の高速化を実現している。

「こうしたソリューションは、今日のバッチ処理をめぐる課題をスケールアウト化の実現により解消するという新たな道を拓いているといえます。その性能、信頼性の面でのメリットに加え、データ量の増加に応じて安価なサーバを追加し、随時バッチシステムの強化を図っていけるので、ユーザーはスケーラビリティ、そしてコスト面でのメリットもあわせて得ることができるようになります」(西片氏)

スケールアップ型とスケールアウト型のコストシミュレーションの図
スケールアップ型では基盤更改に多額のコストが発生するが、スケールアウト型では安価なコストで大幅な性能向上が可能。ただしソフトウエアライセンス費用は別途考慮する必要がある。

さらに西片氏は「何よりも、国産ベンダーである富士通による一貫したサポートが得られる点は、国内のユーザーにとって心強い材料となるはずです」と強調。「ただし、NetCOBOLによって既存バッチアプリケーションのHadoop対応を行った際には、従来の環境で必要だった事前のファイルソート処理がHadoopの内部処理であるShuffle & Sortに移行することから、JCL()等、バッチジョブとしての修正が必要になりますので、その点には留意すべきです。」と付け加える。

 (注)JCL(Job Control Language):ジョブ制御言語とは、メインフレームコンピュータで使われるジョブ制御用のスクリプト言語である。処理系によりJCS(Job Control Statement)、EXEC制御文とも呼ぶ。

コンサル、SIなどのITサービスに組み込んでの提供も見据える

NetCOBOLInterstage Big Data Parallel Processing Serverに対する評価を踏まえ、NRIでは、同社が今後実施するシステムコンサルティングやSIなどにおいて、システム要件への適合性を考慮した上で富士通の両製品を積極的に適用していくことを考えている。

「特に、時間とともにCOBOL技術者が減少しており、COBOL資産の大規模改修は難しくなってきています。一方で、既存COBOL資産をそのまま活用したいという企業が多いのも事実です。富士通のソリューションは広範な企業からの引き合いが期待できるものといえるでしょう。なかでも、流通業における店舗ごとや商品ごとの売上集計を行うといった処理や、金融業のバックエンドで行われる資金決済処理などには高い適合性があるものと考えます。そうした分野を中心に過去のバッチ資産を重視するお客様に対し、システムの更改実施のタイミングにおいて、有力な選択肢としてこのソリューションを提案していけるものと思います。富士通には、HDFSに格納されたデータの利活用が自在に行えるようなツールの提供やソリューションにおけるOSSのさらなるサポートなど、持ち前の高度な技術力とノウハウを生かした対応を今後も大いに期待しています」(西片氏)

バッチ処理の新たな可能性を拓くものとして、NetCOBOLInterstage Big Data Parallel Processing Serverを活用したソリューションには、今後、要注目である。

本記事の内容は、「ITpro Special」に掲載(掲載期間:2014年2月4日~3月3日)された内容より抜粋したものです。2014年2月4日時点の情報のため、その後予告なしに変更されることがあります。あらかじめご了承ください。

ご紹介した製品

  • オープンプラットフォームCOBOL開発環境 : NetCOBOL

本コンテンツに関するお問い合わせ

Webでのお問い合わせ

入力フォームはこちらから

当社はセキュリティ保護の観点からSSL技術を使用しております。

お電話でのお問い合わせ

富士通コンタクトライン(総合窓口)0120-933-200

受付時間 9時~17時30分
(土曜・日曜・祝日・当社指定の休業日を除く)