東京大学素粒子物理国際研究センター
（ICEPP / International Center for Elementary Particle Physics）様

データ解析におけるスーパーコンピュータ活用の可能性をPRIMEHPC FX700で追求

東京大学の素粒子物理国際研究センター（ICEPP）は、素粒子や宇宙の謎の解明を目指す数々の国際共同プロジェクトに取り組んできました。現在はATLAS実験、MEG実験、ILC（国際リニアコライダー）計画を中心に研究を進めています。これらのプロジェクトで扱う大量のデータを解析するためにはコンピュータ環境の充実が欠かせません。特にATLAS実験のデータは膨大であるうえ、検出器などのアップグレードによってさらにデータ量が増える予定。これに備え、ICEPPでは計算機資源の拡充に努め、加えて将来、「富岳」をはじめとするスーパーコンピュータでの利用の可能性を広げるため、PRIMEHPC FX700を導入しました。現在、解析ソフトウェアの動作検証を実施中です。

導入システム概要

ハードウェア		FUJITSU Supercomputer PRIMEHPC FX700
ソフトウェア	OS	Red Hat Enterprise Linux 8
ソフトウェア	HPCミドルウェア	FUJITSU Software Compiler Package

課題と選択のポイント

課題

選択のポイント

課題ATLAS実験のデータ解析のため、大量の計算ができる計算機資源が必要。さらにデータが増える将来にも備えたい: 選択のポイント「富岳」と同系統のPRIMEHPC FX700で計算量に対応できる。今後、「富岳」、東京大学情報基盤センターのスーパーコンピュータなどの利用の可能性も開ける

課題従来、汎用CPUではインテル系のほかに選択肢がなかった。また、GPUを搭載したスーパーコンピュータは扱いが極めて困難で実用的ではない: 選択のポイント「富岳」やPRIMEHPC FX700に搭載されているA64FXは、使いやすさとパワーを兼ね備えた汎用CPUなので選択肢となり得る

素粒子の世界では新現象を発見し、標準モデルを書き換えることを目指して、世界中の研究者が邁進しています。そうした中で実験のデータ量、計算量は急激に増大しています。世界一のスーパーコンピュータ「富岳」と共通のCPUを搭載したPRIMEHPC FX700の導入はこれに対応するとともに、将来のコンピューティングを見すえた布石の一つでもあります。

東京大学素粒子物理国際研究センター（ICEPP）
教授田中純一氏

背景

膨大な計算を必要とするATLAS実験の解析

欧州合同原子核研究機構（CERN）は、スイスにある国際的な素粒子研究所です。ここでは地下100mに設置されたLHC（大型ハドロン衝突型加速器）によって陽子同士を衝突させる実験を行い、実験によって発生する粒子をATLAS検出器で測定しています。

これに基づいた研究を行うプロジェクト「ATLAS実験」には世界中の研究者約3,000名が参加、日本からも14の大学・研究機関、研究者・学生約150名がATLAS日本グループとして参加し、内、約35名がICEPPのメンバーです。

その一人である教授の田中純一氏は「ATLAS実験で私たちは、実験とシミュレーションから得たデータを解析することで、新しい現象の発見を目指しています」と語ります。

課題となっているのは膨大な計算量で、これまでに蓄積したデータ量は500ペタバイトにおよびます。これを世界中の研究機関が分担して管理し、ICEPPは10ペタバイトを扱っています。「2019年から2021年にかけてLHCやATLAS検出器のアップグレードを進めているところで、2022年からはデータ量が今の2、3倍になります。2027年からは高輝度LHCの稼働などによってデータ量はさらに増加、エクサバイトのデータ量が普通になってきます。ですから、理想としては現在の100倍くらいの規模の計算機資源を整備しておきたいところです」（田中氏）。

ICEPPは、ATLAS実験の計算センターであるATLAS地域解析センターを持ち、WLCG（世界LHC計算グリッド）に計算資源を提供しています（注1）。しかしそれでも増え続ける計算量を考えると十分とは言えません。

注1
ATLAS地域解析センターでは2007年から計算機システムを稼働し、ATLAS日本グループならICEPP以外のメンバーも利用可能。また、WLCGはATLAS実験などで生成された大量のデータを解析するため、世界中の解析センターが参加して形成したコンピューティンググリッドである。

ポイント

スーパーコンピュータを活用し、研究の可能性を広げたい

「従来、ATLAS実験の研究では、スーパーコンピュータの利用はほとんどありませんでした」と特任助教の岸本巴氏は語ります。他の研究分野では一つの問題に大きな計算機資源を投入し時間をかけて計算するのにスーパーコンピュータ使ってきましたが、ATLAS実験のデータ解析では独立した計算を大量に行います。一つひとつの計算はメモリサイズで数ギガバイトあれば可能で、時間も10分くらいで済みますが、それを1億回、10億回といった量で実行しなくてはなりません。ATLAS実験では全世界レベルで40万CPUコアを常時稼働させて研究しているほどです。

言い換えれば、この研究の計算には、一つの問題にはコア数もメモリ要求も少なくてすむがトータルとして大量のジョブを走らせるという特性があるため、従来のスーパーコンピュータはあまり相性が良くありませんでした。ICEPPはこれまではATLAS地域解析センターに市販の標準的なサーバを大量に集結させ、効率的に利用してきました。

しかし一方で、田中氏や岸本氏には、今後、スーパーコンピュータを取り入れていくべきという考えも芽生えていました。

東京大学素粒子物理国際研究センター（ICEPP）
特任助教岸本巴氏

その理由は大きく二つあります。一つは、現在のスーパーコンピュータが、AIやビッグデータの融合に注力し始めていること。例えば東京大学情報基盤センター（注2）ではそうした発想で、富士通のPRIMEHPC FX1000によって構築された「Wisteria/BDEC-01〔ウィステリア／ビーデックゼロワン〕」を導入しています。もう一つは計算機資源の選択肢を増やしたいこと。世界のコンピューティングのトレンドは予測がむずかしく、10年後にどの技術が主流になるかはわからないからです。

こうした中で田中氏、岸本氏が注目したのがPRIMEHPC FX700です。「システムインテグレーターのHPCシステムズの広告で知ったのが最初で、市販の製品で購入するならこれしかない、と思いました」（岸本氏）。搭載されているA64FXはデータ解析にも適しているうえ、「富岳」のために設計されたCPUだけに計算パワーも十分です。

アーキテクチャがArmであることも魅力でした。「私自身ずっと前からArmアーキテクチャに興味を持っていました。それを搭載した「富岳」が登場し、世界一になったのは幸運な流れだったと思います。海外の研究者でも「富岳」に関心を抱く人は多いですね。同系統のPRIMEHPC FX700を使えることは、共同研究にとっての影響力もあると思います」（田中氏）。

注2
東京大学内外の教育・研究・社会貢献などに関係する情報処理の推進のための基盤研究を目的とした施設。情報メディア教育、データ科学、ネットワーク、スーパーコンピューティングの4研究部門からなる。

直近の目的はソフトウェアの動作検証

計算資源の拡充という長期的な視野のもと、PRIMEHPC FX700を購入した目的は、ATLAS実験で用いる解析ソフトウェアなどの動作検証です。そのため構成は、InfiniBandは不使用など、必要最小限にしました。

「現在、PRIMEHPC FX700を手元で動かし、本来の性能が発揮できるかどうかを検証しています。つまりソフトウェアを、A64FXとの相性を調べながら最適化し、コンパイルします」（岸本氏）。

この作業で大変なのは、解析ソフトウェアには外部ライブラリに依存した部分が数十もあり、それらすべてをA64FX用にコンパイルしなければならないことです。

それでもPRIMEHPC FX700はA64FXという汎用CPUだけで構成されているので、高速かつソフトウェアへの対応がしやすいなど、使い勝手は抜群。「アメリカなどに多いGPUを大量搭載したスーパーコンピュータでは、構造が異なりソフトウェアを大きく変更する必要があり、現状の解析ソフトウェアなどのコンパイルは困難。しかしArmアーキテクチャのA64FXならば可能です。加えてA64FXベースのスーパーコンピュータは今後、多くの大学に普及していく可能性も高いと考えています」（岸本氏）。

前述した東京大学情報基盤センターの「Wisteria/BDEC-01」は、シミュレーションノード群にA64FXベースのPRIMEHPC FX1000を使っています。つまりソフトウェアをPRIMEHPC FX700で動くようにできれば、このセンターでも使えることになります。

計算性能以外でも、田中氏、岸本氏はPRIMEHPC FX700のメリットを感じていると語ります。「標準ラックにそのまま収められるコンパクトサイズで使い勝手がよく、価格的にも手頃でした」（岸本氏）。

中でも期待しているのが消費電力です。持続可能な社会・経済の達成が世界的コンセンサスになった今、消費電力の少ない設備を選ぶことは社会通念であり、見逃せない要素と言えます。岸本氏は現在、ソフトウェアの動作と同時に、消費電力も検証中です。

効果と将来の展望

A64FX搭載のマシンが世界に普及し、存在感を示すことに期待

現在も、PRIMEHPC FX700を動かし、ソフトウェアの動作検証が続いていますが、既に動作検証が完了したソフトウェアもあります。使われるGeant4〔ジアントフォー〕（CERNなどの世界の様々な研究所の研究者が共同で開発した放射線シミュレーションのソフトウェア）で、「そのパフォーマンスを数字として確認できる状態になりました。この情報は海外も含め、ATLAS実験に参加している他の研究者と共有しました」（岸本氏）。

お二人は将来の「富岳」の利用も視野に入れています。「富岳」は世界一のスーパーコンピュータとして研究者の間でも関心が高いので、国際的なコンピューティンググリッドへ接続し、共同研究に使うことにも期待しています。

ただ課題もあります。「スーパーコンピュータは基本的に閉鎖システムなのでコンピューティンググリッドに接続できるかどうかは未知数です。セキュリティ、ネットワークなど、乗り越えなければならない部分も多いですね」（田中氏）。この点は将来、スーパーコンピュータの運営側がネットワークについての考え方やルールをどう決めるかにもよります。

「富士通に対してはA64FXベースの製品を世界に広げていただけることに期待しています」（田中氏）。物理学の世界に国境はありません。富士通が世界で普及し、利用される技術を育てることが、研究の世界での存在感にもつながると言えるでしょう。

東京大学素粒子物理国際研究センター（ICEPP）様

設立	1974年（理学部附属高エネルギー物理学実験施設として設立。2004年から全学センターとして改組）
センター長	浅井祥仁
所在地	東京都文京区本郷7-3-1　東京大学本郷キャンパス内
人員数	約40名（教職員）
概要	ATLAS実験、MEG実験、ILC計画など国際共同研究プロジェクトの日本の拠点として活動
ウェブサイト	https://www.icepp.s.u-tokyo.ac.jp/

担当者メッセージ

～PRIMEHPC FX700販売パートナー HPCシステムズ株式会社～

ICEPPのATLAS地域解析センターの先生方は高エネルギー物理学における計算機科学の専門家なので、製品や技術についての事前調査能力は非常に高く、最初からPRIMEHPC FX700の要望をいただいて対応しました。HPCシステムズでは以前、ICEPPにGPU系の大型マシンを納入したことがあり、満足いただいていたことが今回のお問い合わせにもつながったと思います。

今後は「富岳」や他の大学の計算機設備との連携も念頭にしながら、より優れたサービスを提供するとともに、多くの大学の最先端の研究に貢献できるよう、製品とサービスを提供し、ご期待に応えていきたいと考えています。

～富士通株式会社～

HPCシステムズ様との協業により、富士通として初めてICEPPへ弊社の製品をご導入頂くことができました。

「富岳」に採用されたCPU A64FXを搭載したPRIMEHPC FX700が、ATLAS実験をはじめとする最先端研究の推進に活用していただけるよう、今後もHPCシステムズ様と連携しご支援させて頂きたいと思います。

お客様と共に持続可能な社会の実現に向けて、お客様の課題解決や事業成長に貢献できる製品やサービスのご提供・提案をしてまいります。

左からHPCシステムズ株式会社齋藤正保氏、
東京大学素粒子物理国際研究センター田中純一氏、岸本巴氏、
HPCシステムズ株式会社伊東崇氏、富士通株式会社星田悠

HPCシステムズ株式会社

所在地	東京都港区海岸3-9-15 LOOP-X 8階
設立	2006年7月
従業員数	85名（2020年6月30日現在）
ウェブサイト	https://www.hpc.co.jp/

［2021年8月掲載］

スーパーコンピュータに関するお問い合わせ

入力フォーム

当社はセキュリティ保護の観点からSSL技術を使用しております。
0120-933-200（通話無料）

富士通コンタクトライン（総合窓口）
平日9:00～12:00および13:00～17:30（土・日・祝日・当社指定の休業日を除く）

東京大学 素粒子物理国際研究センター （ICEPP / International Center for Elementary Particle Physics）様