GTM-MML4VXJ
Skip to main content

雑誌FUJITSU

2012-5月号 (VOL.63, NO.3)

富士通の最新技術を隔月に紹介する情報誌です。 冊子体の販売はしておりませんのでご了承下さい。


Get Adobe Reader

雑誌FUJITSUのコンテンツはPDF形式で作成されており,ご覧になるためにはAdobe Readerが必要です。


雑誌FUJITSU 2012-5

特集:スーパーコンピュータ「京」

スーパーコンピュータ「京」* は,理化学研究所様と富士通が共同で開発した超大規模並列計算機システムです。スーパーコンピュータの性能ランキングであるTOP500で,2011年6月,11月と2期連続して世界一の性能を持つシステムとして認定されました。本特集号では,「京」の開発プロジェクトの概要と,ハードウェア,ソフトウェア,アプリケーションの技術を紹介します。
* 理化学研究所が2010年7月に決定したスーパーコンピュータの愛称。


次世代テクニカルコンピューティング開発本部 本部長
追永 勇次
次世代テクニカルコンピューティング開発本部 本部長 追永 勇次 写真

スーパーコンピュータ「京」特集に寄せて(PDF)

スーパーコンピュータ「京」の運用は2012年秋から始まります。当初の計画どおり多くのアプリケーションが開発され,高い実行性能が実現されることにより,多くの成果が得られることを確信しています。富士通は,本特集号で紹介した技術を更に磨き,CPUからソフトウェアまでシステム全体を自ら開発している強みを生かし,より高い性能のスーパーコンピュータの実現と,有益なアプリケーションの開発に向け取り組んでまいります。

特集:スーパーコンピュータ「京」 目次〕

特別寄稿

  • 「京」プロジェクトとその取組み

総括

  • スーパーコンピュータ「京」の概要

施設

  • スーパーコンピュータ「京」を支える建築・設備技術

ハードウェア

  • スーパーコンピュータ「京」のCPU SPARC64 VIIIfx
  • スーパーコンピュータ「京」のインターコネクトTofu
  • スーパーコンピュータ「京」のシステム実装技術

ソフトウェア

  • スーパーコンピュータ「京」のオペレーティング
    システム
  • スーパーコンピュータ「京」の高性能・高信頼ファイル
    システム
  • スーパーコンピュータ「京」の運用管理ソフトウェア
  • スーパーコンピュータ「京」の能力を引き出す
    コンパイラ技術
  • スーパーコンピュータ「京」のMPIと低レベル通信
  • スーパーコンピュータ「京」の性能プロファイルと
    デバッグ
  • スーパーコンピュータ「京」のWebポータル
  • スーパーコンピュータ「京」の可視化技術

アプリケーションの開発

  • スーパーコンピュータ「京」のソフトウェアと利用環境

富士通のHPCアプリケーションの研究開発

  • スーパーコンピュータが拓く世界
  • 非線形動的構造解析ソフトウェアLS-DYNAの
    高速化への取組み

特集:スーパーコンピュータ「京」


特別寄稿

平尾 公彦

総括

スーパーコンピュータ「京」は,文部科学省が推進する「革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI)の構築」計画のもと,富士通が独立行政法人理化学研究所と共同で開発した,超大規模並列スーパーコンピュータである。これまで培ってきた先端技術を結集し,CPU,インターコネクトなどのハードウェア,およびOS,ファイルシステム,運用管理ソフトウェアなどを開発した。システムの規模としてLINPACK性能10 PFLOPSが実現できるレベルを目標とし,CPU数にして8万個以上を結合するアーキテクチャを採用している。このような大規模システムの運用には,高性能であるとともに省電力および高い信頼性を実現することが必要である。
本稿では,システムのハードウェア構成の概要を提示するとともに,性能,電力,信頼性という観点でどのような施策を講じたかを中心に概説する。

宮崎 博行, 草野 義博, 新庄 直樹, 庄司 文由, 横川 三津夫, 渡邊 貞

施設

「京」を収容し電力や冷熱を供給する設備は,ほかの施設にはない数々のユニークな特徴を持っている。例えば,柱のない広大な計算機室であり,無停電電源装置(UPS)を使わずコジェネレーション発電機と高速限流遮断器を組み合わせて同等な機能を持たせた電源システムであり,計算機室壁面に分電盤を並べずフリーアクセスの床下に設置した分電盤であり,高効率で非常に静かな空調機であり,正確に温調されたCPU冷却水設備などである。これらは全て「京」のインストールを迅速かつ容易にし,安定かつ安全に稼働させるために採用した方策である。これらの取組みは,ユニークではあるが新たな技術の開発や,最新の技術を採用したものではない。既存の技術,こなれた技術,枯れた技術,つまり安定的に使える技術を新たな発想でうまく組み合わせていくことにより実現したものである。限られた期間,限られた予算の中でのプロジェクトでは,あまりにチャレンジングな技術は採用できないのである。本稿では,「京」の建築・設備においてどのような建設技術を用いたのかについて述べる。

関口 芳弘

ハードウェア

スーパーコンピュータ「京」のプロセッサとして開発されたSPARC64 VIIIfxは,富士通セミコンダクターの45 nm CMOSプロセスを採用し,八つのコアと6 Mバイトの共有2次キャッシュ,メモリコントローラから構成される。動作周波数2 GHzでピーク性能128 GFLOPSを58 Wという低消費電力で実現した。電力あたりの性能は当社前機種のSPARCプロセッサに対し,6倍以上にまで達する。
著者らは,この電力あたりの性能を実現するためSPARC-V9アーキテクチャを拡張し,科学技術計算に最適な命令セットHPC-ACE(High Performance Computing-Arithmetic Computational Extensions)を開発した。また水冷によるリーク電力削減,クロックゲーティングによるダイナミック電力削減により低消費電力化を行った。さらに8万個以上のプロセッサを接続するシステムの安定稼働のため,メインフレームやUNIXサーバの高信頼性技術を備える。
本稿では,SPARC64 VIIIfxの高性能,低消費電力,高信頼性を実現する技術について概説する。

吉田 利雄, 本藤 幹雄, 菅 竜二, 杉崎 剛

Tofu(Torus fusion)インターコネクトは,8万ノード以上を接続するスーパーコンピュータ「京」への搭載に向けて開発され,10万ノードのスケーラビリティと高性能,高信頼性,高可用性を兼ね備える。ネットワークトポロジーは高スケーラビリティの6次元メッシュ/トーラス,リンクあたりスループットは片方向5 Gバイト/秒であり,各ノードは4方向同時送受信が可能である。また,3次元トーラス・ランクマッピング機能により可用性を向上し,Tofuバリア・インターフェースにより低遅延で集団通信を実行する。Tofuインターコネクトを構成するネットワークインタフェースとルータは専用に開発されたLSI,インターコネクトコントローラ(ICC)に統合実装される。
本稿では,Tofuインターコネクトについて,ICC,6次元メッシュ/トーラストポロジー,高性能・高信頼通信機能,Tofuバリア・インターフェースの概要と特徴を紹介する。

安島 雄一郎, 井上 智宏, 平本 新哉, 清水 俊幸

スーパーコンピュータ「京」は2011年6月のTOP500リストで世界一を獲得し,2011年11月のTOP500リストで再び世界一を獲得した。また同時に,単位電力あたりの計算性能のランキングであるGreen500で2011年6月のランキングで6位を獲得した。この高性能・省電力の達成は,高性能・低消費電力のCPUだけでなく,CPUを高密度に実装する筐体技術,CPU間の高速データ伝送を実現する接続技術,信頼性を高める冷却技術,電力ロスを低減する電源技術のシステム実装技術によるところも大きい。
本稿では,「京」に適用したシステム実装技術について解説する。

前田 秀樹, 久保 秀雄, 島森 浩, 田村 亮, 魏 杰

ソフトウェア

富士通では,スーパーコンピュータ「京」が世界一の性能を実現するため,オペレーティングシステム(OS)の開発に当たって以下の三つの施策の機能改善に取り組んだ。
まず一つ目は,独自CPUおよびインターコネクトのハードウェア性能を限界まで引き出すために,ハードウェア拡張機能をアプリケーションから直接制御する仕組みを備えた。二つ目は,スケーラビリティの改善として,複数のノード間でジョブの実行時間,システムの実行時間を合わせることでシステムの外乱による並列プログラムの同期待ち時間の増加を抑える同期スケジューリング機能を導入した。三つ目は,メモリアクセス性能の向上とメモリ使用効率の改善をねらい,複数のページサイズを利用できるマルチページサイズを実現した。
本稿では,今回開発したOSの性能向上のための機能,およびユーザビリティ,堅ろう性についても紹介する。

師尾 潤, 山田 雅彦, 加藤 丈治

理化学研究所と富士通は,10 PFLOPSの演算性能を持つスーパーコンピュータ「京」の開発を進めている。「京」は8万を超える膨大な計算ノードに加え,数十Pバイトのディスク容量とTバイト/秒のI/O帯域を持つ世界トップレベルのストレージシステムで構成される。このストレージシステムを構成する数千台のファイルサーバとストレージ装置を数万クラスの計算ノードから高速にアクセス可能とするため,高性能・高信頼なクラスタ型の分散ファイルシステム「FEFS(Fujitsu Exabyte File System)」を開発した。
本稿ではFEFSに関し,大規模システムで解決しなければならない課題とその施策について述べる。

酒井 憲一郎, 住元 真司, 黒川 原佳

スーパーコンピュータシステムは,とどまることのない計算需要の増大に呼応する形でシステム規模(CPUコア数やノード数など)が増大の一途をたどっている。このような,超大規模システムを安定稼働させるとともに,利用者に対して高性能な計算環境を高い稼働率を維持して提供するためには,運用管理ソフトウェアが重要な鍵を握ることとなる。富士通では,従来のスーパーコンピュータシステム向け運用管理ソフトウェアとして「Parallelnavi」を開発し,3000ノード規模のシステムの一元管理を実現してきた。スーパーコンピュータ「京」は,従来規模をはるかに凌駕(りょうが)する8万個以上のノードから構成される超大規模システムであり,この規模を安定かつ効率的に一元管理するため,更なる技術開発を行った。
本稿では,「京」向けに開発した運用管理ソフトウェアについて,超大規模システムを安定稼働させるためのシステム運用管理機能の実現方式,および高性能な計算環境を提供するジョブスケジューラの特徴について説明する。

平井 浩一, 井口 裕次, 宇野 篤也, 黒川 原佳

著者らは,10 PFLOPSの大規模システムの構築のために設計された新しいCPUであるSPARC64 VIIIfxの特長を最大限に生かすための言語パッケージを開発した。
本稿では,その言語パッケージの中に含まれているFortran/C/C++向けコンパイラについて紹介する。今回開発したコンパイラは,逐次処理向け最適化機能(逐次最適化機能)の強化と,コンパイラが自動でスレッド並列処理のコードを生成する機能(自動並列化機能)の強化により,SPARC64 VIIIfxの性能を引き出している。また,スレッド並列実行とプロセス並列実行を組み合わせたハイブリッド並列実行モデルを提供することにより,大規模なシステムでの高い実行性能を実現した。さらに,最新の業界標準の言語仕様についても対応しており,より広範なプログラムのコンパイルを可能にした。

瀧 康太郎, 松山 学, 村井 均, 南 一生

スーパーコンピュータ「京」のような超並列システムにおいてアプリケーション性能を高めるためには,計算ノード間の通信をいかに高速に実行するかが鍵となる。この通信をつかさどるのがMPI(Message Passing Interface)通信ライブラリと低レベル通信である。
本稿では,スーパーコンピュータ「京」に導入した新規アーキテクチャであるTofuインターコネクトの性能を引き出し,ペタスケールアプリケーションの実行性能を高めるためのMPI通信ライブラリと高性能で細かな制御を可能とする低レベル通信機構の実装,およびこれらの性能について述べる。

志田 直之, 住元 真司, 宇野 篤也

著者らは,スーパーコンピュータ「京」に向けたアプリケーション開発支援ツールを開発した。
本稿では,本開発支援ツールの主な機能であるアプリケーションを高性能化するためのプロファイル機能,およびアプリケーションを検証するためのデバッグ機能について述べる。プロファイル機能およびデバッグ機能を開発するに当たっては,まず利用者におけるアプリケーションの高性能化および検証の作業手順を定義し,次にその個々の作業で必要となる開発支援ツールのあるべき姿を検討し開発した。ここでは,この作業手順に沿って各種開発支援ツールを紹介する。特に,「京」の特徴としてはその大規模性が挙げられるが,大規模アプリケーションのプロファイルおよびデバッグには従来の延長では解決できない特有の課題が存在しており,これらの課題に対する新たな取組みについても述べる。さらに,「京」の大きな特徴である高性能CPU SPARC64 VIIIfxやTofuインターコネクトなどの最先端ハードウェアに特化したプロファイル機能についても言及する。

井田 圭一, 大野 康行, 井上 俊介, 南 一生

多くの人がインターネットを通じて簡単に情報を得ることができるように,Webの技術によって計算機の利用が容易になってきている。スーパーコンピュータが活用されるテクニカルコンピューティング分野においても,演算性能への要求とともに,使いやすさの向上など利用面に関する要求は高い。富士通では,スーパーコンピュータの利用促進を支援するため,その高速な計算能力や導入される解析アプリケーションを,Webを通じて利用者へ提供する利用者ポータルを提供している。また,スーパーコンピュータの安定稼働の支援を目的とし,運用管理者が大規模かつ高度な計算機システムを容易に監視・運転できるシステム管理者ポータルを提供している。
本稿では,スーパーコンピュータ「京」の利用者ポータルとシステム管理者ポータルについて紹介する。

湯浅 裕亮, 大西 尚樹, 鈴木 孝一郎, 宇野 篤也, 黒川 原佳

スーパーコンピュータの計算結果を画像や動画にして視覚化する技術が可視化である。「京」による数千~数万並列の超大規模並列計算結果の可視化には,大量の計算結果データを高速に描画する処理が求められる。計算結果ファイルを可視化サーバへ転送する従来の手法では,大量の計算結果ファイルの再構築や転送など,実現困難な多くの課題が生じる。
本稿では,これらの課題を解決して「京」の超大規模計算結果を可視化するための技術と,その適用結果について紹介する。

小笠 温滋, 前坂 博之, 坂本 清隆, 小田切 貞憲

アプリケーションの開発

利用者が計算機に求めるもの,それは使いやすい計算環境である。スーパーコンピュータ「京」は100万に迫るコア数を擁する超大型システムであるが,そのハードウェアの特性を十分に引き出すソフトウェアがあって,はじめてその存在価値がある。このため,「京」開発プロジェクトと並行して,大規模なソフトウェアの研究開発プロジェクトが進められた。一つはナノサイエンスに関するものであり,もう一つはライフサイエンスに関するものである。「京」の共用開始に合わせて,この二つの研究開発プログラムから最先端の理論とアルゴリズムに基づく高並列化対応ソフトウェア群がリリースされ始めている。「京」の利活用促進のため,国は五つの戦略分野を定めた。それぞれの戦略分野では戦略目標に向かって次々と研究成果をあげるとともに,それぞれの分野の計算科学を推進する体制の構築と人材育成,成果の普及促進と産業応用の着実かつ迅速な実行が求められている。
本稿では,このような「京」をめぐるソフトウェア開発状況と利活用に向けた動きを紹介する。

伊藤 聡

富士通のHPCアプリケーションの研究開発

スーパーコンピュータの演算性能は,11年で1000倍という驚異的なペースで向上し続けており,複雑で大きなスケールの現象を,ミクロレベルの現象を支配する法則を踏まえて,精緻にシミュレーションできるようになってきた。例えば,スーパーコンピュータ「京」の演算能力を十分に引き出せば,薬剤の作用に関わる細胞レベルの挙動を踏まえて心臓全体の振る舞いを精緻にシミュレーションすることや,電気モータに使われる磁性体の特性を踏まえたシミュレーションによってモータの効率計算を正確に実行することなどが可能になってきている。しかし,現在のスーパーコンピュータの演算能力を引き出すには,数万の並列プロセスを効率的に協調動作させることが必要であるため,科学的知見に基づく最新のシミュレーションモデルと,計算機のアーキテクチャの両者を十分に考慮した上で,新たな計算手法を創出することが求められている。
本稿では,この課題の解決に向けた取組みとして,4種類のアプリケーションの研究開発事例を紹介する。

渡邉 正宏, 諏訪 多聞, 古屋 篤史, 高井 健太郎

プレスリリース東北大学様と高精度三次元津波シミュレーションの共同研究

LS-DYNAは世界の多くの自動車会社で利用されている非線形動的構造解析ソフトウェアである。LS-DYNAでは解析モデルの詳細化に伴い計算時間が増大してきており,高速化が強く望まれている。富士通はLS-DYNAを開発している米国Livermore Software Technology Corporation(LSTC社)のパートナとして,ハイパフォーマンスコンピューティング向けにLS-DYNAの並列版に関して開発支援を行っている。富士通が販売している並列版LS-DYNAはOpenMPによるSMP版,MPIによるMPP版,SMP版とMPP版の組合せによるHybrid版の3種類があり,現在はスーパーコンピュータ「京」向けに大規模並列に適したHybrid版の高速化を実施している。
本稿では,Hybrid版LS-DYNAの大規模並列性能を紹介し,さらにハードウェアバリアの使用や計算負荷の可視化を利用したロードバランスの改善による高速化の方法と効果を紹介する。

金堂 剣史郎

製品情報LS-DYNA


---> English (Abstracts of Papers)