スーパーコンピュータ「富岳」におけるファイルシステム・電力管理の機能強化

2．ファイルシステム

「富岳」では，大容量かつ高速なストレージシステムを実現するために，「京」と同様［3］，階層化ストレージを採用している。「富岳」は高い演算性能を提供することに加え，幅広いユーザーの利用を想定したシステムであり，ストレージシステムもこの方針に従う必要がある。そのためには，階層化ストレージのユーザビリティの向上に加え，アプリケーションごとに異なるファイルアクセス特性に応じて，最適なチューニングを可能にする機能が必要である。

我々は，これらを実現するために，ジョブ実行専用領域のファイルシステムとして，LLIOを新たに開発した。LLIOは，用途に応じた三種類の領域をアプリケーションに提供することで，階層化ストレージのユーザビリティを向上し，かつアプリケーションのファイルIO最適化を可能にする。

本章では最初に，「富岳」のストレージシステムの概要について述べる。その後，LLIOの三種類の領域による階層化ストレージのユーザビリティ向上，一時ファイルのIO最適化について説明する。最後に，LLIOの性能測定結果について述べる。

2.1 ストレージシステムの概要

図-2に，「富岳」のストレージシステムの概要を示す。「富岳」のストレージ階層は，ジョブ実行専用の高速領域としての第一階層，ユーザーとジョブが利用する大容量の共有領域としての第二階層，商用クラウドストレージとしての第三階層で構成される［5］。本稿執筆時点（2020年7月上旬）では，第三階層のクラウドストレージの利用方法は準備中であるため，第一階層および第二階層に焦点を絞り，「富岳」のストレージシステムについて述べる。

図-2　「富岳」ストレージシステムの概要

第一階層ストレージは専用のサーバノードを持たず，NVMe SSD（Non-Volatile Memory Express Solid State Drive）を搭載した計算ノード兼ストレージIO（SIO）ノードがファイルシステムサーバとしての役割を担い，計算ノードのファイルアクセス要求はSIOノードのアシスタントコア［6］で処理される。SIOノードは，16計算ノードがグループ化されたBoB（Bunch of Blades）ごとに1ノード存在する。各ジョブの開始時には，ジョブに割り当てられたBoBのSIOノードのみを用いて一時的なLLIOのファイルシステムを生成し，各ジョブはこれを利用する。そして，ジョブ実行の完了後，このファイルシステムは解放される。

表-1に示すように，LLIOは用途に応じた三種類の領域をアプリケーションに提供する。第二階層キャッシュ領域は，階層間の名前空間の違いやデータ転送を意識することなく，第一階層ストレージの利用を可能にする。共有テンポラリ領域は，計算ノード間で共有の一時ファイルを保存するのに適した領域である。ノード内テンポラリ領域は，計算ノード内のみで共有される一時ファイルの保存に特化した領域である。これらの領域についての詳細は2.2節，2.3節で述べる。

階層間は，IOネットワークを介して接続される。計算ノード群のうち，IOネットワークに接続されるのは計算ノード兼グローバルIO（GIO）ノードであり，階層間のデータ転送はGIOノードを経由して行われる。第二階層ストレージは「京」と同様，複数のFEFS［3］で構成される。

2.2 階層化ストレージのユーザビリティ向上

階層化ストレージにおいては，階層間データ転送のユーザビリティが一つの課題となる。「京」のストレージは二階層からなり，両階層は異なる名前空間を持つFEFSで構成されていた。そのため，階層間のデータ転送には，ユーザーがジョブ実行に必要なファイル，保存ファイルを明示的に指定して行うステージング方式が採用された［3］。しかし，多くのユーザーにとって，ジョブ実行に必要なファイルや保存ファイルを適切に選択することは簡単ではなく，不要なファイルが多く指定されることによって転送時間が増大する問題があった。

この問題に対して，LLIOの第二階層キャッシュ領域において，階層間データ転送をLLIOが自動で行うキャッシュ方式を採用することで，階層化ストレージのユーザビリティ向上を図った。第二階層キャッシュ領域は，第二階層のファイルシステムと同一の名前空間をアプリケーションに提供する。アプリケーションがファイルのREAD要求を発行した場合，LLIOがファイルデータを自動的に第二階層ストレージから第一階層ストレージに読み込み，キャッシングを行う。一方，アプリケーションがWRITE要求を発行した場合は，第一階層ストレージにバッファリングを行い，LLIOがアプリケーション実行とは非同期に第二階層ストレージへ書き出しを行う。このような仕組みにより，アプリケーションは階層間の名前空間の違いやデータ転送を意識することなく，高速な第一階層ストレージを利用することが可能になる。

2.3 一時ファイルのIO最適化

スーパーコンピュータのアプリケーションには，計算の途中結果を一時ファイルに書き出し，次の計算の入力ファイルとするものが多い。一時ファイルは，計算ノード間で共有されるものと，計算ノード内のみで利用されるものが存在する。これらのファイルはジョブ実行中のみ必要であるため，一時ファイルの保存に特化した領域を用いることで，ファイルIOの最適化を行うことができる。LLIOは，一時ファイルの保存領域として，共有テンポラリ領域とノード内テンポラリ領域を提供する。

共有テンポラリ領域は，計算ノード間で共有される一時ファイルを保存するのに適した領域である。共有テンポラリ領域の名前空間は，ジョブに割り当てられた計算ノード間で共有される。第二階層ストレージへのデータの書き出しを行わないため，第二階層キャッシュで発生しうる，アプリケーションのファイルIOと第二階層ストレージへの書き出しの競合による性能低下が発生せず，安定したファイルIOが可能である。

ノード内テンポラリ領域は，計算ノード内のみで利用する一時ファイルを保存するのに適した領域である。ノード内テンポラリ領域の名前空間は，各計算ノードで独立している。ノード内テンポラリ領域は，名前空間を各計算ノード間で独立させることで，専用のメタデータサーバを不要としている。そのため，大量のファイルアクセスによるメタデータサーバへの負荷集中が発生せず，計算ノード台数に比例した高い性能スループットを実現することが可能となる。

2.4 LLIOのファイルIO性能

本節では，「富岳」において1,152台の計算ノードで測定した，LLIOのファイルIO性能について述べる。

図-3に，LLIOが提供する三領域に対して，IOサイズを64 KiB，1 MiB，16 MiBと変化させて，ファイルIO性能のベンチマークであるIOR［7］を実行した際のWRITE性能およびREAD性能を示す。WRITE性能については，各領域でIOサイズに依らず高いスループットを示している。READ性能については，第二階層キャッシュ領域は，IOサイズが大きくなるにつれて，スループットが向上している。この理由として，小サイズのIOでは，アシスタントコアにおけるソフトウェア処理のオーバーヘッドが大きく，ボトルネックとなっていることが考えられる。

今後はより大規模な環境において，多角的な指標を用いた評価を行うとともに，実アプリケーションの性能向上についても測定を行い，公開していく予定である。

図-3　LLIOのIO性能評価

4．むすび

本稿では，スーパーコンピュータ「富岳」において，「京」からの改善・強化点であるファイルシステムおよび運用ソフトの電力管理機能について述べた。

ファイルシステムについては，階層化ストレージのユーザビリティを向上し，かつアプリケーションのファイルIO最適化を可能にするために，ジョブ実行領域専用のファイルシステムとして開発したLLIOについて述べた。また，LLIOの性能を評価した結果，高いファイルIO性能を持つことを示した。

更に，「富岳」のみならず，超大規模システムにおいて共通の課題であるシステムの省電力化，電力・ノード資源の効率化に必要な電力管理機能について述べた。また，複数計算ノードから構成されるスーパーコンピュータシステムにおける電力評価の課題と「富岳」における解決策として，推定電力の設計・導入効果について述べた。ジョブを実行するユーザーは，推定電力を利用することで，ジョブ実行された計算ノードを意識することなく単位電力当たりの性能を評価できるものと考える。運用者の観点では，利用する計算ノードに依存しない公平なジョブの消費電力に関する統計情報の収集を可能とし，運用への利用に耐えうる目処がついたと考える。

今後は，「富岳」の一般共用開始に向け，実際の利用・運用に即した環境でのソフトウェアの調整作業を継続して実施していく。その過程において，大規模な実アプリケーションによる性能・電力評価を行い，その成果を今後公開していく予定である。

本稿に掲載されている会社名・製品名は，各社所有の商標もしくは登録商標を含みます。