なぜ、世界最高の液体冷却を実現できたのか

SPARC M10 真髄に迫る Series 4. なぜ、世界最高の液体冷却を実現できたのか

2014年3月11日

サーバのパフォーマンスの向上にはプロセッサの高性能化が不可欠であるが、一方で発熱量との戦いが待っている。開発者達はさまざまな制約の中でさらなる性能アップと省スペース化を目指し、冷却技術に磨きをかける。

青木伸充

スーパーコンピュータやUNIXサーバの冷却に携わり、SPARC M10の冷却チームのリーダを務めた青木は、厳しくも革新的な技術を注ぎこんだ今回の開発を振り返る。

SPARC M10は、ビッグデータ時代の到来にふさわしい、大量データをリアルタイムに高速処理できるサーバです。性能向上にはプロセッサの高速化が重要ですが、それに伴ってプロセッサの消費電力が増大します。その結果、発熱量が高まり、高効率な冷却性能が求められます。

サーバの冷却方式には大きく分けて空気冷却と液体冷却の2種類があります。富士通は、これまでメインフレームやスーパーコンピュータの一部で液体冷却を採用したことがありますが、サーバの外部に冷媒を循環させるための大規模な設備が必要であったり、定期的なメンテナンスを行うための業務停止が求められたりすることから、UNIXサーバなどが担うビジネス分野への適用が困難でした。そのため、メンテナンスが容易な空気冷却が、UNIXサーバの冷却技術の主流となっていたのです。
空気冷却は、プロセッサの表面にヒートシンクを取り付け、ファンによる送風で冷却を行うものです。しかし、プロセッサの高性能化に伴って発熱量が増すと、ヒートシンクは大型化し、サーバの容積が増大します。さらに、ファンの最も近い場所に発熱量の増したプロセッサを実装する必要があり、部品の実装位置に制約が生じていました。その結果、プロセッサとメモリの物理的な距離が増大し、メモリアクセス性能の低下という問題を引き起こしてしまいます。また、ファンの騒音の増加や、高い発熱量に対して冷却性能が追いつかず、性能が不安定になるという課題を抱えていました。

徹底解説：液体と空気によるハイブリッド冷却技術「Vapor and Liquid Loop Cooling」、「Liquid Loop Cooling」

そのような中で、私たちは液体冷却の"高効率"に再度注目したのです。
空気冷却を採用しているPRIMEPOWER HPC2500のヒートシンクと、液体冷却を採用しているFUJITSU Supercomputer PRIMEHPC FX10のクーリングプレートを比べると、クーリングプレートの体積は約1/10に収まっていることがおわかりになるでしょう。

プロセッサ冷却部品体積の比較

私たちは、この”高効率”という液体冷却のメリットを活かしながら、大規模な設備や定期的なメンテナンスが不要となる新たな冷却技術の開発を目標に据えました。
このコンセプトのもと、2011年にSPARC M10の冷却プロジェクトによる開発がスタート。新しい冷却技術の開発にあたっては、いかに ①高効率かつ ②限られたサーバ装置内のスペースで ③高信頼・長寿命を実現するかがポイントであり、それらをクリアするための多くの新規技術開発が必要でした。そして、数々の困難をのりこえ、ビッグデータ時代のデータ処理に相応しい性能と信頼性を確保できる、Liquid Loop Cooling（LLC）技術を確立したのです。液体冷却と空気冷却を組み合わせたハイブリッド冷却を実現するLiquid Loop Coolingは、効率的なプロセッサの冷却やサーバの省スペース化を可能にしています。
2013年1月の販売開始まで、ビジネスサーバとしては非常に開発期間が短い中、世界最高レベルの冷却能力を誇る装置を世の中に送り出すことができました。

Liquid Loop Cooling

※ 冷却液の流れはイメージ

田和文博

Liquid Loop Cooling の開発を担当した田和は、前世代のUNIXサーバ「SPARC Enterprise M3000」の冷却設計経験を踏まえ、新たに水冷技術に取り組んだ。高密度設計のエキスパートだ。

Liquid Loop Coolingは、クーリングプレートとラジエータが一体となったLiquid Loop Cooling ユニットの中を、冷却液が循環してプロセッサの熱を外気に拡散させる仕組みです。冷却液は、クーリングプレートでプロセッサの熱を吸熱し、その熱を外気吸気口に近い場所に実装されたラジエータまで運びます。ラジエータは、ファンからの送風を一身に受けて、冷却液の温度を下げます。液体冷却と空気冷却の利点を活かし、高さ1Uサイズ（45mm）内で実現したハイブリッド冷却技術です。

今回の開発は、我々がこれまで培ってきた冷却技術を結集したものといっても過言ではありません。数多くのブレークスルーやノウハウが詰まっています。今日は、その中で、高冷却性能化とメンテナンスフリーという2つのポイントについてご紹介します。まず、高冷却性能化についてです。キーとなるのはクーリングプレートとラジエータです。クーリングプレートは、プロセッサから効率よく吸熱するため、内部に多数の水路を持つ構造で、プレートの厚さ、幅、長さ、水路の数などにノウハウがあります。プレートの厚さは、新発想の押し出し成形を採用することで、スーパーコンピュータの剛堅な構造を維持しつつ薄型化し、同等性能を実現しています。さらにプレートの薄型化で得た上部空間にタンクを載せ、基板上に占めるユニットの占有面積を小さくすることができました。タンクの役割は、単に冷却液を溜めるだけではありません。プロセッサひとつあたり、6個のポンプを装着させ、それぞれのポンプに冷却液を均等に分配するといった複数の機能を詰め込んでいます。そして、6個のポンプは、冗長構成になっています。1つのポンプが何らかのトラブルによって止まっても残りの5個でプロセッサの冷却を維持できます。6個のポンプを効率良く実装するために、ポンプを斜めに配置したり、ポンプの角に大きな面取りを作ったり、ケーブルの引き回し位置を決めたりと、こだわりのある外観も特徴です。

Liquid Loop Coolingユニットの構造

また、ファンからの送風を効率よく、かつ幅広い範囲で均等に行き渡らせることで冷却効果を高めるため、ラジエータの両翼の4対のマイクロチャンネルチューブにおいて、厚み、奥行き、チューブに融着しているコルゲートフィンの形状、チューブ間隔等を決めています。
次はビジネスサーバに求められる、メンテナンスフリーを可能にする取り組みです。Liquid Loop Cooling ユニットは、従来の液体冷却サーバのように冷却液の入れ替えや、耐用年数内で補充する必要はありません。また世界中のお客様に使っていただくため、過酷な寒冷地輸送を想定した設計となっています。これらを実現したのは防錆剤、防腐剤などをはじめとする冷却液の成分に秘密があります。冷却性能を左右するものでもあり、特に苦労しました。

Liquid Loop Coolingユニットの断面構造（内部カットモデル）

ところで、お客様からLiquid Loop Coolingにおける液漏れを懸念される声を聞くことがありますが、ご安心ください。
まず、液漏れを部品レベル、Liquid Loop Coolingユニットレベル、サーバシステムレベル、それぞれのレベルでしっかり対策を講じています。部品レベルでは高い安全率や長寿命を確保した部品設計を行い、ユニットレベルではサードパーティによる認証試験に適合させるなどの客観的な評価を受けています。そして、サーバシステムレベルではポンプ電源や制御信号の多系統化などを行っています。

万が一、これら三重の対策をすり抜けなんらかの異常状態になったとしても、複数のセンサーで温度やポンプ回転状態などの異常を確実に見つけ出し、早期に動作を止めて大事を防ぎます。検出はファームとハードの両方で補完するようにし、ハードの検出回路には自動自己診断機能も付けました。このように、何重にも対策を講じています。

我々は、液漏れでお客様に絶対に迷惑をかけないことを肝に命じて、取り組んでいるのです。

篠部賢二

メインフレームの冷却技術も担当する篠部は、シミュレーション技術を担当し、信頼性の確保や開発スピードアップに努めた。今回創りだした富士通の冷却技術の特許化も推進し、他社の追随を許さない技術を確固たるものにしている。

世界中のベンダがサーバ開発に凌ぎを削る中、年々開発スピードの向上が求められます。
私たちは、長年にわたる数多くの製品開発から、冷却や実装などのさまざまな技術やノウハウを蓄積しています。それらをシミュレーション技術に活用することにより、モノ（ハードウェア）を全て作り出さなくても、開発や信頼性の検証を行うことができるのです。今回の開発においても、複数のプランを検討し、サーバとしては短い期間で開発を行うことができたのも、このシミュレーション技術とモノ作りをうまく組み合わせた成果です。

もちろん、シミュレーション技術をより正確なものにするためには、裏付けデータの蓄積が必要です。例えば、Liquid Loop Coolingの液漏れを予防するために冷却液を沸騰させる実験を行ったのですが、開発期間が限られている中、十分なデータを確保するためにチームのメンバーが交代で徹夜する日々が続きました。
また、目標とする機能や性能の実現のため、何か問題が発生すると、プロセッサ開発部門やサーバ本体のシステム設計部門、そして私たち冷却部門が協力して検討を行うということが何度もありました。さまざまな冷却のシミュレーション技術も駆使しながら、プロセッサやメモリの距離を短縮化し、性能向上を達成することができました。これは、サーバ設計にかかわる開発者が同じ場所で一体となって開発しているからこそできることで、富士通の底力だと思っています。

Series 2. いま、なぜ、UNIXサーバに懸けるのか（アイデアとチームワークで高性能をコンパクトな筺体に凝縮）

他社のUNIXサーバの冷却は、ほとんどが空気冷却を採用しています。液体冷却のメリットは認しているものの、実装技術や信頼性の確保の点からなかなか採用に踏み切れないようです。しかし、今回私たちがLiquid Loop Coolingによるハイブリッド冷却に成功したことで、他社は液体冷却の採用を考えはじめているという話を耳にします。
ここまでの高密度実装や高い冷却性能の確保は、一朝一夕にはできないと思っていますが、知的財産確保の面からも他社が追随できないよう特許化の推進を行っています。今回の開発では、すでに出願済みの特許件数だけでも冷却関連で15件、サーバ全体で180件以上にのぼっています。海外へも随時出願しており、全世界で合計400件以上を出願予定です。（国内外含む特許取得済/出願中の合計数）現在、特許申請中のものが多く、公開情報になっていないため、我々の先進性をさらに詳細をお伝えすることができず、非常に残念です。

しかしながら、このようなSPARC M10の取組みは確実に認められ、環境省による「平成25年度地球温暖化防止活動環境大臣表彰」や「日刊工業新聞社十大新製品賞本賞」の受賞につながっているのだと思います。

平成25年度地球温暖化防止活動環境大臣表彰
授賞式