デジタルトランスフォーメーション(DX)の取り組みが加速する中、様々なシステムから収集した大量データを分析して新しい価値を見つけるというニーズが高まり、計算需要も爆発的に増大しています。AIに関する計算量だけを見ても、AlexNetに代表される大規模Deep Learning技術が登場した2012年から今日までに、AI処理の計算需要は30万倍に膨れ上がったとも言われています。
一方で、半導体の微細化による性能向上の余地はますます小さくなっています。増大化の一途をたどる計算需要をまかなうため、微細化に加え、メニーコア化、ドメイン特化といった新たなアプローチも登場しています。一方、これらの技術を活用するには並列処理や専用言語の使いこなしなどソフトウェア面での高度な技術も必須です。しかし、そうした最先端のソフトウェア技術は一部の専門家にしか使いこなせないという問題がありました。
例えば、2019年4月に富士通は世界最速のDeep Learning高速化技術を発表しました。画像認識のディープニューラルネットワークにおける学習時間の速度で、従来記録を30秒も短縮するというこの快挙も、高度なスキルを備えた専門家が時間をかけてパラメータをチューニングしながら試行錯誤を繰り返した末に達成できたものなのです。
「専門家の手を借りるのではなく、誰が使っても高速に処理できるコンピューティングこそが、本来あるべき姿なのではないか」 ―― プロジェクト当初からのメンバーである、ICTシステム研究所 先端コンピュータシステム プロジェクトの角田有紀人によると、AIに限らず様々な計算処理を高速化する新しいコンピューティング技術「Content-Aware Computing」の研究開発は、そんな疑問の投げかけから始まりました。
ニューラルネットワークのコンピューティング性能を向上させる技術には、例えば通常32ビットの演算精度で計算するものを8ビットの精度に落とす代わりに4倍の並列演算を実行して性能向上を実現するという既知の手法があります。しかし、ニューラルネットワークすべての層において演算精度を一律に落とすと必要な演算結果の精度が担保できないため、専門家が手動で各層の演算精度の調整を行う必要がありました。Content-Aware Computingがまず目指したのは、こうした演算精度の調整を自動化する技術を開発することでした。この部分を担当したのがプラットフォーム革新プロジェクトの坂井靖文です。富士通研究所へ入社後にスーパーコンピュータのデータ通信回路設計などに従事し、その後米国に留学してDeep Learningやビット削減技術を学んだ研究員です。
もう一つの技術は同期緩和技術です。ディープラーニングの並列計算では、全ノードの計算が終わるとその学習結果を集計し、学習情報を更新します。この学習と集約を、必要な学習精度に達成するまで繰り返します。しかし、クラウド・並列環境では、ネットワークの競合などによる一部ノードでの一時的レスポンス低下の発生は避けられません。レスポンスが遅れたノードの処理を待っていては、システム全体の性能が大幅に低下してしまいます。レスポンスの遅いノードの計算を打ち切れば処理を早めることができますが、一方で、1回あたりの学習効果は低下してしまうため、必要な学習精度に達成するまでの全体の学習回数は増えることになります。この課題の解決には、スーパーコンピュータシステムの研究開発に取り組んできたプラットフォーム革新プロジェクト 三輪真弘の知見が活かされました。
Content-Aware Computingは、ビット削減技術と同期緩和技術という2つの技術の融合によってAI処理の高速化を実現したものです。スーパーコンピュータを使ってContent-Aware Computingの効果を検証したところ、新しいビット削減技術によって約3倍、同期緩和技術によって約3.7倍、AI処理をトータル最大10倍まで高速化することに成功したのです。しかも、データの分布や実行時間などの中身を見ながら、自動的にムダな厳密性を落とすので、これまでは専門家でなければ実現できなかった性能向上の効果を誰もが享受することができます。
こうして2019年10月に新しいコンピューティング技術として発表されたContent-Aware Computingですが、富士通研究所では現在、同技術が適用可能な業務分野を探るとともに、機能テストや改善に取り組んでいます。そうした業務を手がけているのが、これまで回路設計などの研究を行っていた先端コンピュータシステム プロジェクトの高虹です。
このプロジェクトは、現在10名近くの体制で取り組み、実用化に向けた研究開発を行っています。プロジェクトでは、回路設計とDeep Learningの双方の知見を持つ坂井や、三輪のようなスーパーコンピュータシステムの通信に関する専門家、ほかにもGPUやコンパイラ、Deep Learningのフレームワークなど、それぞれの分野の叡智を集めて研究が進められています。「そうした専門家が互いに自身の分野の知恵を出し合いながら、プロジェクトを進めています」と角田は話します。
ちなみに角田、高はもともとハードウェア設計(半導体デバイスなど)が専門の研究者でしたが、今回のプロジェクトにはこれまでの経験や知見も活かされているといいます。「デバイスの設計やシミュレーションを行ってきた私からすると、そうしたものにAIを活かすことができるのではないかという視点も今の研究に活きています。ユーザー側の立場からも使いやすさを追求していきたい」と角田は話します。また高も「私は4月からプロジェクトに入ってDeep Learningを学び始めたばかりですが、回路設計で得た知見を応用できる面があると感じています」と話します。
Content-Aware Computingの最終的な目標は、必要な演算精度を保ったままコンピューティングを高速化し、さらに使いやすさも備えた技術として確立させることです。その目標に向け、プロジェクトでは様々な施策に取り組んでいます。
「今後も富士通の事業部門や外部の研究機関との会話を通じ、新たな使い方を探っていきたいと考えています。将来的には、様々なクラウドサービス、富士通のプラットフォーム製品などの様々なプラットフォーム上でContent-Aware Computingを使えるようにしたいと考えています」(角田)
また坂井も「AIそのものの研究開発には、富士通研究所の人工知能研究所が活発に取り組んでいますが、そうした進化を、計算機の高速化によって支えるのが私たちの役割です」と語ります。コンピューティング技術の限界にチャレンジし、AI時代を陰から支えるContent-Aware Computingの研究・開発をこれからもまだまだ進めていきます。