English技術者インタビュー

計算精度を自動調整する「Content-Aware Computing」により、AI処理を10倍高速化

English
 

人工知能(AI)の活用が広がるに伴い、高速な処理を実行するコンピューティング需要が高まっています。そんなAI処理の高速化に貢献するのが、富士通研究所 ICTシステム研究所が開発した「Content-Aware Computing」です。AI処理を最大10倍高速化するというコンピューティング技術をどのように実現することができたのか。研究開発に携わったプロジェクトメンバーに話を伺いました。

2020年2月19日 掲載

MEMBERS

  • 角田 有紀人

    角田 有紀人

    Tsunoda, Yukito

    富士通研究所
    ICTシステム研究所
    先端コンピュータシステム プロジェクト

  • 高 虹

    高 虹

    Gao, Hong

    富士通研究所
    ICTシステム研究所
    先端コンピュータシステム プロジェクト

  • 坂井 靖文

    坂井 靖文

    Sakai, Yasufumi

    富士通研究所
    プラットフォーム革新プロジェクト

  • 三輪 真弘

    三輪 真弘

    Miwa, Masahiro

    富士通研究所
    プラットフォーム革新プロジェクト

誰でも扱いやすい、高速に処理できるAIを目指す

デジタルトランスフォーメーション(DX)の取り組みが加速する中、様々なシステムから収集した大量データを分析して新しい価値を見つけるというニーズが高まり、計算需要も爆発的に増大しています。AIに関する計算量だけを見ても、AlexNetに代表される大規模Deep Learning技術が登場した2012年から今日までに、AI処理の計算需要は30万倍に膨れ上がったとも言われています。

一方で、半導体の微細化による性能向上の余地はますます小さくなっています。増大化の一途をたどる計算需要をまかなうため、微細化に加え、メニーコア化、ドメイン特化といった新たなアプローチも登場しています。一方、これらの技術を活用するには並列処理や専用言語の使いこなしなどソフトウェア面での高度な技術も必須です。しかし、そうした最先端のソフトウェア技術は一部の専門家にしか使いこなせないという問題がありました。

例えば、2019年4月に富士通は世界最速のDeep Learning高速化技術を発表しました。画像認識のディープニューラルネットワークにおける学習時間の速度で、従来記録を30秒も短縮するというこの快挙も、高度なスキルを備えた専門家が時間をかけてパラメータをチューニングしながら試行錯誤を繰り返した末に達成できたものなのです。

「専門家の手を借りるのではなく、誰が使っても高速に処理できるコンピューティングこそが、本来あるべき姿なのではないか」 ―― プロジェクト当初からのメンバーである、ICTシステム研究所 先端コンピュータシステム プロジェクトの角田有紀人によると、AIに限らず様々な計算処理を高速化する新しいコンピューティング技術「Content-Aware Computing」の研究開発は、そんな疑問の投げかけから始まりました。

「複雑で使いづらい技術では、様々な計算処理を高速化するというニーズに応えることはできません。高性能なコンピューティングを利用する立場から、速いだけでなく使いやすい技術を実現するにはどうすればよいかというところから、研究開発がスタートしました」(角田)

高速化の鍵を握る2つの新技術

ニューラルネットワークのコンピューティング性能を向上させる技術には、例えば通常32ビットの演算精度で計算するものを8ビットの精度に落とす代わりに4倍の並列演算を実行して性能向上を実現するという既知の手法があります。しかし、ニューラルネットワークすべての層において演算精度を一律に落とすと必要な演算結果の精度が担保できないため、専門家が手動で各層の演算精度の調整を行う必要がありました。Content-Aware Computingがまず目指したのは、こうした演算精度の調整を自動化する技術を開発することでした。この部分を担当したのがプラットフォーム革新プロジェクトの坂井靖文です。富士通研究所へ入社後にスーパーコンピュータのデータ通信回路設計などに従事し、その後米国に留学してDeep Learningやビット削減技術を学んだ研究員です。

「現在実用化されている、あらかじめ決められた層のビットのみ削減して高速化するという技術では、どの層にビット削減を適用するか決めることが難しく、専門家があらかじめ試行錯誤しなければならないという課題がありました。この課題を解決する技術として開発したのが、実行時に計算の中身を見て、各層のデータ分布が広い層では32ビット、分布が収束してきた層では8ビットというように、演算精度の適用度合いを自動で判断・制御する新しい『ビット削減技術』です。この技術のアイデアは、以前私が専門にしていた回路設計の分野では一般的なフィードバック制御の手法から浮かんだものでした」(坂井)

もう一つの技術は同期緩和技術です。ディープラーニングの並列計算では、全ノードの計算が終わるとその学習結果を集計し、学習情報を更新します。この学習と集約を、必要な学習精度に達成するまで繰り返します。しかし、クラウド・並列環境では、ネットワークの競合などによる一部ノードでの一時的レスポンス低下の発生は避けられません。レスポンスが遅れたノードの処理を待っていては、システム全体の性能が大幅に低下してしまいます。レスポンスの遅いノードの計算を打ち切れば処理を早めることができますが、一方で、1回あたりの学習効果は低下してしまうため、必要な学習精度に達成するまでの全体の学習回数は増えることになります。この課題の解決には、スーパーコンピュータシステムの研究開発に取り組んできたプラットフォーム革新プロジェクト 三輪真弘の知見が活かされました。

「処理を打ち切った場合の処理時間の削減量、演算結果への影響度を動的に予測し、演算結果を劣化させない範囲で処理時間を最大限に削減できるように、演算の打ち切り時間を自動的に調整・制御する『同期緩和技術』を開発しました」(三輪)

Content-Aware Computingは、ビット削減技術と同期緩和技術という2つの技術の融合によってAI処理の高速化を実現したものです。スーパーコンピュータを使ってContent-Aware Computingの効果を検証したところ、新しいビット削減技術によって約3倍、同期緩和技術によって約3.7倍、AI処理をトータル最大10倍まで高速化することに成功したのです。しかも、データの分布や実行時間などの中身を見ながら、自動的にムダな厳密性を落とすので、これまでは専門家でなければ実現できなかった性能向上の効果を誰もが享受することができます。

性能と使い易さを両立するContent-Aware Computingの図

性能と使い易さを両立するContent-Aware Computing

各分野の専門家がプロジェクトに集結

こうして2019年10月に新しいコンピューティング技術として発表されたContent-Aware Computingですが、富士通研究所では現在、同技術が適用可能な業務分野を探るとともに、機能テストや改善に取り組んでいます。そうした業務を手がけているのが、これまで回路設計などの研究を行っていた先端コンピュータシステム プロジェクトの高虹です。

「少子高齢化などの社会的な課題を解決するために、これからは介護ロボットや自動運転車などAI処理を高速化する技術へのニーズは確実に高まると予想されます。Content-Aware Computingは、そうした新たなサービスやDXアプリケーションにも適用し、社会に貢献できると考えています。ただし、ビジネスの現場で実用化するには、もっと使いやすくするなど乗り越えなければいけないハードルがあります。今後はそうした課題解決に1つずつ取り組んでいく予定です」(高)

このプロジェクトは、現在10名近くの体制で取り組み、実用化に向けた研究開発を行っています。プロジェクトでは、回路設計とDeep Learningの双方の知見を持つ坂井や、三輪のようなスーパーコンピュータシステムの通信に関する専門家、ほかにもGPUやコンパイラ、Deep Learningのフレームワークなど、それぞれの分野の叡智を集めて研究が進められています。「そうした専門家が互いに自身の分野の知恵を出し合いながら、プロジェクトを進めています」と角田は話します。

ちなみに角田、高はもともとハードウェア設計(半導体デバイスなど)が専門の研究者でしたが、今回のプロジェクトにはこれまでの経験や知見も活かされているといいます。「デバイスの設計やシミュレーションを行ってきた私からすると、そうしたものにAIを活かすことができるのではないかという視点も今の研究に活きています。ユーザー側の立場からも使いやすさを追求していきたい」と角田は話します。また高も「私は4月からプロジェクトに入ってDeep Learningを学び始めたばかりですが、回路設計で得た知見を応用できる面があると感じています」と話します。

様々なプラットフォームへの展開に期待、使いやすい技術を目指す

Content-Aware Computingの最終的な目標は、必要な演算精度を保ったままコンピューティングを高速化し、さらに使いやすさも備えた技術として確立させることです。その目標に向け、プロジェクトでは様々な施策に取り組んでいます。

「今後も富士通の事業部門や外部の研究機関との会話を通じ、新たな使い方を探っていきたいと考えています。将来的には、様々なクラウドサービス、富士通のプラットフォーム製品などの様々なプラットフォーム上でContent-Aware Computingを使えるようにしたいと考えています」(角田)

また坂井も「AIそのものの研究開発には、富士通研究所の人工知能研究所が活発に取り組んでいますが、そうした進化を、計算機の高速化によって支えるのが私たちの役割です」と語ります。コンピューティング技術の限界にチャレンジし、AI時代を陰から支えるContent-Aware Computingの研究・開発をこれからもまだまだ進めていきます。

集合写真

このページをシェア

  • facebook
  • twitter
  • LinkedIn
  • LINE
  • Weibo

Recommend

 
 

Connect with Fujitsu Research

LinkedIn
Twitter
YouTube
ページの先頭へ