近年、カメラで撮影した映像から人を識別する顔認識技術が様々な領域で活用されるようになりました。最近は同技術をさらに発展させ、人の感情の推定などを目的に、顔の映像から様々な人の表情を認識する表情認識技術の研究開発が進められており、富士通研究所でも研究のテーマの1つとして同技術の開発に取り組んできました。この取り組みについてトラステッドAIプロジェクトの斎藤淳哉はこう説明します。
「これまでの表情認識技術では、笑顔や怒りなどの比較的わかりやすい表情変化を対象とした研究や実用化が主流でした。しかし、我々の目指している、マーケティング分野での顧客の反応の分析や、医療分野での患者の様子の観察といった応用に向けては、このような技術では不十分で、納得や戸惑いなどの細やかな表情変化を捉えられる技術の開発が必要でした。ただ、表情の捉え方は人によってぶれることがあるため、そもそも、微妙な表情をどのように客観的に定義するかという問題がありました」と斎藤は説明します。
これに対するアプローチとして富士通研究所が注目したのが、解剖学的知見に基づいて提唱された、顔の筋肉に対応付けて顔の各部位の動作を記述する「Action Unit（アクションユニット）」です。
「Action Unitは、心理学の表情研究分野などで活用されているもので、顔の表情筋に対応付けて、約40種の動作が定義されています。表情の捉え方には個人差がありますが、Action Unitは筋肉の動きに基づくため客観的に定量化することができます。これを技術の出発点とすることにして、表情認識技術の研究開発がスタートしました」（斎藤）
富士通研究所は、この表情認識技術の研究開発を本格化させるために、2018年から米国カーネギーメロン大学（CMU）との共同研究を開始。Action Unitに基づいて、細やかな顔の表情変化を検出する技術の研究開発に着手しました。現在、米国に在住し、現地にて同大学と連携を取りながら研究を行っているのが、Fujitsu Laboratories of America, Inc.（FLA）の新沼厚一郎です。
「富士通研究所では従来から人をセンシングする技術を研究してきましたが、表情と感情を結び付けるには、IT技術だけでなく、心理学などによる幅広い知見を取り込まなければなりません。そこで、この分野の研究で先行するCMUと協力し、共同で研究開発を進めています」（新沼）
富士通研究所では、表情認識技術の精度を高め、その技術を応用したアプリケーションを開発し、実用化することを目指しています。これまでの研究により、Action Unitを高精度に認識できるようになってきました。
「IEEE（米国電気電子学会）が2020年10月に開催した国際学会のコンペティションにおいて、富士通研究所の技術はNo.1の認識精度を達成しています。この世界一の精度が、私たちのアピールポイントです」（斎藤）
実用化に向けたPoC（概念実証）も始まっています。例えば、富士通グループの従業員と家族、医療保険者・企業・一般個人を対象に健康サービスを提供するベストライフ・プロモーションでは、特定健康保険指導をリモートで行う際に、対象者の情報提供を保健師に伝える手段の1つとして表情認識技術を利用した実証実験が行われています。
「コロナ禍によりテレワークの実施が拡大する中、オンラインコミュニケーションでは相手の感情や体調を推し測ることが難しいという問題に直面しています。そうした課題解決の手段として表情認識技術を利用すれば、非対面であっても相手の微妙な顔色を窺い知ることができるなど、よりリアルに近いコミュニケーションを実現する一助になります。このようなテレワークの働き方改革およびヘルスケア・健康管理の領域を中心に、複数のPoCを実施しています」（斎藤）
富士通研究所が進める表情認識技術のプロジェクトは現在、顔を撮影した画像からAction Unitを検出する基礎技術を開発するメンバーと、それら基礎技術をベースに実用化に向けた応用研究を進めるメンバーに大きく分かれた体制で進められています。前者のうち、米国の最先端の技術を取り入れながら研究開発に従事するのが、多くの画像認識プロジェクトでの研究開発経験を持つ新沼です。
「富士通研究所入社後は、生体認証のアルゴリズム開発やAR（拡張現実）/VR（仮想現実）など主にコンピュータビジョン系の研究開発に携わってきました。今回の研究開発プロジェクトを立ち上げるときに自ら手を挙げ、2018年に米国に赴任しました。現在はCMUとアカデミックな研究開発を進めながら、その成果として得られた技術を日本にフィードバックするという業務が私のミッションです」（新沼）
一方、日本側で基礎技術の研究開発に従事しているのが斎藤です。
「私は富士通研究所に入社してから一貫して人にかかわる研究開発に携わってきました。最初は音声合成技術の研究開発に従事し、2年前からは現在のAction Unitに基づく表情認識技術の研究開発に取り組んでいます。現在では、米国からフィードバックされた技術をブラッシュアップし精度を高める基礎研究を担当しています」（斎藤）
日米の2名を中心に開発された技術を応用技術への開発へと橋渡しをする上で大きく貢献しているのが、基礎技術と応用技術の両方を担当するトラステッドAIプロジェクトの川村亮介です。大学では顔の表情から心理状態を推定する研究に取り組んできた経歴の持ち主です。
「表情認識技術の実用化に当たっては、メガネや髪型、ヒゲの有無などの顔に付随する特徴が問題になることがわかりました。そこで、そういった特徴による影響にも耐えられるよう、認識モデルの改善に取り組んでいます。また、実際の応用に向けた取り組みとしては、大学などの教育機関と連携し、表情認識技術を使ってe-learningにおける学生の心理状態や集中度を推定し、教育効果の改善に取り組むという研究を進めています」（川村）
表情認識の応用は、教育分野だけでなく多種多様な業務領域への活用が期待されており、富士通研究所でも、いくつかの実証実験が進んでいます。現場へどのように活かすかという応用技術の中心人物がトラステッドAIプロジェクトの陽奥幸宏です。
「私自身の研究領域としては、触感タッチパネルなど機械工学系からスタートしましたが、その後、脈拍からストレスを測定するなど、現在のテーマに通じる『人に関する研究開発』にシフトしました。現在では、工場の生産現場で作業する従業員や運転中のドライバーの表情から集中度を推測し、安全管理に役立てるといった実証実験や共同研究に取り組んでいます」（陽奥）
国際学会のコンペティションでNo.1の認識精度を達成し、複数のPoCが始まるなど順調に開発が進む富士通研究所の表情認識技術ですが、商用技術として実用化するまでにはまだ課題も残されています。
「コンペティションではNo.1の精度を達成できましたが、様々なアプリケーションへの実用化を考えると、まだまだ改善すべき点があります。例えば、一部のAction Unitについては精度がまだ低く、今後はそういったものも、精度を高められるようにしていきたいと考えています」（斎藤）
「応用技術を開発するにあたっては、一般のユーザから見て納得性の高いモデルを作り出すことが課題です。例えば学生の遠隔授業の様子を見ていると、『真面目に集中している状態』『うわのそらの状態』というのが仕草で分かります。こういった仕草と心理推定のミスマッチがないように、日米中で映像データを収集し、多人数でその状態を評価することで、多様かつ客観性の高い学習データを作り、納得性の高いモデルを構築しています。今後は、もっと多くのデータを集め、より納得性の高いモデルに改善していきたいと考えています」（陽奥）
最先端の知見を有する国外の教育・研究機関と連携した技術の共同研究などアカデミックな部分から、研究開発の成果を実用化・商用化するビジネスの部分まで、一貫した体制で研究開発に取り組む表情認識のプロジェクトは、まさに富士通研究所の強みが最大限に発揮されています。
コロナ禍によって社会や生活が大きく変化し、新たな課題が生じる中、富士通研究所ではこれからも、表情認識の技術をはじめとする「人」にフォーカスしたアプローチで世の中の課題を解決していきます。
