Innovation Focus

表情研究をさらに推進するために――富士通研究所がオンライン・ユーザーグループ調査を活用

2020年10月12日

AIの台頭により、人間と機械のコラボレーションが今後ますます進化すると期待されています。富士通研究所は様々な心理状態を検出する表情認識技術の研究を長らく行ってきました。その目標は、人間と機械のコラボレーションのために、人間の反応や行動を機械がより効果的かつ正確に理解できるようにすることです。

富士通研究所の認識技術は、個々の表情筋や表情筋群に対応した基本動作である「アクションユニット(AUs)」をベースに、表情の微妙な変化を高い精度で検出できます。富士通研究所は、このAUsベースの認識技術とそれに関連するAIモデルを用いて顔表情から人間の感情を検出する研究を重ねてきました。そのシナリオも、集団における人間どうしのやりとりや遠隔間でのミーティング時の反応など拡大しています。ここ数年で複数の研究論文を発表しており、実験プロジェクトも実施しています。

富士通研究所による表情認識技術のデモ

表情認識技術をグループミーティングへ応用

この研究開発を推し進め、表情認識技術をさらに正確で高度なものに発展させるために、富士通研究所はいくつかの実験をオンラインで実施しました。その実験では、被験者はコンピュータ上で、集中を要する様々な難易度の認知テストとアンケート回答を行います。その狙いは、ユーザーのタスクパフォーマンスが表情とアンケートの結果にどう対応するのかを調査することです。認知テストは神経科学、心理学、行動科学に基づいて設計されています。実験は日本人参加者を対象に行われ、得られたデータはAIモデルの構築に役立ちました。

オンライン・ユーザーグループ研究に使用した認知テスト

認知テストの実行中に記録された参加者の顔データ

研究の次のステップとして、富士通研究所は日本人だけではなく、地域・年齢・性別などの属性で分類した様々なカテゴリのユーザーを集め、AIモデルをより包括的で信頼性の高いものにする必要があると考えました。しかし、このアプローチにはいくつかの課題がありました。1つ目の課題は、時間的な制約です。実験を行い、研究プロジェクトのマイルストーンを達成するまでに利用できる時間はわずか3週間でした。

2つ目の課題は、異なる属性のユーザーをどのようにして集めるかです。参加者は認知テストを実行中に顔データの録画に応じることが条件となります。これに加えて、一定レベルのコンピュータ操作スキルも必要です。

採用プロセスを加速するため、富士通研究所はこのプロジェクトのパートナーとして、オンラインで参加者を募集するプラットフォームを提供するLiveMindsを選びました。LiveMindsのプラットフォームは過去のオンライン活動の実績に基づいて、大規模に要件を満たす候補者を特定することができます。また、実際にLiveMindsは今回の実験で必要なオンライン動画録画の参加者を募集した経験もありました。

様々な場所にいる参加者に対して、円滑なユーザーエクスペリエンスとコミュニケーション手段を提供するために、富士通研究所は専用のWebサイトを立ち上げました。実験プロセスを完全にデジタル化、自動化することで、参加者は専用のWebサイトにアクセスしてアプリケーションをダウンロードしたり、自分のデータとアンケート回答をアップロードしたりするなど、遠隔からでも実験に参加できました。

最終的に、LiveMindsを通じて120人以上のユーザーがオンライン実験の参加者として採用されました。そのうち90人が全てのテストを完了し、動画データ、テストスコア、アンケート回答をアップロードしました。

こうしてLiveMindsの効率的なオンライン求人プラットフォームと富士通研究所のプロセスの自動化およびデジタル化が功を奏して、データ収集プロジェクトは当初の予定通り3週間以内に完了しました。プロジェクトで得られた多様なデータを使って、様々な心理状態を対象に、より性能と精度が高い新しい表情認識モデルを構築できました。

プロジェクトが終わりに近づくにつれて、世界的に流行した新型コロナウイルスの影響を受けて対面での活動が制限されるようになりました。消費者のフィードバックを入手するためにフィールドベースの調査やフォーカスグループ※に依存しているブランドにとって、これは大きな課題となるでしょう。これから先、企業がフォーカスグループを含むオンライン市場調査を行うにあたり、富士通研究所は、顔認識技術とオンライン実験を組み合わせた革新的なソリューションを提供できると信じています。物理的に参加する必要もなく、地理的な境界も関係なく、ユーザーから洞察を得ることができるようになります。

今回のパンデミックにより、マーケティングリサーチなど多くの分野でデジタル変革の導入が加速しました。富士通研究所では表情認識技術のような革新的なソリューションを活用することで、オンライン調査、ユーザー調査、フォーカスグループへの参加者のエンゲージメントを定量化できるようになると信じて、近い将来この調査からの研究成果を発表し、実証実験のために技術の提供を開始する予定です。

※定性調査の手法の1つ。試作品やコンセプト案などについて、ユーザー数名が集まり対話形式で自由に発言してもらうことでユーザーのフィードバックを得ることを目的とする。

詳細については、弊社の研究チームquery-ferecog@ml.labs.fujitsu.comまでお問い合わせください。

関連リンク

富士通研究所についてもっと詳しく

ページの先頭へ