行動分析技術Actlyzerでリアル店舗における
コンテキストマーケティングを実現可能に

なぜ買ったか、なぜ買わなかったか、行動からコンテキストをとらえる

富士通研究所が開発している行動分析技術Actlyzer（アクトライザー）では、約100種類の人の基本動作を認識し、それらを組み合わせて複雑な行動を認識します。今回、動作の組み合わせや時系列の変化に加えて、人物の属性、複数人の関係性、対物関係性など、あらゆる動画のシーンを行動シーングラフとして表現し、認識する関係性センシング技術を開発し、Actlyzerの機能を拡張しました。

一般的な行動認識では、ある人物が何かを行っていることを認識しますが、「二人組が商品棚の前で商品について会話している」などの状況は、会話という相互関係や商品棚との位置関係をとらえる必要がありました。関係性センシング技術では、個別の人物だけでなく、「人・モノ・環境」の関係性をグラフ表現した行動シーングラフとして認識します。そして、1フレームの出来事だけでなく、数分～数十分の時系列のシーンを認識する処理を、現場に設置されたエッジデバイスでリアルタイム実行することができます。

なお、本技術は、顔など個人を特定する情報が映像に写り込んだとしてもこれを用いず、映像も残さない形で行動のデータを取得することができる技術ですが、実際の運用にあたっては適用される国・地域の法制度、文化等を踏まえてプライバシー保護への対応が必要になります。

図1　複数人の関係性を表現する行動シーングラフの例

以下、２つの動画は、複数人の関係性を店舗内での行動から認識し、行動シーングラフとして表現しています。

シーン1：インテリアショップにて二人で商品を選ぶ

シーン1は「二人組の一人は購入意欲があり商品を手に取ったが、もう一人との会話後棚に戻し買わなかった」という行動の認識例です。商品棚から商品を取る、戻すという行動を、映像中の商品棚領域に対する顧客の手元の画像特徴の変化から認識します。これにより、非購買時の状況を記録し、売場改善に役立てることができます。

シーン2：購買心理モデルを活用した接客

シーン2では、商品に対する行動を購買の心理段階と対応付け、購買意欲の高まりをとらえて最適なタイミングで接客を行っています。顧客は購買に至るまでに、商品に注目し(Attention)、興味を持ち(Interest)、「欲しい」になり(Desire)、購入に至る(Action)、といった心理段階があります。それらの段階の頭文字をとった*AIDA、AIDMA、AIDCAなど様々な心理モデルが提案されています。関係性センシング技術により、購買・非購買に至る様々な状況をとらえて、コンテキストとして記録していく事が可能です。

* AIDA、AIDMA、AIDCAの法則：消費者の購買決定に至る心理段階のモデル。
　AIDA：　　Attention（注意）⇒ Interest（関心）⇒ Desire（欲求）⇒ Action（行動）
　AIDMA：　Attention⇒ Interest⇒ Desire⇒ Memory（記憶）⇒ Action
　AIDCA：　Attention⇒ Interest⇒ Desire⇒ Conviction（確信）⇒ Action

売場レイアウトを認識する技術で運用を容易に

リアル店舗では商品棚のレイアウトやカメラ設置位置が店舗毎に異なり、レイアウト変更も発生します。「商品棚に対する手伸ばし」といった動作は、映像中の棚の領域を指定することで認識できますが、店舗数が多く、店舗内で複数のカメラが存在する場合には、この領域指定の工数が導入の障害になります。そこで、一定時間カメラを設置しておくだけで複数人の店舗内の回遊行動をもとに、映像中の商品棚の領域を推定する環境センシング技術を開発しました。この技術では、「多くの客が棚を見ながら通り過ぎる」商品棚特有の動作と、Deep Learningによる物体領域分割を統合して棚領域と棚前通路を認識し、領域指定を自動化します。これにより、同一のコンテキスト分析を行う複数の店舗への展開や、売場レイアウト変更・拡大への対応を容易にします。

図2　環境センシング技術

■開発者コメント

先端融合技術研究所、ソフトウェアテクノロジー事業本部　開発チームメンバー

我々のプロジェクトでは、AI映像認識分野のトップカンファレンスへの採択や、様々なベンチマーク・コンペティションの世界一を目指すとともに、技術の現場実践や導入も進めています。今回の技術は、リアル店舗におけるこれまでの行動認識技術の課題を解決するものですが、店舗にとどまらず、ものづくり、公共など様々な分野での活用が可能です。これからも、最先端の技術により社会課題を解決する研究開発をしていきます。

今後について

本技術の現場実証を進め、GREENAGES Citywide Surveillance行動検知の機能として、2022年度中の実用化を目指します。さらに、人文社会科学の知見を融合し、潜在的な顧客の欲求までを認識するコンバージングテクノロジーの開発を進めていきます。

関連情報

・Fujitsu Technical Computing Solution GREENAGES Citywide Surveillance
リアル空間のデータを活用して、ニューノーマルにおける"顧客価値の最大化" を提供しつづけるサービス

・映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer」を開発 （2019年11月25日プレスリリース）

本件に関するお問い合わせ

fj-actlyzer-contact@dl.jp.fujitsu.com

EEA (European Economic Area) 加盟国所在の方は以下からお問い合わせください。
Ask Fujitsu
Tel: +44-12-3579-7711
http://www.fujitsu.com/uk/contact/index.html

Fujitsu, London Office
Address :22 Baker Street
London United Kingdom
W1U 3BW