研究チームに聞く！ パーソナライズされたサービス、不審者の検出など、常時認証技術が実現する未来

内田：常時認証技術は、生体認証による本人確認結果をカメラで撮影された人物と紐づけることで認証状態を維持しながら、その人物を精度良く追跡し続ける技術です。人物が一時的に障害物に隠れても、視野が重ならない複数のカメラをまたいで移動しても、この追跡は途切れません。常に認証されている状態であるため、「常時認証」と呼んでいます。

高木：これまで、モノの提示や入力の手間が不要な認証手段として、顔や指紋など複数の要素を組み合わせたマルチ生体認証の研究開発を行ってきました。さらに利便性を高めるために、利用者が認証操作や動作を意識することのない新たな認証技術を実現し、いつでもどこでも認証状態を維持することで、人の行動にあわせてパーソナライズされたサービスや今までにない安心を提供できる世界をつくりたい、と考えたことが開発のきっかけです。

花田：2023年3月から2024年6月まで、ミサワホーム様の住宅展示場で実証実験を行いました(*1)(*2)。シェアオフィスにおいて常時認証で提供できるサービスを考え、様々なお客様に体験していただきました。例えば、入口の受付で認証を行わず利用者が入ってきた場合、常時認証で検出しアラートを出します。認証後は、PCの自動ロック解除や、利用者がソファに座ると好みの音楽を流したりするなど、追跡と認証を組み合わせたサービスを提供しました。またIoT機器との連携や、行動分析技術Actlyzer(*3)による「倒れている」などの人の状態を検知してアラートを出すなど、様々な応用例を実証しました。

花田：今はまだ住宅のひとつの部屋の中など、ひとつの空間が主な対象です。限られたエリアではありますが、ミサワホーム様の住宅展示場のように、多くのものが置かれた複雑な環境で、人が観葉植物などに隠れて一時的に見えなくなっても追跡し続けることができるようになりました。今後は、対象エリアを広げていくため、考えられる課題の解決に取り組んでいます。その中で、昨年は空港にて実証実験を行いました。

内田：はい、中部国際空港セントレアにて実証実験を行いました。空港を運営する中部国際空港様は、不審者を追跡する際、防犯カメラに映る映像を見ながら人が目視で追跡していますが、自動で追跡するシステムを要望されていました。空港では多くの人が行き来するので、ミサワホーム様のように限られた空間にいる全員に対して認証を維持しつづける場合と異なり、特定の不審者のみ追跡します。不審物が放置されている場合、その物を置いた人が現在どこにいるのかを動画から自動で見つけることができます。

花田：例えば空港を例に挙げると、各空港に常時認証のシステムを導入することで、ある人物が羽田空港から那覇空港に移動した場合、那覇空港でも追跡を継続できるようにすることが考えられます。また、海外に出国する際にも、海外の空港でも追跡できるような仕組みも、将来検討できたらと思います。

鄭：映像中の人物を追跡する技術の世界的なコンペMOT Challengeで、世界1位の精度を達成しました(*4)。追跡中には、人物同士のすれ違いや障害物によって一時的に追跡対象の人物が見えなくなるため、追跡が途絶えたり、追跡対象を間違えたりすることが起こりますが、我々は人物の頭の動き、歩き方、服装、持ち物などの特徴変化に注目して、追跡し続けることができる技術を開発しました。多数のカメラ映像を使ってリアルタイムで常時認証を実現できるのも当社の技術の強みです。

内田：人物の追跡は、カメラに映った人物の特徴を数値化した特徴量を用いて行われます。しかし、カメラの画角が変わると、その特徴量が変化してしまい、追跡に誤りが生じてしまいます。また、特徴量は、服装の影響を受けやすいため、似た服装同士の人物を取り違えてしまったり、追跡対象の人が服を着替えると見失ってしまうといった課題があります。

内田：画角が変化しても特徴量を抽出する技術や、服装に影響されずに特徴量を抽出する技術を開発しています。技術検証という面でも、ミサワホーム様、中部国際空港様に協力していただきました。ミサワホーム様との実証実験では、シェアオフィスを想定した空間を対象に、その中にいる人を追跡する実証実験を行い、類似した服装の人物の追跡が課題となりました。そこで、人物の見た目だけではなく、位置情報などの新しい情報を導入することで類似した服装の人物の追跡精度を向上させました。中部国際空港様との実証実験では、空港内の旅客の追跡を行いました。ここでも類似の服装の人物が多く存在していたため、ミサワホーム様との実証実験で培った位置情報の技術と、新たに開発した服装に依存しないモデルを組み合わせた技術を導入することで、追跡精度を改善しました。

鄭：見た目の特徴量に加えて、人の動きの特徴を活用する技術です。例えば、ある人物が入退場し、その後同じ人物が違う服装で再度入場した場合、見た目だけでは本人と判断するのが難しいことがあります。しかし、行動的特徴量を組み合わせることで、その人物特有の動きの特徴を捉え、本人を認識することが可能になります。このような、服装など見た目が変わっても、正確に同じ人物を特定できるようにするための研究開発を行っています。空港や駅などで、異なる日に異なる服装で現れる人物の再同定への適用が期待できます。この見た目に依存しない特徴量を使用して同じ人を特定する技術は、東京工科大学様との共同研究として進めています。

花田：私は、常時認証において、カメラ映像の送信から、人物検出、照合アルゴリズム、結果表示までのシステム全体の開発、および利用者位置のマップ表示など、ReID(*5)の認証結果を用いたアプリケーション全般の開発をしています。このシステムを広く使ってもらうためには、構築・展開の容易性、リアルタイム性、外的な環境変化に影響を受けないことが必要と考えました。展開・構築の容易性としては、コンテナをベースとした分散実行環境を用意し、同一環境の構築を容易にできるようにしました。さらに、誰もが簡単に使えるような統合モニターを開発し、様々なデモや実証実験で使用しています。リアルタイム性や外的な環境変化への対応に関しては、分散実行環境により処理負荷を分散し、また追跡人数が多くなり処理が重くなりそうな場合でも、瞬時に追跡対象に優先順位付けをするなど行うことで、10fps、100msec以内の遅延に収めています。

高木：カメラから個人を識別するための情報を取得するためには、本人の同意が必要です。MWC2024バルセロナという展示会に常時認証を出展した時には、展示会場でデモを体験してもらうことを考えましたが、GDPR（EU一般データ保護規則）では、個人情報を取得するためには、明確な本人同意およびエビデンスを残すことが必要です。そこで、法務部門経由で現地事務所と同意取得方法および同意取得のエビデンスを残す対策をあらかじめ決めた上で展示会に臨みました。デモに必要な情報を登録して常時認証による人物追跡のデモ体験を希望する人、登録しないでデモ体験を希望する人、デモエリアの外から見学を希望する人に分け、それぞれの同意取得方法などをポスターなどで通知するという対策を取りました。

高木：人物追跡技術はFujitsu Research Portalの「マルチカメラトラッキング」として公開中です。ポータルにログインいただくと、本技術やその他富士通の先進技術をWebアプリケーションやWeb APIをとおして無償で利用することができます。ぜひ多くの方にお試しいただきたいと思います。

鄭：Fujitsu Technology Parkにあるテクノロジーホールでは、体験型展示が設置されています。体験した方々からは、「人物が柱の陰に隠れても途切れず追跡し、行動が分かるのはすごい」、「テーマパークなどの見守りサービスに役立ちそう」など、実社会への適用の期待や、実証実験へ繋がる問合せがありました。

内田：現在の常時認証は、限定された空間、例えば、商業施設や空港などの特定の閉じた場所が対象です。今後は、異なる施設間や屋外の道などにも展開して、街全体を対象としていきたいです。そのためには、技術的な課題だけでなく、プライバシーや法律を考慮することが重要になりますので、必要な対策を行っていきたいと思います。

花田：今後、より広範囲を対象とするためには、技術の更なる発展が必要です。その際に課題となるのは処理量やネットワーク通信量などのシステム面です。大量のカメラの映像を複数の常時認証システムで分散的に処理を行うとしても、常時認証間のID連携や、どの常時認証で処理するか、ネットワークがパンクしないように処理量の予測や処理の再分配など課題はたくさんあります。また、技術だけではなく、この技術をいかにサービスに昇華させていくかがとても重要だと思っています。

鄭：常時認証は人物追跡技術においては世界トップレベルの精度で、既存のカメラにも導入しやすいものですが、より多くの施設へ適用を図るためには、それぞれの環境に柔軟に対応できる、使い勝手の良い技術への進化が求められます。例えば、場所や日時、見た目の変化にも対応できるシステムを構築することで、様々な施設で安全・安心な環境を提供する技術として、更なる発展を目指したいと考えています。

高木：本技術に関する海外での実証実験が増えています。今後は、パブリックな空間でカメラ画像から個人を識別するための情報を取得する場合の、ヨーロッパ、アメリカなど各国におけるプライバシー関連法案・制度の調査および対策検討を行っていきたいと考えています。