映像を用いて製造現場における人の行動のデジタルツインを簡単・高精度に実現する新技術を開発
2023年1月18日
English
カメラ自動キャリブレーション技術で現場映像を3次元空間にマッピング
製造業などを中心にデジタルツインが注目を集めています。デジタルツインは、カメラやセンサを用いて実世界のデータを収集し、仮想空間で実世界を再現して高精度なシミュレーションを行い、品質向上やコスト削減、予知保全の実現につなげる技術です。実世界のデータのうち、人の移動や物に対する作業動作をデジタルツインのシミュレータ側に取り込むためには、人と装置や周囲の環境との３次元の位置関係を仮想空間にフィードバックする必要があります。しかし、３次元情報をマッピングするためには事前設定が必要で、その設定の工数が大きいことが問題でした。
当社では、現場に設置されたカメラ映像から人の行動を認識するAI「行動分析技術Actlyzer（アクトライザー）」の研究開発を進めています。コア技術の一部はFujitsu Cognitive Service GREENAGE（グリーンエイジ）として商品化されています。
今回、Actlyzerデジタルツイン連携技術として、映像中の人の行動をシミュレータ上で再現された３次元空間に簡単・高精度にマッピングするカメラ自動キャリブレーション技術と３次元行動認識技術を開発しました。
本技術により、既設のカメラが存在する現場でのデジタルツイン導入や、多数のカメラでの大規模な導入が容易になります。
従来の課題
映像から作業者の動線や行動をとらえ仮想空間上で再現するためには、映像中の２次元座標と実世界の３次元座標の対応付けをして、シミュレータへフィードバックする必要があります。この対応付けは、映像を撮影したカメラのレンズによる歪みや焦点距離、カメラの設置位置や向きといったカメラパラメータによって変わるため、カメラパラメータを検出するカメラキャリブレーションが必要となります。
一般的なカメラキャリブレーションでは、所定の大きさのチェッカーパターンを印刷したボードを、様々な位置、向き、距離で撮影し精度を人手で検証しています。このように、高精度にカメラパラメータを検出するためには手間がかかり、知識と経験が必要でした。
開発した技術
今回、現場に設置したカメラの映像中の一フレームの画像から半自動でカメラキャリブレーションを行い、映像から人の行動を３次元上で判定するActlyzerデジタルツイン連携技術を開発しました。本技術により、仮想ラインシミュレータ上に人の行動をフィードバックするデジタルツインを簡単かつ高精度に実現します（図１）。
開発技術では、まず画像から深層学習ベースでレンズ歪みのパラメータを推定し、歪みのない画像を生成します（図１①）。
次に、画像中の床や壁、天井や置かれた物体に存在する線分を検出し、実世界で平行に存在する線分を推定します。図１②では、平行と判定された線分が赤・青・緑に色分けされています。そして、それらの線分を延長して奥行方向に向かって最終的に交わる消失点をもとに、焦点距離を推定します。加えて、深層学習ベースで水平線とカメラの高さ、角度を求める処理も実施します。
最後に、仮想ラインシミュレータ上の装置でCADデータの点に対応する画像座標をマウス操作で指定し、画像座標とシミュレータ上の３次元座標の対応付けを行います（図１③）。
本技術により、特殊なスキルや経験がなくても短時間でカメラパラメータが計測できます。実際の工場での映像データで本技術の精度を検証したところ、カメラから約6mの距離にあり、CADデータと位置合わせをした基準点から約2mの距離にある実世界上の点について、誤差2cmの高精度で対応付けが行えることを確認しました。
図1 Actlyzerデジタルツイン連携技術
更にカメラキャリブレーション結果を用いて、１台のカメラから現場での行動を３次元で認識し、特定の場所や装置に対する動作を判定する３次元行動認識技術についても開発しました。以下の動画は実際の認識結果となります。
３次元行動認識
本技術によりシミュレータ上で事前に定義した特定の場所や装置に対する作業性の検証や、危険姿勢を特定した結果をシミュレータにフィードバックできるようになります。
開発者コメント
コンバージングテクノロジー研究所 開発チームメンバー
茂木 厚憲
（Moteki Atsunori）
平井 由樹雄
（Hirai Yukio）
関口 実
（Sekiguchi Minoru）
鈴木 源太
（Suzuki Genta）
富士通研究開発中心有限公司（FRDC）開発チームメンバー
谭 志明
（タン・ジミン）
康 昊
（カン・ハオ）
宋 旭
（ソン・シュウ）
夏 聪和
（シア・ツンへ）
Fujitsu Consulting India Private Limited（FCIPL）開発チームメンバー
Amitkumar Shrivastava
（アミットクマール・
シュリヴァスタヴァ）
Juby Joseph
（ジュビィ・ジョセフ）
Amit Goel
（アミット・ゴエル）
Murugan Yuvaraaj
（ムルガン・ユヴァラージ）
Nilesh Jadhav
（ニレッシュ・ジャダブ）
Ajinkya Phulke
（アジンキヤ・フルケ）
Sharmistha Kulkarni
（シャルミスタ・クルカルニ）
Shyam Kadam
（シャム・カダム）
Chandranila Das
（チャンドラニラ・ダス）
我々のプロジェクトでは、製造業や小売業など現場でのDXを促進するため、AI映像解析をベースとしたヒューマンセンシング技術や動作や行動を見るコンテキストセンシング技術を開発しています。本技術では、現場への導入の容易さと、作業者の行動認識の精度の両立を実現しました。これからも最先端の技術を駆使し、グローバルの多くのお客様との共創を進めながら、産業と技術革新の基盤をつくる研究開発を行っていきます。
今後について
本技術と仮想ラインシミュレータとのデジタルツインの実証を進め、2023年度中の実用化を目指します。
本件に関するお問い合わせ
fj-actlyzer-contact@dl.jp.fujitsu.com
EEA (European Economic Area) 加盟国所在の方は以下からお問い合わせください。
Ask Fujitsu
Tel: +44-12-3579-7711
http://www.fujitsu.com/uk/contact/index.html
このページをシェア
Recommend
Connect with Fujitsu Research
