Skip to main content

Fujitsu

English | 日本語

China

存档内容

注意:该页面为存档页面,其内容可能已过时。

基于PC和平板电脑中单眼摄像头的能实现更复杂操作的三维手势识别技术开发

除了手的上下、左右方向,还能实现手在进深方向移动的检测,提高了操作性能

株式会社富士通研究所,富士通研究开发中心有限公司

2013-05-20

株式会社富士通研究所(注1)和富士通研究开发中心有限公司(注2)开发了针对基于PC或平板电脑上单眼摄像头拍摄的影像的3维手势识别技术。该技术不仅可以检测手的上下、左右方向的运动,还可以检测出手在进深方向的移动动作。

以前的手势识别技术虽然可以检测出与鼠标光标相应的手的上下、左右移动动作,但是很难检测出与点击操作相应的手向前推动的动作。株式会社富士通研究所和富 士通研究开发中心有限公司开发出了基于手掌模型的高精度和高速度的手掌区域检测技术,以及手的进深方向运动检测技术,从而能够实现基于直观的“按”这个手 势的点击操作。

利用本技术可以通过手势实现更复杂的操作,例如:即使远离电脑也可以用上下移动的手势来选择菜单,进行菜单选定的“按”的操作,并以“按”、“拉”的手势来实现地图等图像的扩大和缩小等操作。

本技术将会在5月20日(星期一)在京都立命馆大学开始举行的国际会议「International Conference on Machine Vision Applications(MVA) 2013」上展示发表。

【 开发背景 】

近年来,以人的自然动作来操作终端的手势识别技术受到了人们的瞩目。在很多场合下都开始通过摄像头来检测手势以操作终端,比如远离PC或平板电脑等终端,手湿了或脏了,或者从卫生上考虑不想接触很多陌生人触摸过的终端设备等场合。但是,当考虑用手势来代替鼠标操作时,一般只能检测到与光标移动相应的手的上下、左右移动,但很难检测到与点击操作相应的进深方向的动作。

【 课题 】

用单眼摄像头检测手的进深移动需要利用到手掌的面积变化。但是,当用户穿着半袖衣服或是背景颜色和皮肤色接近的时候,手掌和背景的识别是比较困难的,往往不能正确的从背景中抽取出手掌的区域。另外,使用距离传感器和多摄像头虽然可以检测出进深移动,但设备的成本很高。

【 开发的技术 】

株式会社富士通研究所和富士通研究开发中心有限公司开发了基于单眼摄像头拍摄的影像中正确抽取手的区域并稳定地捕捉影像中手的大小变化的技术。其技术特点如下:

1. 基于手掌模型的手的区域检测技术

手掌的位置通过一个尺度可变的滑动窗口在图像中扫描获得。每一个滑动窗口所覆盖的子图都要进行特征计算并判断是否与预先注册的某种手型(如手掌模型)匹配。最终检测到的手掌位置和尺度是遍历各种可能的位置和尺度后的最优值。手掌区域的精确分割通过自适应的计算肤色阈值来获得。上述方法能够确保在各种复杂背景中手区域的稳定的检测。

0520-1

2. 基于手大小变化的进深移动检测技术

利用手动作的连续性来高精度的推断影像中处于运动状态的手的大小、角度和中心位置,以90%的精度检测出“按”、“拉”的动作。

0520-2

【 效果 】

用此次开发的技术可以实现以下操作。例如:用上下的手势来选择终端菜单,完成选定菜单的“按”的操作,或者以左右的手势来完成电影、音乐、体育等内容的选择,完成内容选择“按”的操作。此外,可以以“按”、“拉”的操作实现地图等图像的扩大、缩小的操作。而且,基于单眼摄像头的实现降低了设备的成本。

0520-3

【 将来 】

富士通研究所在以实用化为目的的易用性评估的同时,推进手的检测识别技术的高精度化,目标是在2014年达到实用化。

【 关于商标 】

所提及的制品名等专有名词为各社的商标或注册商标。


  • [1] (注1) 株式会社富士通研究所:

    代表取缔役社长:富田达夫,本社:神奈川县川崎市。

  • [2] (注2) 富士通研究开发中心有限公司:

    董事长:佐佐木繁,本社:中国北京市。

关于Fujitsu(富士通)集团

Fujitsu(富士通)是世界领先的日本信息通信技术(ICT)企业,提供着全方位的技术产品、解决方案和服务。在全球拥有约17万名员工,客户遍布世 界100多个国家。我们凭借在ICT领域的丰富经验和实力,致力于与客户携手共创美好的未来社会。富士通集团(东京证券交易所上市代码:6702)截至 2013年3月31日财政年度的合并收益为4.4兆日元(470亿美元)
如需更多资讯,请浏览:http://www.fujitsu.com

富士通研究开发中心有限公司

富士通研究开发中心有限公司是日本富士通株式会社投资440万美元在中国境内设立的第一家独资法人研发机构。公司的研究领域覆盖了富士通株式会社的所有业务范围,即信息处理、通信、半导体和软件服务4大领域。
公司成立于1998年2月,公司的经营范围涉及多媒体系统的硬件、软件、半导体元器件与材料的技术开发和技术转让,提供相关的技术服务与咨询。
如需更多资讯,请浏览:http://www.fujitsu.com/cn/about/local/subsidiaries/frdc/

电话: 电话: 010-59691538
邮箱: 邮箱:depth-gesture@ml.labs.fujitsu.com
公司:富士通研究开发中心有限公司
信息技术研究部

新闻ID: 2013年5月20日
日期: 2013-05-20
公司: 株式会社富士通研究所, 富士通研究开发中心有限公司