富士通开发了可判定正确洗手动作的AI视频识别技术

通过自动确认洗手实施情况，实现卫生管理现场零人工监督

株式会社富士通研究所^(注1)（以下简称：富士通研究所）与富士通研究开发中心有限公司^(注2)（以下简称：FRDC）共同开发了“行为分析技术Actlyzer--洗手动作AI识别技术”，可从摄像头拍摄的视频中识别出复杂的洗手动作。

近年来，洗手作为保护人类健康免受细菌、病毒侵害的一项防御措施，其重要性正重新得到认识。2020年6月在日本实施生效的“食品卫生法部分修改法案”中规定,食品经营者有义务根据国际标准HACCP^(注3)采取有效措施进行卫生安全管理。因此迫切需要建立一个体制，来确认工作人员是否采用了正确的洗手方法。

此次，富士通对“行为分析技术Actlyzer”（可从视频中识别人类各种行为的AI技术）^(注4)的手指动作识别功能进行了扩展，新开发出“行为分析技术Actlyzer--洗手动作AI识别技术”。该技术基于双手的整体形状和洗手时的一系列运动模式，可自动识别用户在洗手时复杂的手指动作。

该技术可对日本厚生劳动省建议的正确洗手六部曲的实施情况，以及各步骤中手的揉搓次数进行正确地自动识别。另外，通过使用该技术，在食品行业等需要进行卫生安全管理的现场，可有效促进洗手的正确实施、防止遗漏，削减人工目测监督所需工时数，为确保食品安全和预防传染病做出贡献。

开发背景

近年来，洗手作为保护人类健康免受细菌、流感、新型病毒等侵害的一项防御措施，其重要性正得到全世界的重新认知。日本厚生劳动省建议并倡导的正确洗手六部曲，可有效预防食物中毒及各类传染性疾病（图1）。

图1 正确洗手六部曲

当前，为了确认食品行业的从业人员在洗手时，是否实施了洗手六部曲，且每个步骤都按规定次数进行了揉搓，通常采用的方法是：从业人员自行填写检查表进行申报，或由监管人员目测进行监督确认。然而，人工核查确认，会导致在人为失误、监管人员资源保障等方面，产生较高的管理成本。另外，近年来，在食品行业等众多产品制作现场，目测监管正逐步向基于机器学习、深度学习的自动化监测转变，对于洗手动作自动化确认的需求也日渐高涨。

课题

近年来，基于深度学习的手势识别技术，作为识别手部及手指动作的常用技术正得到不断发展。该传统技术可从手部图像中检测出手指关节、指尖等手部的多个特征点，并根据这些特征点的位置关系确定手势（图2左）。然而，传统技术的一个问题点是，人们在洗手时，由于双手发生重叠，手上覆盖了皂液泡沫，所以导致无法准确检测出手指特征点，从而无法对动作进行正确识别（图2右）。

图2 传统的手部跟踪技术（左：手势的识别结果，右：用于洗手动作的结果）

此项研发技术

此次，富士通研究所及FRDC对其独有的AI技术“行为分析技术Actlyzer”的手指动作识别功能进行了扩展，新开发出可准确识别洗手动作的“行为分析技术Actlyzer--洗手动作AI识别技术”。

开发的技术具有以下特征：

通过结合双手的整体形状和重复的运动模式，对双手复杂的手指动作进行识别

为了捕捉洗手时复杂的手指动作，该技术通过将其定义为双手形状和反复揉搓动作的组合，基于双手形状识别和运动识别两大深度学习引擎实现检测（图3）。

双手形状识别引擎，规定了双手基本形状（双手重叠时手指动作的代表形状），通过使用事先训练好的学习模型，来判定视频中每一帧的手部形状。通过聚焦整体形状，解决了因手部重叠或泡沫等造成的无法正确检测指尖和关节特征点的问题。另外，通过使用可跟踪数据变化的富士通独有AI技术“High Durability Learning（高耐久性学习）”^(注2)，在操作现场，即使摄像头位置、照明光线发生变化，也可对双手基本形状保持高精度识别。运动识别引擎，通过使用训练好的模型（该模型可从连续帧检测出周期性变化的运动模式），基于重复模式及其周期，将重复次数作为揉搓次数进行计算。

此外，通过将上述两个识别引擎的结果进行相互反馈，可进一步提高识别精度。运动识别引擎，根据双手形状识别引擎识别得出的步骤，为需要判定的运动大小设定阈值，以防止检测到与泡沫运动或揉搓无关的手部震颤等错误周期。双手形状识别引擎，通过利用运动识别引擎检测出的重复模式周期，对双手形状的判定结果进行过滤，从而达到提高检测精度的效果。

图3 结合双手的整体形状与运动模式，对复杂的双手手指动作进行识别

效果

富士通独立拍摄、收集了约有2000种变化形式（包含人与摄像头的位置、皂液种类等）的洗手视频数据集，来进行训练和评估。结果显示，正确洗手6步曲中的动作识别平均判定精度达到了95%以上，揉搓手部次数的判定精度则超过了90%。在现场运行该系统时，从业人员需按照洗手步骤及每步规定的揉搓次数清洗双手，直至系统判定为洗手结束方可终止。此时系统会结合洗手实施的时间等信息，自动记录数据，从而避免遗漏（图4）。

基于该技术，在需要进行卫生管理的现场可自动确认洗手的实施情况，并可将目测监督确认及手动记录所需工时减至为零。另外，由于错误的洗手动作无法被系统正常识别，因此该技术还可起到教育作用，促使每个人都能掌握正确的洗手方法，实现洗手方式的标准化。

此外，该技术不仅适用于食品行业，还可广泛应用于医疗、教育、住宿、活动设施等各个场所，可对卫生管理、预防流感或新型病毒等传染性疾病做出重大贡献。

图4 洗手动作识别画面的示意图

今后

该技术作为富士通株式会社AI技术“FUJITSU Human Centric AI Zinrai”的一项重要技术，富士通除了继续在各现场对其进行验证，今后还将持续开展相关研究开发。

关于商标

文中记述的产品名称等专有名词，为各公司的商标或已注册商标。

注释

• (注1) 株式会社富士通研究所: 总部 日本神奈川县川崎市 代表取缔役社长 原 裕贵
• (注2) 富士通研究开发中心有限公司: 总部 中国北京市 董事长 原 裕贵
• (注3) HACCP:一种卫生管理方法。经营者掌握了食源性致病菌污染等的危害后，从原材料入库到产品出库的整个过程中，为消除或减少危险因素，对特别重要的流程加以管控以确保安全。以发达国家为中心正在成为一种义务性规范。
• (注4) “行为分析技术Actlyzer”:可从视频中识别人们各种行为的AI技术“行为分析技术Actlyzer”（2019年11月25日新闻稿）
• (注5) 富士通独有AI技术“High Durability Learning”:世界首发!一种可维持AI高精度且稳定运行的技术（2019年10月25日新闻稿）

本技术的相关咨询

电话： 010-59691537
邮箱：rjliu@cn.fujitsu.com
公司：富士通研究开发中心有限公司

文中提及的公司名称和产品名称是其所有者的商标或者注册商标。该新闻稿中的信息在发布时准确无误，可能随时发生变化，恕不先行通知。