存档内容
注意：该页面为存档页面，其内容可能已过时。
富士通开发了基于对抗式训练的深度学习技术
针对训练样本缺失的未知类别进行检测
富士通研究开发中心有限公司
富士通研究开发中心有限公司（注1）（以下简称：FRDC）开发出了一项基于对抗式深度学习训练的未知类检测技术。利用该技术在缺失未知类别训练样本数据的情况下，可实现高精度的未知类检测。这项技术通过结合两种数据对同一个识别引擎进行学习，一种数据是已知类别的训练数据，使用常规深度学习对识别引擎进行训练。另一种数据是辅助数据，使用生成对抗式训练方法对识别引擎进行训练。与传统方法相比，在最近的一项对古文献汉字识别的研究中，该技术将未知类检测的相对错误率减少了20%以上。我们希望此项技术能够有助于扩展深度学习的应用范围和客户群体，并且为以后实现通用人工智能平台做出贡献。
本技术在1月28日（星期日）在美国旧金山举行的国际会议“IS&T International Electronic Imaging Symposium 2018”上展示发表。
该技术将在第18届ICME(International Conference on Multimedia & Expro)会议上发表。ICME是一个关于多媒体的国际学术会议，于2017年7月10日到14日在中国香港举行。
【开发背景 】
深度学习技术目前被广泛应用于人工智能的相关任务上，并且取得了令人瞩目的表现。然而，大多数深度学习模型都基于闭集识别的假设之上：测试数据与训练数据的类别完全一样。实际上，很多应用并不具有这样的假设，系统运行过程中新的概念会形成，新的类别会产生，系统需要具有检测这些未知的新的类别的能力。现有基于闭集识别的深度学习技术难以解决这些问题，阻碍了深度学习技术在各个应用领域的推广。
【 课题 】
为了能让深度学习系统能进行未知类检测，我们开发了基于对抗式训练的深度学习模型。深度学习系统是基于数据驱动的，训练数据对未知类的检测能力有着重要的作用，如图1第一排所示，训练数据只包含白色的狗和棕色猫的图像，基于闭集识别的深度学习模型将一只白熊（测试图像）错误地标记为狗。相对训练数据集来说白熊是未知的类，用只含狗和猫的训练数据训练的网络难以检测到未知类白熊。如图1中第二排所示，我们开发的基于对抗式训练的深度学习模型采用外部辅助数据让模型学习到未知类的相关特征，从而检测到未知类。
图1 基于对抗式训练的深度学习模型能检测未知类别
【 开发的技术 】
1.利用已知类数据学习特征的表达和分类
对于已知类别的数据训练一个基于卷积神经网络的分类器，在获得高精度识别率的同时得到对已知类别的特征表示。为了提高深度学习系统检测未知类的能力，我们采用两个策略来训练卷积神经网络，一个策略保证分类的准确性，另一个策略提升已知类样本特征之间的相似性，从而有利于未知类的检测。
2.利用辅助数据增强特征表达
为了深度学习系统更好地检测未知类别，我们尝试使用辅助数据来增强特征。我们算法的特点是辅助数据无需数据标注，适应性广。算法采用生成对抗网络（Generative Adversarial Network）进行特征学习。我们利用前面提到的已知类数据和辅助数据联合优化网络以得到用于未知类检测的特征表达。最后，我们从训练好的网络模型中提取特征用于未知类检测。
图2 基于对抗式训练的特征提取框架
【 效果】
所开发的技术应用于敦煌古文献汉字字符集（注2），当错误接受率为10%，未知类的检测率从52%提高到了63%的检测率；当错误接受率为20%，检测率从73%提高到82%。错误接受率是指待检测样本为已知类，但系统将它归类为未知类的比例。
图3 针对敦煌古文献未知汉字检测结果
【 将来 】
该技术的目标是在2018年度应用到富士通的人工智能技术平台（Zinrai）当中，同时也将继续把此项技术应用于各种不同的图像识别任务中。
【 关于商标 】
所提及的产品名等专有名词为各公司的商标或注册商标。
【 注释 】
- （注1） 富士通研究开发中心有限公司： 董事长 佐佐木繁，本社 中国北京市。
- （注2） 中国敦煌古籍文献图像：中国国家图书馆以公众和学术使用为的目，在互联网上公布的一组古代文献图像和数字文本集。没有访问限制，可广泛利用，因此经常被作为古代文献文字识别技术的识别精度基准而利用。http://idp.nlc.gov.cn/
关于Fujitsu（富士通）集团
Fujitsu(富士通)是世界领先的日本信息通信技术（ICT）企业，提供全方位的技术产品、解决方案和服务。在全球拥有约155,000名员工，客户遍布世界100多个国家。我们凭借在ICT领域的丰富经验和实力，致力于与客户携手共创美好的未来社会。富士通集团（东京证券交易所上市代码：6702）截至2017年3月31日财政年度的合并收益为4.5兆日元（400亿美元）。
如需更多资讯，请浏览：http://www.fujitsu.com
关于富士通研究开发中心
富士通研究开发中心有限公司是日本富士通株式会社投资440万美元在中国境内设立的第一家独资法人研发机构。公司的研究领域覆盖了富士通株式会社的所有业务范围，即信息处理、通信、半导体和软件服务4大领域。
公司成立于1998年2月，公司的经营范围涉及多媒体系统的硬件、软件、半导体元器件与材料的技术开发和技术转让，提供相关的技术服务与咨询。
如需更多资讯，请浏览：http://www.fujitsu.com/cn/frdc/
≪本技术详情咨询≫
电话： +86-10-59691000-5788
邮箱：yuxiaoyi@cn.fujitsu.com
公司：富士通研究开发中心有限公司
新闻ID： 2018-02-05
日期： 2018-02-05
城市： 北京
公司：
富士通研究开发中心有限公司
