可高精度检测恶意软件入侵的AI技术入侵后的恶意软件活动与日常业务中的网络通信难以区分,该技术可提高其检测精度

本技术介绍参考了以下链接
English

2018年05月23日

可高精度检测恶意软件入侵的AI技术
入侵后的恶意软件活动与日常业务中的网络通信难以区分,该技术可提高其检测精度

株式会社富士通研究所(注1)(以下简称,富士通研究所)开发出了一项AI技术,通过对本公司独创的一种可以学习图结构数据的AI技术“Deep Tensor(深度张量)(注2)”进行扩展,可高精度检测出企业等组织内部网络的恶意软件入侵。

开发背景

在网络攻击中,每天都会出现大量各种各样的新品种和亚种恶意软件,受害数量日趋增加,积极采取措施应对这些网络攻击已成为亟待解决的问题。近年来网络攻击的手法也愈加巧妙,通过在组织内部网络入口处采取措施或在终端安装防病毒软件等已经很难起到防护作用。特别是在有针对性的网络攻击中,由于攻击者使用了针对特定企业的专用恶意软件,因此,完全阻止恶意软件入侵组织内部是十分困难的,被入侵后所采取的对策变得非常重要。这需要有具备网络安全知识的高技能人才,但由于缺乏足够的安全人员来应对不断增加的网络攻击,因此需要AI和自动化提供支持。

课题

侵入组织内部网络的恶意软件,会恶意使用日常业务中使用的网络通信和命令操作,在改变它们活动的同时继续攻击,例如收集周边信息、尝试入侵其它PC、扩大感染规模等。因此,日常业务中的网络通信与基于恶意软件行为的网络通信之间,特征差异较小,难以实现高精度检测。

开发的技术

此次,富士通研究所开发出了一项AI技术,它将本公司开发的可以对图结构数据进行学习、分类的Deep Tensor技术扩展为,可以学习时间序列特征的技术,实现了高精度的入侵检测。

关于时间序列日志数据中包含的各种特征,通过开发可以学习特征间关系的技术,如A与B是先后发生还是同时发生的,富士通研究所对入侵组织内部恶意软件的多种活动类型和数量,以及它们的间隔和顺序等相关性进行学习,成功捕捉了恶意软件的特征。技术详情如下:

·学习时间序列日志数据中包含的特征间的关系

在Deep Tensor技术中,通过学习图结构数据转换为张量数学表达式的转换方法并进行深度学习,能够高精确地学习图结构数据。在本技术中,事先准备多个张量表示,学习不同时间记录的日志特征,然后通过Deep Learning学习特征(张量表示)间的关系,便可提取时间序列日志数据中相关度高的特征组,然后进行判别。

图1  此次开发的技术


另外,为了应对张量表示的增加,富士通研究所还开发了张量计算快速处理技术和并行分布式处理技术。利用该技术,即使针对数十个张量表示,也只用学习一个张量表示的时间就能完成处理。

效果

通过使用此次开发的技术,可以检测出随时间推移,攻击方法、频率、范围等发生变化的恶意软件,以及与日常业务网络通信混杂在一起活动的恶意软件入侵。通过使用“MWS 2017(注3)”提供的用于研究的数据集,我们对日常业务的网络通信和恶意软件攻击进行了判别试验,结果表明,现有机器学习方法(注4)的精度为76%,相比之下,利用本技术可以学习随时间变化的多个轨迹,检测精度达到93%。

基于本技术,富士通研究所创造了一种可持续扩展的检测方法,能够迅速应对复杂多变的网络攻击。

今后

该技术作为Zinrai的一项技术,富士通研究所目标面向网络安全以外的领域,如基于人类行为历史记录的营销等实现其商业化。

另外,2018年将在公司内部进行验证实验,把基于该技术的恶意软件入侵检测技术,与之前开发的网络攻击分析技术相结合,形成对策支援技术。

注释

 注1 株式会社富士通研究所:
社长 佐佐木 繁
总公司所在地 日本神奈川县川崎市
 注2 富士通研究所开发的AI技术“Deep Tensor”:
基于表示人与物关系的图结构数据可获得新认知的技术“Deep Tensor”
 注3 MWS2017:
恶意软件对策研究人才培养研讨会2017
 注4 现有机器学习方法:
一种称为SVM(Support Vector Machine)的方法,常用于确定图形之间的相似度。