本技术介绍参考了以下链接
English

2014年7月23日

株式会社富士通研究所（注1）（以下简称，富士通研究所）开发了以下技术。

开发背景

随着智能手机、平板电脑等终端的普及，通信网络的质量受到了高度重视，但是在现实中由于网络的数据流量增大以及复杂的传送模式等造成了意想不到的通信故障，通过网络造成的信息泄露等问题正在增加。为了排查故障原因，强化网络安全，需要详细掌握网络和终端上发生了怎样的事件，并且保全证据。这时并不是存储部分统计信息或采样数据等，而是要将通信数据全部存储起来。为了实现高度分析，需要具备快速访问目标数据包的功能。

课题

对于存储和分析网络通信数据来说，数据流的捕捉处理和磁盘存储，以及从已存储的通信数据中检索目标数据的功能，都十分重要。随着通信速度的提升，要求有相应的更高的处理性能。

由于通信数据被源源不断地传输过来，需要以不低于其最大速度的速度对其进行捕捉和存储，传统方法是使用专门的硬件来实现。此外，为了实现对已分割的通信数据包进行高速检索，当数据包到达后，需要根据检索条件对数据进行加工后再存储。

开发的技术

这次，富士通研究所仅通过通用的硬件和软件就实现了40Gbps以上数据流的高速捕捉，存储以及高速检索系统（图1）。

可扩展存储单元，将多个通用型服务器组合成存储器，以确保磁盘容量的扩展性和并列写入性能。

流分析单元，被分成几个步骤，按顺序进行处理，以实现数据包分析分步处理的高速化（图2）。

数据包是在捕捉时根据检索属性进行分类和存储的，例如，可以按会话或终端的通信时域等为理论单位进行高速检索。

富士通研究所本次开发的技术有以下优势。

1.消除了独占访问控制锁，提高了磁盘读写性能

以时间或发送端等为单位对数据包进行分类。数据包先集中存储到缓存，再逐个进行写入处理。通过集中写入可减少磁盘访问数，且不需等待其它处理，能够阻止各步骤间由于处理时间不同而引起的数据溢出情况。

2.限制数据复制

在进行数据包分析的流分析单元，各步骤间在数据交换时，无需复制数据包便能获得分析结果。因此，不需要复制和锁定。

通过上述技术，不再需要流处理中常用的等待队列数据构造，从而实现了高速化。

效果

由于可以仅通过通用的硬件和软件，实现40Gbps高速网络通信中大量数据包的长时间存储和检索，因此，可以低成本地发现在样本捕捉或短期观测中漏掉的网络瓶颈或是隐藏的攻击等网络现象。

例如，发生通信故障时，可以通过本技术，检索该时间段前后的数据包清单，迅速进行故障分析。另外，发现了感染病毒的PC后，可以获得这台电脑与谁通信过的证据。由此，可以提高网络质量，实现数据中心运营稳定化、安全化。

今后

富士通研究所将进一步提高通信数据的存储和检索处理性能，并进行试点实验，目标在2014年实现实用化。

注释

注1 株式会社富士通研究所：

社长 佐相秀幸

总公司所在地 日本神奈川县川崎市