在持续处理IoT数据的同时可对处理内容进行变更的 流数据处理架构“Dracena”
本技术介绍参考了以下链接
English
2019年01月15日
在持续处理IoT数据的同时可对处理内容进行变更的
流数据处理架构“Dracena”
快速对网联汽车等提供实时服务并进行改善
株式会社富士通研究所（注1）（以下简称：富士通研究所）开发了一种流数据处理架构“Dracena”（Dynamically-reconfigurable asynchronous consistent event-processing architecture），可在不停止处理大量IoT数据的情况下，对处理内容进行添加或修改。
开发背景
近年来，随着IoT技术的发展，来自各种物体的数据被收集到数据中心，通过对这些数据进行分析使用，预期可以产生各种各样新的服务。以网联汽车为例，通过实时收集、分析使用来自车辆的数据，可以缓解交通堵塞，辅助驾驶，提高自动驾驶的安全性（图1）。
图1 基于网联汽车的数据收集、分析及使用的实时服务
课题
行驶中的汽车以秒为单位会产生大量速度、位置等数据，为了快速处理这些数据，最有效的方法是构建一个系统，以每辆车为单位依次使用流数据处理对数据进行并行处理。但是，在增加、改善服务时，要相应增加或变更处理内容。传统方法是事先准备2组相同规模的系统，一个用于操作，另一个用于更改，然后进行快速切换。将运行中的系统内存上的速度和位置数据等复制到更改后的系统时，两个系统都需要暂时停止运行。这将导致很难提供需要持续运行的服务，如实时向网联汽车发送危险信息等。
另外，由于新的处理程序是从叫做存储库的数据库获取的，因此来自各车辆并行处理单元的大量查询导致存储库拥堵，整体处理速度发生延迟。
开发的技术
此次富士通研究所开发了一种流数据处理架构“Dracena”，可在持续运行的情况下，对运行中的系统处理内容进行变更。
在开发的技术中，增加、变更数据处理内容时，该体系架构将新的数据处理程序和其他数据一样，作为消息发送给每个称作对象的处理单元，如每辆汽车的处理单元。由此消除了由于集中查询存储库而导致的对整体处理速度的影响。另外，通过在该体系架构的对象中将消息接收处理和数据处理分离，系统能够在不停止消息接收处理或现有数据处理的情况下，增加新的数据处理程序，然后使所有对象按相同时间切换到新的数据处理程序。由此，此次开发的流数据处理架构，不会阻碍海量数据流入进行数据复制，实现了在持续并行处理的同时，数据处理程序可不间断地对处理内容进行增加或变更（图2）。
图2 传统技术与“Dracena”不间断更新技术的区别
效果
我们进行了该技术的模拟评估实验，如有以下用例：每秒从100万辆车发送一次速度、位置等信息（数十字节），假设“已提供了驾驶时间超时检测服务，需要增加急刹车检测服务”。结果证实，在一个数据处理过程中即使发生新的数据处理，也可持续提供服务，平均延迟增量不超过5毫秒。该系统架构针对现实社会中发生的各种问题（要求不中断运行），如网联汽车辅助驾驶，家电产品节能使用，居民健康安全监控，基于智能手机的游客引导等，可以快速提供实时服务。
此外，还可以先构建一个简单的数据分析应用系统，然后依次增加新的服务。利用该技术，有望提高服务的开发效率。以汽车为例，首先构建一个系统可从方向盘的操作数据读取酒后驾驶征兆，然后逐层增加服务，如与地图数据结合检测隧道出口处的横风，与图像数据结合检测是否存在违章停车车辆等。
今后
本技术是富士通株式会社提供的“Mobility IoT Platform”的重要组成部分。我们希望将该技术扩展到Mobility以外的业务领域，这些领域需要基于高频率持续生成的数据进行实时服务，如发生事件或灾害时向人们提供引导等。