北京, 2015-04-01
【开发背景】
交通状况分为正常和异常两种,异常状况会大大降低交通通行效率,因此需要一直监控,如果出现异常就进行报警和提醒。随着交通车辆数目的激增,一些异常状态(交通事故、交通拥堵、以及交通违章等,我们称之为异常)发生更频繁了。一些交通异常很难通过传统的交通设备,比如埋地线圈来检测。
在交通应用中,人们用越来越多的摄像头监控交通状况。如果这些摄像头能用于交通异常检测,将大大提高其使用效率,并且成本很低。传统的基于监控视频的异常检测方法只适合有限的场景,用于单个事故类型,并且检测精度较低。我们的技术框架包括道路区域定义、交通规则定义、车辆及非车辆物体的检测和跟踪、提取物体属性、以及规则比较等模块,能够有效地应用于几乎所有交通场景,适用于几乎所有异常类型,并且检测精度较高。
【课题】
传统的算法或者现有的产品有如下问题:
1) 大多数方法只解决单个异常类型,比如只检测交通事故,只检测交通拥堵,或者只检测交通违章等。对于每种异常类型,只有有限的应用情形,比如交通事故情形局限于变道、停车、低速行驶、以及遗落物等。
2) 大多数方法只是在简单的场景中测试和应用,这些场景车辆较少,并且事故发生的情况较少。因此对于通常存在的复杂交通场景,其检测精度较低,误检率较高。
这些方法不适合复杂交通状况的道路十字路口,因此我们开发了有效的交通异常检测技术,能够同时在简单和复杂场景下工作,检测精度高,可以通过软件实现实时监测。
【我们开发的技术】
基于监控视频的交通异常检测系统包括道路区域定义、交通规则定义、车辆及非车辆物体的检测和跟踪、提取物体属性、以及规则比较等模块,如图 1所示。
输入视频通过监控摄像头获得,并且需要架设得较高,这样可以观察到路口的多个部分,如图 2所示。这样一个摄像头可以管理路口的各个方向,成本低,效率高。
通过输入视频,我们可以定义道路的每个车道、人行道、路口中心、以及禁止等区域。每个区域的属性可以通过一个16位的整数表示,其值可以从0x0到0xFFFF。对于每个区域,我们可以根据交通标志以及交通规则定义特定的规则。比如在左转车道,规则设定为只能左转,而禁止直行。
对于交通异常,有两种物体需要检测,即车辆物体以及非车辆物体。车辆包括大型(卡车、公交车、中巴等)和小型(汽车、摩托车等)两种,非车辆物体包括行人、使用交通工具(自行车、滑板车等)的人、以及动物等。对于每种物体,它们都有两种状态:运动和静止。
很多方法很容易使用运动信息检测到运动的物体,但是只使用运动信息难以检测到静止物体。有些方法,比如通过机器学习和训练进行车辆识别的方法,可以通过颜色、纹理、以及边缘信息识别静止车辆。但是它们局限于训练场景,只能使用固定的摄像头参数(安装位置、角度、焦距等),局限于光照和天气条件。
我们使用一种新的前景物体检测方法,不仅能检测到运动车辆和行人,也能检测到排队等待的静止车辆。而且,这个方法能够检测大尺寸物体,也能够检测小尺寸物体。检测例子如图 3所示。
我们的技术可以从视频的任意时点开始,通过和背景图像比较,得到前景物体。当提取背景图像时,传统方法会出现两种情况的鬼影。第一种情况,当运动物体静止下来,将慢慢融入到背景中,然后在某个时刻又重新运动时,就会出现鬼影;第二种情况,属于背景图像的物体(比如停止的车辆)开始运动时,也会造成鬼影问题。在我们的算法中,当运动物体静止下来时,我们不会将其融入背景中,所以不会出现第一种情况的鬼影。我们的算法包括一个主工作模型,几个轻量级的监测模型,当一个背景图像中的物体开始运动时,背景的污染会通过监测模型进行控制,相关的背景区域会重新初始化,因此第二种鬼影也不会出现。
为了获得检测到物体的属性,我们需要跟踪这些物体,这是通过记录物体通过的已定义区域实现的。根据跟踪结果,我们就可以将轨迹信息和交通灯信息进行比较。例如,在交通灯是红灯情况下,任何物体不允许从直行区域运动到道路中间区域,左转也是如此。交通灯信息可以通过外部控制设备获得,也可以通过摄像头识别,但是前提是摄像头能清楚看到交通灯。
【效果】
(1) 交通异常检测精度大于95%;
(2) 软件实现全高清实时处理,30fps@1920x1080(Intel Xeon 3.2GHz, 4GB内存);
(3) 车辆以及非车辆物体的检测结果如图 4所示,交通异常检测例子如图 5所示。
【今后的工作】
在2015年,我们将使用高空瞭望式监控摄像头进行实测,并且覆盖其他的场景,进一步提高检测精度。同时我们将在全国和世界范围内进行商业推广。在实现方式上,可以以软件形式运行在监控系统的服务器端,进行单路或多路高清实时处理;也可以将其嵌入在监控摄像头前端进行实时处理。
【注释】
(注1) 富士通研究开发中心有限公司:董事长 佐佐木繁。总公司地址:中国北京市。