第4期 杨会成，等：基于车内外视觉信息的行人碰撞预警方法 ·753· 容易受到致命的伤害。统计数据表明，在我国城 归森林的方法和基于深度学习的方法o 市道路中，每年死于交通事故的人口中有接近 车辆的行驶状态很大程度上取决于驾驶员是 50%为身处车外的行人。因此研究行人碰撞预警 否注意到行人，通过监控驾驶员的注意状态，可 系统，在可能的碰撞发生前对驾驶员做出提醒， 以更加准确地衡量碰撞危险。结合对经验丰富的 具有重要的现实意义。 驾驶员驾车行为的研究，本文提出一种基于车内 行人碰撞预警的实现广泛采用视觉传感器获 外视觉信息的行人碰撞预警方法，将行人状态分 取行人位置信息，根据相对距离和车速做出判 析和驾驶员状态分析同时加入模糊决策过程。本 断。由于姿态与外形的多样性，行人检测一直是 文的方法使用两个单目相机分别获取车外行人方 计算机视觉领域的一个重要研究课题。行人检测 位信息和车内驾驶员头部姿态信息，其中外部信 的经典方法有Viola等提出的Haar-like特征和 息处理使用通道特征检测器定位行人，根据单目 级联分类器，Dalal等21提出的HOG特征结合 视觉测距原理估计距离与角度，内部信息处理使 SVM分类器，以及Felzenszwalb等I)提出的可变 用级联回归方法定位面部特征点，根据EPnP算 形部件模型(deformable part model,.DPM)。卷积 法估计驾驶员头部姿态，利用模糊推理系统融合 神经网络(convolutional neural networks,CNN)由 内外信息对碰撞风险等级进行评估，可以满足系 于其强大的特征学习和表达能力，在计算机视觉 统决策的准确性和时效性。 领域得到了广泛的应用。深度学习目标检测方法 1行人位置估计 著名的有Girshick等4提出的基于区域建议的卷 积神经网络模型(region CNN,R-CNN),通过CNN 利用通道特征检测器，可以从车辆前方的道 完成特征提取与目标定位。 路监控视频中判断每一帧是否存在行人，并提取 根据美国高速交通安全管理局NHTSA)的 出行人在图像中的位置，进一步恢复出其在真实场 统计6，有超过80%的交通事故责任与驾驶员相 景中的相对距离与角度，作为碰撞风险判断的依据。 关，其中注意力不集中是引发事故的主要原因。 聚合通道特征(aggregated channel features, 此外，预警系统的有效性受到驾驶员反应时间的 ACF)检测器最早由Dollar等I提出，其结构如 影响，驾驶员注意力的差异会导致对危险的反应 图1所示。检测器的特征构造利用色彩和梯度信 时间不同，精确的数值判断有时反而会给出错误 息，选取LUV色彩空间3个通道、6个方向上的 的预警。近年来，研究人员利用内外视觉(looking- 梯度直方图通道和1个梯度幅值通道共10个通 in and looking-out,LiLo)框架16实现车辆安全系 道图像结合而成。对每个通道图像上互不重叠 统性能的提升，在检测车辆前方障碍物的基础上， 的2×2的块内像素求和，通道的输出为输入通道 增加了对驾驶员状态的监测。该框架利用传感器 每个图像块内像素聚合构成的特征池。分类器 同时获取车辆周围环境、车辆运动状态以及驾驶 由4096棵深度为4的决策树通过软级联(soft 员行为，系统同时理解车辆外部和内部信息并据 cascade)方式31构造而成，分类器的训练采用 此对潜在危险做出判断。在这一框架基础下的部 RealBoost算法在Caltech行人数据集上进行。 分工作1网特别研究了驾驶员对于道路行人的认知。 驾驶员状态的监控对于提高行车安全有着重 要的促进作用，驾驶员的注意力与视线方向及头 计算通道特征 部姿势有着内在的联系，因此眼睛或头部的状态 LUV Grad Hist 检测技术广泛用于注意分散监测。在实际驾驶条 件下，使用非接触式方式进行可靠的视线方向估 计非常具有挑战性。就危险预警而言，头部偏移 向量化 情况下视线的分散程度相对更加严重，因此头部 … 姿态也可以作为驾驶员注意状态判断的可靠指 分类器(boosted tree) 标。在实际应用中，头部姿态的获取普遍采用 非接触式的基于视觉的方法，通常需要先建立面 部形状模型以定位面部特征点，根据特征点间的 几何关系还原空间姿态。面部特征点定位的经典 行人 非行人 方法是Cootes等II提出的主动形状模型(active 图1通道特征检测器 shape model,.ASM),近年来广泛地使用有基于回 Fig.1 Channel features detector容易受到致命的伤害。统计数据表明，在我国城 市道路中，每年死于交通事故的人口中有接近 50% 为身处车外的行人。因此研究行人碰撞预警 系统，在可能的碰撞发生前对驾驶员做出提醒， 具有重要的现实意义。 行人碰撞预警的实现广泛采用视觉传感器获 取行人位置信息，根据相对距离和车速做出判 断。由于姿态与外形的多样性，行人检测一直是 计算机视觉领域的一个重要研究课题。行人检测 的经典方法有 Viola 等 [1] 提出的 Haar-like 特征和 级联分类器，Dalal 等 [ 2 ] 提出的 HOG 特征结合 SVM 分类器，以及 Felzenszwalb 等 [3] 提出的可变 形部件模型 (deformable part model, DPM)。卷积 神经网络 (convolutional neural networks, CNN) 由 于其强大的特征学习和表达能力，在计算机视觉 领域得到了广泛的应用。深度学习目标检测方法 著名的有 Girshick 等 [4-5] 提出的基于区域建议的卷 积神经网络模型 (region CNN, R-CNN)，通过 CNN 完成特征提取与目标定位。 根据美国高速交通安全管理局 (NHTSA) 的 统计[6] ，有超过 80% 的交通事故责任与驾驶员相 关，其中注意力不集中是引发事故的主要原因。 此外，预警系统的有效性受到驾驶员反应时间的 影响，驾驶员注意力的差异会导致对危险的反应 时间不同，精确的数值判断有时反而会给出错误 的预警。近年来，研究人员利用内外视觉 (looking￾in and looking-out, LiLo) 框架[16] 实现车辆安全系 统性能的提升，在检测车辆前方障碍物的基础上， 增加了对驾驶员状态的监测。该框架利用传感器 同时获取车辆周围环境、车辆运动状态以及驾驶 员行为，系统同时理解车辆外部和内部信息并据 此对潜在危险做出判断。在这一框架基础下的部 分工作[17-18] 特别研究了驾驶员对于道路行人的认知。 驾驶员状态的监控对于提高行车安全有着重 要的促进作用，驾驶员的注意力与视线方向及头 部姿势有着内在的联系，因此眼睛或头部的状态 检测技术广泛用于注意分散监测。在实际驾驶条 件下，使用非接触式方式进行可靠的视线方向估 计非常具有挑战性。就危险预警而言，头部偏移 情况下视线的分散程度相对更加严重，因此头部 姿态也可以作为驾驶员注意状态判断的可靠指 标 [7]。在实际应用中，头部姿态的获取普遍采用 非接触式的基于视觉的方法，通常需要先建立面 部形状模型以定位面部特征点，根据特征点间的 几何关系还原空间姿态。面部特征点定位的经典 方法是 Cootes 等 [8] 提出的主动形状模型 (active shape model, ASM)，近年来广泛地使用有基于回 归森林的方法[9] 和基于深度学习的方法[10-11]。 车辆的行驶状态很大程度上取决于驾驶员是 否注意到行人，通过监控驾驶员的注意状态，可 以更加准确地衡量碰撞危险。结合对经验丰富的 驾驶员驾车行为的研究，本文提出一种基于车内 外视觉信息的行人碰撞预警方法，将行人状态分 析和驾驶员状态分析同时加入模糊决策过程。本 文的方法使用两个单目相机分别获取车外行人方 位信息和车内驾驶员头部姿态信息，其中外部信 息处理使用通道特征检测器定位行人，根据单目 视觉测距原理估计距离与角度，内部信息处理使 用级联回归方法定位面部特征点，根据 EPnP 算 法估计驾驶员头部姿态，利用模糊推理系统融合 内外信息对碰撞风险等级进行评估，可以满足系 统决策的准确性和时效性。 1 行人位置估计 利用通道特征检测器，可以从车辆前方的道 路监控视频中判断每一帧是否存在行人，并提取 出行人在图像中的位置，进一步恢复出其在真实场 景中的相对距离与角度，作为碰撞风险判断的依据。 聚合通道特征 (aggregated channel features, ACF) 检测器最早由 Dollar 等 [12] 提出，其结构如 图 1 所示。检测器的特征构造利用色彩和梯度信 息，选取 LUV 色彩空间 3 个通道、6 个方向上的 梯度直方图通道和 1 个梯度幅值通道共 10 个通 道图像结合而成。对每个通道图像上互不重叠 的 2×2 的块内像素求和，通道的输出为输入通道 每个图像块内像素聚合构成的特征池。分类器 由 4 096 棵深度为 4 的决策树通过软级联 (soft cascade) 方式[ 1 3 ] 构造而成，分类器的训练采用 RealBoost 算法在 Caltech 行人数据集上进行。 ... ... 计算通道特征 向量化 分类器 (boosted tree) 行人 非行人 LUV Grad Hist 图 1 通道特征检测器 Fig. 1 Channel features detector 第 4 期 杨会成，等：基于车内外视觉信息的行人碰撞预警方法 ·753·