第13卷第1期 智能系统学报 Vol.13 No.I 2018年2月 CAAI Transactions on Intelligent Systems Feb.2018 D0:10.11992/tis.201609029 网络出版地址：http:/kns.cnki.net/cms/detail/23.1538.TP.20170626.1728.002.html 深度学习在无人驾驶汽车领域应用的研究进展 王科俊，赵彦东，邢向磊 (哈尔滨工程大学自动化学院，黑龙江哈尔滨150001) 摘要：首先阐述了汽车界对无人驾驶的定义，然后详细分析了国内外无人驾驶汽车的发展历史以及各车企和互联 网公司的研究现状。通过详细分析无人驾驶汽车工作原理、体系架构设计以及具体实现方法，简单说明了目前无人 驾驶汽车遇到的关键问题和难题，同时重点描述了目前深度学习在图像处理方面的突破性进展以及在无人驾驶汽车 领域的应用实践，最后对无人驾驶的未来发展做了展望。 关键词：无人驾驶：图像处理；深度学习：卷积神经网络：计算机视觉 中图分类号：TP18 文献标志码：A文章编号：1673-4785(2018)01-0055-15 中文引用格式：王科俊，赵彦东，邢向磊.深度学习在无人驾驶汽车领域应用的研究进展.智能系统学报，2018,13(1)：55-69. 英文引用格式：VANG Kejun,ZHAO Yandong,.XING Xianglei.Deep learning in driverless vehiclesJ.CAAI transactions on in- telligent systems,2018,13(1):55-69. Deep learning in driverless vehicles WANG Kejun,ZHAO Yandong,XING Xianglei (School of Automation,Harbin Engineering University,Harbin 150001,China) Abstract:In this paper,we first define the unmanned vehicle and analyze the current technology and key problems of driverless vehicles.Then,we discuss the principles and architectural design of driverless cars and identify their key prob- lems.Lastly,we describe the development of deep learning with respect to image processing,discuss the application of deep learning to driverless vehicles,and consider the future of driverless vehicles. Keywords:driverless vehicles;image processing;deep learning,convolutional Neural Networks;computer Vision 互联网技术的迅猛发展给汽车工业带来了革命 驾驶的车辆还没有正式批量生产销售，但已经有相 性的变化，高精度地图的进步与普及使得车辆实时 当一部分实验车型可以通过环境感知实现高度自主 精准定位成为可能，与此同时，智能驾驶技术的广 驾驶行为，如起步、加速、制动、车道线跟踪、换道、 泛应用使汽车驾驶变得更简单更智能。互联网、高 避撞、停车等。表1给出了NHTSA(national high- 精度地图与智能驾驶技术相结合，共同推动了无人 way traffic safety administration)对无人驾驶的定 驾驶汽车技术的发展。 义，它将无人驾驶分为5个等级，分别是高级辅助 1无人驾驶汽车发展现状 驾驶(advanced driver assistance systems)、特定功能 辅助、组合功能辅助、高度自动驾驶以及完全无人 近年来，随着市场对汽车主动安全和智能化需 驾驶。如表1所示，目前大部分车型都还停留在组 求的不断提高，无人驾驶巨大的社会和经济价值越 合功能辅助阶段(Level2级)，要实现完全无人驾驶 发凸显，越来越多的企业与科研机构积极参与并推 动无人驾驶领域的发展。目前，能够实现完全无人 车的量产化，还有很长一段路要走。 11国外无人驾驶汽车发展现状 收稿日期：2016-09-29.网络出版日期：2017-06-26. 基金项目：国家自然科学基金面上项目(61573114,61703119)：黑 20世纪70年代初，许多发达国家（如美国、英 龙江省自然料学基金面上项目F2015033,QC2017070): 中央高校基本科研基金项目(H正UCFJ170404). 国、德国等)开始研究无人驾驶汽车，经过长时间的 通信作者：邢向磊.E-mail:xingxl@hrbeu.edu.cn 发展，无人驾驶汽车在可行性和实用化方面都取得
DOI: 10.11992/tis.201609029 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20170626.1728.002.html 深度学习在无人驾驶汽车领域应用的研究进展 王科俊，赵彦东，邢向磊 （哈尔滨工程大学 自动化学院，黑龙江 哈尔滨 150001） 摘 要：首先阐述了汽车界对无人驾驶的定义，然后详细分析了国内外无人驾驶汽车的发展历史以及各车企和互联 网公司的研究现状。通过详细分析无人驾驶汽车工作原理、体系架构设计以及具体实现方法，简单说明了目前无人 驾驶汽车遇到的关键问题和难题，同时重点描述了目前深度学习在图像处理方面的突破性进展以及在无人驾驶汽车 领域的应用实践，最后对无人驾驶的未来发展做了展望。 关键词：无人驾驶；图像处理；深度学习；卷积神经网络；计算机视觉 中图分类号：TP18 文献标志码：A 文章编号：1673−4785(2018)01−0055−15 中文引用格式：王科俊, 赵彦东, 邢向磊. 深度学习在无人驾驶汽车领域应用的研究进展[J]. 智能系统学报, 2018, 13(1): 55–69. 英文引用格式：WANG Kejun, ZHAO Yandong, XING Xianglei. Deep learning in driverless vehicles[J]. CAAI transactions on intelligent systems, 2018, 13(1): 55–69. Deep learning in driverless vehicles WANG Kejun，ZHAO Yandong，XING Xianglei (School of Automation, Harbin Engineering University, Harbin 150001, China) Abstract: In this paper, we first define the unmanned vehicle and analyze the current technology and key problems of driverless vehicles.Then, we discuss the principles and architectural design of driverless cars and identify their key problems. Lastly, we describe the development of deep learning with respect to image processing, discuss the application of deep learning to driverless vehicles, and consider the future of driverless vehicles. Keywords: driverless vehicles; image processing; deep learning; convolutional Neural Networks; computer Vision 互联网技术的迅猛发展给汽车工业带来了革命 性的变化，高精度地图的进步与普及使得车辆实时 精准定位成为可能，与此同时，智能驾驶技术的广 泛应用使汽车驾驶变得更简单更智能。互联网、高 精度地图与智能驾驶技术相结合，共同推动了无人 驾驶汽车技术的发展。 1 无人驾驶汽车发展现状 近年来，随着市场对汽车主动安全和智能化需 求的不断提高，无人驾驶巨大的社会和经济价值越 发凸显，越来越多的企业与科研机构积极参与并推 动无人驾驶领域的发展。目前，能够实现完全无人 驾驶的车辆还没有正式批量生产销售，但已经有相 当一部分实验车型可以通过环境感知实现高度自主 驾驶行为，如起步、加速、制动、车道线跟踪、换道、 避撞、停车等。表 1 给出了 NHTSA (national highway traffic safety administration) 对无人驾驶的定 义 [1] ，它将无人驾驶分为 5 个等级，分别是高级辅助 驾驶 (advanced driver assistance systems)、特定功能 辅助、组合功能辅助、高度自动驾驶以及完全无人 驾驶。如表 1 所示，目前大部分车型都还停留在组 合功能辅助阶段 (Level 2 级)，要实现完全无人驾驶 车的量产化，还有很长一段路要走。 1.1 国外无人驾驶汽车发展现状 20 世纪 70 年代初，许多发达国家 (如美国、英 国、德国等) 开始研究无人驾驶汽车，经过长时间的 发展，无人驾驶汽车在可行性和实用化方面都取得 收稿日期：2016−09−29. 网络出版日期：2017−06−26. 基金项目：国家自然科学基金面上项目 (61573114, 61703119)；黑 龙江省自然科学基金面上项目 (F2015033, QC2017070)； 中央高校基本科研基金项目 (HEUCFJ170404). 通信作者：邢向磊. E-mail: xingxl@hrbeu.edu.cn. 第 13 卷第 1 期 智 能 系 统 学 报 Vol.13 No.1 2018 年 2 月 CAAI Transactions on Intelligent Systems Feb. 2018
·56 智能系统学报 第13卷 了突破性的进展。1995年，美国卡纳基梅隆大学 人汽车，经过沙漠、隧道、泥泞的河床以及崎岖陡峭 研制的无人驾驶汽车Navllab-V,完成了横穿美国东 的山道最终获得成功。近年来由于谷歌、特斯拉 西部的无人驾驶实验。2005年，在美国国防部组 奔驰、宝马等纷纷加入无人驾驶汽车的研究，无人 织的“大挑战”比赛中，由美国斯坦福大学改造的无 驾驶技术有了突飞猛进的发展。 表1 NHTSA对无人驾驶的定义 Table 1 NHTSA definition of driverless 等级 定义 功能举例 推出车型 Level 0 高级辅助驾驶(ADAS) 车道偏离、前后碰撞提醒 广泛应用于中低端车型 Level 1 特定功能辅助 定速巡航(ACC)、自动紧急刹车(AEB)等 中高端车型 Level 2 组合功能辅助 自动车道保持、自动泊车、指令超车等 Tesla7.0版本后、Volvo XC90 Level3 高度自动驾驶 大部分时间自动驾驶，司机随时接管汽车 SQ5 Level 4 完全无人驾驶 由机器接管人的驾驶行为 Google 作为当前无人驾驶的领跑者，Google X实验室 助驾驶功能，该功能获得了众多试驾者的一致好 从2007年初就开始筹备无人驾驶汽车的各项研究 评。据2016年5月份的数据，特斯拉旗下的电动汽 工作，并于2010年正式宣布相关工作的进展。2012年 车已通过Autopilot自驾功能累计行驶大约1.6×108 5月，美国内华达州的机动车驾驶管理处为谷歌的 km。虽然目前特斯拉的Autopilot技术仅被美国国 无人驾驶汽车颁发了美国首例自动驾驶汽车的路测 家公路交通安全管理局(NHTSA)认定为Level2阶 许可。2015年6月，2辆谷歌无人驾驶原型车开 段，但是作为迄今为止量产车型中自动驾驶系统应 始上路测试，如图1所示。为了完成对车子在X,Y, 用最成功的企业，特斯拉向我们展示了在某些特定 Z这3个方向上的数据测量（加速度等），谷歌公司 路况下，汽车已经基本实现自动驾驶。 在汽车底部安装了一个动力系统，利用GPS技术对 在2013年9月奔驰汽车公司宣布他们生产的 过往的其他车辆位置进行确认，最后利用智能算法 S级轿车完成了从德国曼海姆到达普福尔茨海姆的 对车辆下一步的行动进行预测。截至2016年8月， 自动驾驶，这段自动驾驶的总长度为100km。 谷歌共有58辆无人驾驶汽车，这些车在加州、内华 2015年1月，在国际消费电子展(CES)上奔驰发布 达州、德州、山景城、菲尼克斯和奥斯汀等允许自动 旗下FOl5 Luxury in Motion自动驾驶概念级豪华轿 驾驶汽车路测的地区进行实际路测，据Google发布 车，在美国旧金山通过路试。 的自动驾驶项目月报显示，截至2016年8月30日， 2006年，宝马公司开始在赛道上尝试对汽车的 累计行驶距离已经超过约2.9×106km,平均每周 自动驾驶进行测试，其中包括自动启动和停车等。 1.51.7万英里6-。 2011年，宝马公司的无人汽车首次在德国进行路 试，测试它对其他汽车进行自动躲避障碍等功能。 宝马汽车公司在2014年5月公布了研发的辅助驾 驶系统Urban Roads:BAN research'”。该辅助驾驶 系统可以提供异常预警和驾驶线路的选择，还可以 调整发动机的动力配置。2014年7月，百度公司和 宝马公司合作进行了无人驾驶车的研发和制造。其 中，数据分析和技术服务由百度负责，硬件设计和 制造由宝马承担。此系统的城市路况和高速公路路 况的测试工作于2015年底成功完成。2016年7月 图1 Google无人驾驶汽车 1日晚，宝马、英特尔及Mobileyel联合举行发布会， Fig.1 Google self-driving car 宣布三方合作，协同开发无人驾驶电动车Next,同 紧随其后的特斯拉ModelS系列汽车，其“Auto 时声明宝马将于2021年与两家合作伙伴共同推出 pilot'技术近年来已经取得重大突破，为了让车子能 无人驾驶汽车。 够实时地感知外部环境，该公司还在车身上安装了 据英国汽车杂志Autocar报道，全新一代奥迪 一些设备，比如摄像头、雷达等，无人汽车主要利用 A8将于2017年上市，奥迪A8如图2所示。该车 传感器反馈的信息来实现自动并道、自动停车等辅 率先采用全自动无人驾驶系统TrafficJam Assist
了突破性的进展[2]。1995 年，美国卡纳基梅隆大学 研制的无人驾驶汽车 Navllab-V，完成了横穿美国东 西部的无人驾驶实验[3]。2005 年，在美国国防部组 织的“大挑战”比赛中，由美国斯坦福大学改造的无 人汽车，经过沙漠、隧道、泥泞的河床以及崎岖陡峭 的山道最终获得成功[4]。近年来由于谷歌、特斯拉、 奔驰、宝马等纷纷加入无人驾驶汽车的研究，无人 驾驶技术有了突飞猛进的发展。 表 1 NHTSA 对无人驾驶的定义 Table 1 NHTSA definition of driverless 等级 定义 功能举例 推出车型 Level 0 高级辅助驾驶(ADAS) 车道偏离、前后碰撞提醒 广泛应用于中低端车型 Level 1 特定功能辅助 定速巡航(ACC)、自动紧急刹车(AEB)等 中高端车型 Level 2 组合功能辅助 自动车道保持、自动泊车、指令超车等 Tesla 7.0 版本后、Volvo XC90 Level 3 高度自动驾驶 大部分时间自动驾驶，司机随时接管汽车 SQ5 Level 4 完全无人驾驶 由机器接管人的驾驶行为 Google 作为当前无人驾驶的领跑者，Google X 实验室 从 2007 年初就开始筹备无人驾驶汽车的各项研究 工作，并于 2010 年正式宣布相关工作的进展。2012 年 5 月，美国内华达州的机动车驾驶管理处为谷歌的 无人驾驶汽车颁发了美国首例自动驾驶汽车的路测 许可[5]。2015 年 6 月，2 辆谷歌无人驾驶原型车开 始上路测试，如图 1 所示。为了完成对车子在 X，Y， Z 这 3 个方向上的数据测量（加速度等），谷歌公司 在汽车底部安装了一个动力系统，利用 GPS 技术对 过往的其他车辆位置进行确认，最后利用智能算法 对车辆下一步的行动进行预测。截至 2016 年 8 月， 谷歌共有 58 辆无人驾驶汽车，这些车在加州、内华 达州、德州、山景城、菲尼克斯和奥斯汀等允许自动 驾驶汽车路测的地区进行实际路测，据 Google 发布 的自动驾驶项目月报显示，截至 2016 年 8 月 30 日， 累计行驶距离已经超过约 2.9×106 km，平均每周 1.5~1.7 万英里[6-11]。 图 1 Google 无人驾驶汽车 Fig. 1 Google self-driving car 紧随其后的特斯拉 ModelS 系列汽车，其“Autopilot”技术近年来已经取得重大突破，为了让车子能 够实时地感知外部环境，该公司还在车身上安装了 一些设备，比如摄像头、雷达等，无人汽车主要利用 传感器反馈的信息来实现自动并道、自动停车等辅 助驾驶功能，该功能获得了众多试驾者的一致好 评。据 2016 年 5 月份的数据，特斯拉旗下的电动汽 车已通过 Autopilot 自驾功能累计行驶大约 1.6×108 km。虽然目前特斯拉的 Autopilot技术仅被美国国 家公路交通安全管理局 (NHTSA)认定为 Level 2 阶 段，但是作为迄今为止量产车型中自动驾驶系统应 用最成功的企业，特斯拉向我们展示了在某些特定 路况下，汽车已经基本实现自动驾驶[12]。 在 2013 年 9 月奔驰汽车公司宣布他们生产的 S 级轿车完成了从德国曼海姆到达普福尔茨海姆的 自动驾驶，这段自动驾驶的总长度为 100 km。 2015 年 1 月，在国际消费电子展 (CES) 上奔驰发布 旗下 F015 Luxury in Motion 自动驾驶概念级豪华轿 车，在美国旧金山通过路试[13]。 2006 年，宝马公司开始在赛道上尝试对汽车的 自动驾驶进行测试，其中包括自动启动和停车等。 2011 年，宝马公司的无人汽车首次在德国进行路 试，测试它对其他汽车进行自动躲避障碍等功能。 宝马汽车公司在 2014 年 5 月公布了研发的辅助驾 驶系统 “Urban Roads：BAN research”。该辅助驾驶 系统可以提供异常预警和驾驶线路的选择，还可以 调整发动机的动力配置。2014 年 7 月，百度公司和 宝马公司合作进行了无人驾驶车的研发和制造。其 中，数据分析和技术服务由百度负责，硬件设计和 制造由宝马承担。此系统的城市路况和高速公路路 况的测试工作于 2015 年底成功完成。2016 年 7 月 1 日晚，宝马、英特尔及 Mobileye联合举行发布会， 宣布三方合作，协同开发无人驾驶电动车 iNext，同 时声明宝马将于 2021 年与两家合作伙伴共同推出 无人驾驶汽车[14]。 据英国汽车杂志 Autocar 报道，全新一代奥迪 A8 将于 2017 年上市，奥迪 A8 如图 2 所示。该车 率先采用全自动无人驾驶系统“TrafficJam Assist”， ·56· 智 能 系 统 学 报 第 13 卷
第1期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·57· 该系统能够在无需任何人类干涉的情况下自动控制 算方面的公司Pivotal Software.,总共费用高达83亿 汽车，以速度80kmh运行s1。 美元，其目的在于增强自己在自动驾驶中的云计算 能力。2016年7月，福特与麻省理工学院发起了 项关于机器学习和自动驾驶系统的研究计划，该计 划旨在解决车辆碰撞问题以及改进自主路线规 划四。 博世公司作为全球汽车零件供应和技术的巨 头，早在2011年开始就对无人驾驶进行研究，同时 持续在加州帕洛阿尔帕托技术中心进行自动驾驶测 试。博世在2015年的CES展会上，展示了该公司 最新的辅助驾驶系统，并在JEEEP的切诺基车型上 图2奥迪无人驾驶汽车 进行了实际演示。该辅助系统由4个模块组成：摄 Fig.2 Audiautonomous vehicle 像头、雷达、智能预刹车以及距离传感器。这些模 丰田于2015年对自动驾驶项目拨款10亿美 块可以帮助驾驶人员更好地处理各种紧急事件提高 元，同时与斯坦福、MT和密歇根大学合作，特别值 车辆的安全性能。2016年4月和6月，博世分别在 得一提的是，丰田是目前自动驾驶专利最多的车 北京国际车展和位于美国密歇根州Flat Rock的试 企，拥有1400多项专利技术7。 验场地上展示了最新产品，其中包括驾驶员辅助系 2013年9月，日产公司取得了对研发的自动驾 统、第六代超声波雷达和互联汽车等232 驶汽车进行公路测试的资格牌照，并于2015年 2016年5月25日，Uber宣布获得丰田公司的 10月起进行搭载了Piloted Drive1.0自动驾驶系统 战略投资，丰田除了帮Uber开拓现有的车辆租赁业 的Leaf(聆风)电动车的原型车测试工作，测试地，点 务外，双方还计划在无人驾驶研发方面进行合作。 为日本首都圈。为了能够获得周围360°的全方位 2016年8月19日Uber宣布与沃尔沃合作，预计 信息，该车配备的240个传感器，包括12个摄像 2021年推出无人驾驶出租车，原型车于当月起在匹 头，5个雷达，4个激光扫描仪及超声波传感器。 兹堡上路测试2 2016年7月，日产于总部横滨发布了第5代Ser- Delphi(德尔福)汽车于2015年3月完成了大 ena车型，该车型配有最新的自动驾驶系统ProPI- 约5600km的无人驾驶测试。该无人驾驶汽车是 L0T,能够满足在单向车道中自动行驶的需求。 根据奥迪SQ5改装而成的。2016年8月23日， 2014年4月，本田公司在5条指定公路上进行 Delphi Automotive和Mobileye宣布，将合作开发一 了辅助驾驶系统的测试，并在2014年9月在美国底 款符合SAE(美国汽车工程协会)规定的4级自动驾 特律召开的智能交通系统大会上进行了展示发布， 驶全套解决方案，该方案为端对端、可量产、高性能 该系统能够进行自动转向、变道及超车的操作。 和安全操作的全自动驾驶解决方案（市场上首个一 20l6年5月，本田在GoMentum Station测试基地对 站式45级自动驾驶解决方案)2m。 第二代无人驾驶版讴歌RLX测试车开展了实地测 2015年，Drive.ai公司从斯坦福大学人工智能 试工作。 实验室分出来。该公司的核心成员都具有丰富的深 美国大众汽车公司的无人驾驶技术研发始于参 度学习研究背景，因此公司利用深度学习算法解决 加DARPA(美国国防部高级研究计划局)无人驾驶 了车辆的自动驾驶问题。2016年4月底，该公司获 汽车挑战赛。与美国斯坦福大学合作改装的大众途 得了美国加利福尼亚州测试无人驾驶汽车的许可。 锐(Touareg)TDIR5在2005年的越野赛中取得了 2016年8月25日，NuTonomy公司利用NASA+ 第一名的成绩；2007年参加的城市赛中车型为帕萨 MT技术，让无人驾驶出租车（见图3）在新加坡率 特运动款(Passat SportWagen),取得了第二名的成 绩。2015年10月，大众汽车与美国内华达大学合 先完成试运营载客。该公司的无人驾驶出租车装 作进行了无人驾驶测试，测试地点为美国亚利桑那 有6套激光雷达检测系统，同时仪表盘上还有两个 州的诺加莱斯(Nogales)和墨西哥首都墨西哥城之 摄像头，用来扫描障碍和检测红绿灯变化。NuTonomy 间，测试距离长达2400km,创造了墨西哥境内完成 使用激光雷达数据能提供更准确的定位，不仅能检 的最长测试距离的无人驾驶纪录2刘 测道路上的物体，还能检测出汽车周围的静态物 福特公司的无人驾驶团队于2015年成立，该团 体。为了更好地发展无人驾驶汽车的经济价值，该 队由在公司工作近30年的资深专家Randy Visin- 公司还开发调配和指挥无人驾驶出租车的云计算软 tainer担任负责人。福特公司在20l6年入股了云计 件，指挥无人驾驶出租车队四
该系统能够在无需任何人类干涉的情况下自动控制 汽车，以速度 80 km/h 运行[15-16]。 图 2 奥迪无人驾驶汽车 Fig. 2 Audiautonomous vehicle 丰田于 2015 年对自动驾驶项目拨款 10 亿美 元，同时与斯坦福、MIT 和密歇根大学合作，特别值 得一提的是，丰田是目前自动驾驶专利最多的车 企，拥有 1 400 多项专利技术[17]。 2013 年 9 月，日产公司取得了对研发的自动驾 驶汽车进行公路测试的资格牌照，并于 2015 年 10 月起进行搭载了 Piloted Drive 1.0 自动驾驶系统 的 Leaf（聆风）电动车的原型车测试工作，测试地点 为日本首都圈。为了能够获得周围 360°的全方位 信息，该车配备的 240 个传感器，包括 12 个摄像 头，5 个雷达，4 个激光扫描仪及超声波传感器。 2016 年 7 月，日产于总部横滨发布了第 5 代 Serena 车型，该车型配有最新的自动驾驶系统 ProPILOT，能够满足在单向车道中自动行驶的需求[18]。 2014 年 4 月，本田公司在 5 条指定公路上进行 了辅助驾驶系统的测试，并在 2014 年 9 月在美国底 特律召开的智能交通系统大会上进行了展示发布， 该系统能够进行自动转向、变道及超车的操作。 2016 年 5 月，本田在 GoMentum Station 测试基地对 第二代无人驾驶版讴歌 RLX 测试车开展了实地测 试工作。 美国大众汽车公司的无人驾驶技术研发始于参 加 DARPA（美国国防部高级研究计划局）无人驾驶 汽车挑战赛。与美国斯坦福大学合作改装的大众途 锐（Touareg）TDI R5 在 2005 年的越野赛中取得了 第一名的成绩；2007 年参加的城市赛中车型为帕萨 特运动款（Passat SportWagen），取得了第二名的成 绩。2015 年 10 月，大众汽车与美国内华达大学合 作进行了无人驾驶测试，测试地点为美国亚利桑那 州的诺加莱斯（Nogales）和墨西哥首都墨西哥城之 间，测试距离长达 2400 km，创造了墨西哥境内完成 的最长测试距离的无人驾驶纪录[19-21]。 福特公司的无人驾驶团队于 2015 年成立，该团 队由在公司工作近 30 年的资深专家 Randy Visintainer 担任负责人。福特公司在 2016 年入股了云计 算方面的公司 Pivotal Software，总共费用高达 83 亿 美元，其目的在于增强自己在自动驾驶中的云计算 能力。2016 年 7 月，福特与麻省理工学院发起了一 项关于机器学习和自动驾驶系统的研究计划，该计 划旨在解决车辆碰撞问题以及改进自主路线规 划 [22]。 博世公司作为全球汽车零件供应和技术的巨 头，早在 2011 年开始就对无人驾驶进行研究，同时 持续在加州帕洛阿尔帕托技术中心进行自动驾驶测 试。博世在 2015 年的 CES 展会上，展示了该公司 最新的辅助驾驶系统，并在 JEEEP 的切诺基车型上 进行了实际演示。该辅助系统由 4 个模块组成：摄 像头、雷达、智能预刹车以及距离传感器。这些模 块可以帮助驾驶人员更好地处理各种紧急事件提高 车辆的安全性能。2016 年 4 月和 6 月，博世分别在 北京国际车展和位于美国密歇根州 Flat Rock 的试 验场地上展示了最新产品，其中包括驾驶员辅助系 统、第六代超声波雷达和互联汽车等[23-25]。 2016 年 5 月 25 日，Uber 宣布获得丰田公司的 战略投资，丰田除了帮 Uber 开拓现有的车辆租赁业 务外，双方还计划在无人驾驶研发方面进行合作。 2016 年 8 月 19 日 Uber 宣布与沃尔沃合作，预计 2021 年推出无人驾驶出租车，原型车于当月起在匹 兹堡上路测试[26]。 Delphi（德尔福）汽车于 2015 年 3 月完成了大 约 5 600 km 的无人驾驶测试。该无人驾驶汽车是 根据奥迪 SQ5 改装而成的。2016 年 8 月 23 日， Delphi Automotive 和 Mobileye 宣布，将合作开发一 款符合 SAE(美国汽车工程协会) 规定的 4 级自动驾 驶全套解决方案，该方案为端对端、可量产、高性能 和安全操作的全自动驾驶解决方案 (市场上首个一 站式 4/5 级自动驾驶解决方案) [27]。 2015 年，Drive.ai 公司从斯坦福大学人工智能 实验室分出来。该公司的核心成员都具有丰富的深 度学习研究背景，因此公司利用深度学习算法解决 了车辆的自动驾驶问题。2016 年 4 月底，该公司获 得了美国加利福尼亚州测试无人驾驶汽车的许可[28]。 2016 年 8 月 25 日，NuTonomy 公司利用 NASA+ MIT 技术，让无人驾驶出租车 (见图 3) 在新加坡率 先完成试运营载客。该公司的无人驾驶出租车装 有 6 套激光雷达检测系统，同时仪表盘上还有两个 摄像头，用来扫描障碍和检测红绿灯变化。NuTonomy 使用激光雷达数据能提供更准确的定位，不仅能检 测道路上的物体，还能检测出汽车周围的静态物 体。为了更好地发展无人驾驶汽车的经济价值，该 公司还开发调配和指挥无人驾驶出租车的云计算软 件，指挥无人驾驶出租车队[29]。 第 1 期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·57·
·58 智能系统学报 第13卷 队有清华大学、国防科技大学等，这些团队与一汽集 团、上汽集团等国内知名车企已相互合作，共同研 发使用感更好、性能更加稳定的无人驾驶车辆3 2009年与2015年中国无人驾驶车辆差异对比如图5 所示。 nuTonomy 图3 NuTonomy无人驾驶汽车 Fig.3 NuTonomy driverless car 1.2国内无人驾驶汽车发展现状 无人驾驶技术在国内的发展较晚，1992年国防 (a)2009年参赛的自动驾驶车辆 科技大学成功研制出中国第一辆红旗系列无人驾驶 汽车301；经过一系列的努力和研制，直到2011年 7月14日，首次在高速上实现长沙到武汉约286km 的全程无人驾驶实验，成为了首个中国自主研制的 无人驾驶车辆，突破了在复杂交通状况下的自主驾 驶的新纪录，这次成功标志着中国无人驾驶技术在 复杂环境识别、智能行为决策和控制等方面的技术 突破，达到世界先进水平创。 2005年，首辆城市无人驾驶汽车在上海交通大 b)2015年参赛的自动驾驶车辆 学研制成功2。从2009年开始，在国家自然科学 图52009年与2015年的无人车 基金委“视听觉信息的认知计算”重大研究计划支 Fig.5 Driverless cars in 2009 and 2015 持下，分别在西安、鄂尔多斯、赤峰、常熟等地举 由图5可以看出，2009年参赛无人车辆是经过 办了七届“中国智能车未来挑战赛（见图4）”。该比 简单的外置传感器和控制器改装的，而2015年参赛 赛是现有的国内外唯一面向无人驾驶的赛事，极大 的部分无人车辆是内置传感器与车载相结合车载， 地推动了中国无人驾驶车辆的研究工作。 这些参赛车辆都是研究团队与车企之间的合作结果。 近年来，国内T企业和各大自主车企也开始将 FC205,常熟 研究方向投入到无人驾驶领域。2013年，百度深度 学习研究院主导研发无人驾驶汽车项目。2014年， Challenge 百度成立了车联网事业部，陆续推出CarLife、My Car、CoDriver等产品。20l5年底，百度深度学习研 C2014.常热 究院与宝马合作，在北京五环上展示全自动驾驶原 型车。2016年，百度与乌镇旅游举行战略签约仪式， 宣布将在该景区实现Level44的无人驾驶（见图6）B 品告时 百度与福特在2016年8月达成共识，为了降低 无人驾驶汽车激光雷达的生产成本，两公司共同投 资激光雷达厂商Velodyne。2016年9月1日，在百 度世界大会上，李彦宏与NVIDIA创始人黄仁勋宣 布合作，共同创建自动驾驶云平台，并向中国乃至 全球的汽车制造商开放。与此同时，百度高级副总 图42009一2015年中国智能车未来挑战赛 裁、自动驾驶事业部负责人王劲表示成立NHTSA Fig.4 Future challenge 2009-2015 Level3等级自动驾驶技术的L3事业部36，与此同 由于技术有限，在前几届比赛中参赛的无人汽 时，美国加州机动车辆管理局(Department of Motor 车需要较多的人为干预。随着科技的不断进步，自 Vehicles)已向百度美国(Baidu USA)发放第l5张 2013年之后，参赛的无人车辆可以在真实交通环境 自动驾驶汽车上路测试牌照。目前获得DMV发放 中完成驾驶任务。目前研发无人驾驶汽车的知名团 自动驾驶汽车路测牌照的公司如表2所示
图 3 NuTonomy 无人驾驶汽车 Fig. 3 NuTonomy driverless car 1.2 国内无人驾驶汽车发展现状 无人驾驶技术在国内的发展较晚，1992 年国防 科技大学成功研制出中国第一辆红旗系列无人驾驶 汽车[30] ；经过一系列的努力和研制，直到 2011 年 7 月 14 日，首次在高速上实现长沙到武汉约 286 km 的全程无人驾驶实验，成为了首个中国自主研制的 无人驾驶车辆，突破了在复杂交通状况下的自主驾 驶的新纪录，这次成功标志着中国无人驾驶技术在 复杂环境识别、智能行为决策和控制等方面的技术 突破，达到世界先进水平[31]。 2005 年，首辆城市无人驾驶汽车在上海交通大 学研制成功[32]。从 2009 年开始，在国家自然科学 基金委“视听觉信息的认知计算”重大研究计划支 持下，分别在西安、鄂尔多斯、赤峰、常熟等地举 办了七届“中国智能车未来挑战赛 (见图 4)”。该比 赛是现有的国内外唯一面向无人驾驶的赛事，极大 地推动了中国无人驾驶车辆的研究工作[33]。 FC’2011, 䘮ᅀๆ FC’2010, 西安 FC’2015, 常熟 FC’2014, 常熟 FC’2012, 赤峰 FC’2013, 常熟 FC’2009, 西安 图 4 2009—2015 年中国智能车未来挑战赛 Fig. 4 Future challenge 2009—2015 由于技术有限，在前几届比赛中参赛的无人汽 车需要较多的人为干预。随着科技的不断进步，自 2013 年之后，参赛的无人车辆可以在真实交通环境 中完成驾驶任务。目前研发无人驾驶汽车的知名团 队有清华大学、国防科技大学等，这些团队与一汽集 团、上汽集团等国内知名车企已相互合作，共同研 发使用感更好、性能更加稳定的无人驾驶车辆[34]。 2009 年与 2015 年中国无人驾驶车辆差异对比如图 5 所示。 (a) 2009Ꭰ࣮䊇⮰㜖ߔ侪侢䒒䒲 (b) 2015Ꭰ࣮䊇⮰㜖ߔ侪侢䒒䒲 图 5 2009 年与 2015 年的无人车 Fig. 5 Driverless cars in 2009 and 2015 由图 5 可以看出，2009 年参赛无人车辆是经过 简单的外置传感器和控制器改装的，而 2015 年参赛 的部分无人车辆是内置传感器与车载相结合车载， 这些参赛车辆都是研究团队与车企之间的合作结果。 近年来，国内 IT 企业和各大自主车企也开始将 研究方向投入到无人驾驶领域。2013 年，百度深度 学习研究院主导研发无人驾驶汽车项目。2014 年， 百度成立了车联网事业部，陆续推出 CarLife、MyCar、CoDriver 等产品。2015 年底，百度深度学习研 究院与宝马合作，在北京五环上展示全自动驾驶原 型车。2016 年，百度与乌镇旅游举行战略签约仪式， 宣布将在该景区实现 Level4 的无人驾驶（见图 6） [35]。 百度与福特在 2016 年 8 月达成共识，为了降低 无人驾驶汽车激光雷达的生产成本，两公司共同投 资激光雷达厂商 Velodyne。2016 年 9 月 1 日，在百 度世界大会上，李彦宏与 NVIDIA 创始人黄仁勋宣 布合作，共同创建自动驾驶云平台，并向中国乃至 全球的汽车制造商开放。与此同时，百度高级副总 裁、自动驾驶事业部负责人王劲表示成立 NHTSA Level 3 等级自动驾驶技术的 L3 事业部[36] ，与此同 时，美国加州机动车辆管理局 (Department of Motor Vehicles) 已向百度美国 (Baidu USA) 发放第 15 张 自动驾驶汽车上路测试牌照。目前获得 DMV 发放 自动驾驶汽车路测牌照的公司如表 2 所示。 ·58· 智 能 系 统 学 报 第 13 卷
第1期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·59· 2016年9月1日京东集团对外宣布，由其自主 研发的中国首辆无人配送车已经进人道路测试阶 段，10月份即将开始试运营，2017年有望进行大规 模商用。最近，乐视宣布在多处开展无人驾驶汽 车研发工作，滴滴CTO张博宣布将无人车作为重大 战略布局，并很快实现无人车上路。综上所述，尽 管国内车企和各大T公司进人无人驾驶领域较晚， 但是随着越来越多的企业和单位积极投入到其中， 中国智能汽车发展迅速，已接近国际先进水平。 2无人驾驶汽车产业化瓶颈 图6百度无人驾驶汽车 Fig.6 Baidu self-driving car 目前，无人驾驶汽车产业化的瓶颈问题主要有 表2截至2016年8月29日获得DMV发放自动驾驶汽车 两点：1)如何更高效快速实现多传感器信息融合； 路测牌照的公司 2)在保证自动驾驶性能的前提下如何最大限度降 Table 2 Entities to which the DMV has issued autonom- 低设备成本。 ous vehicle testing permits as of august 29,2016 2.1更高效快速实现多传感器信息融合 汽车公司 研发人员当前面临的最棘手的难题是如何提高 美国大众汽车集团 梅赛德斯-奔驰 汽车的视觉能力，目前所研发的计算机视觉系统还 谷歌 德尔福汽车 非常的低端和原始，如何赋予计算机系统接近甚至 特斯拉汽车 博世 达到人类的视觉能力是一项非常巨大的挑战。无人 日产 GM Cruise LLC 驾驶汽车需要随时注意周边车辆和行人，而且能够 宝马 本田 实时检测到周围的车道、地面上的画线，认识交通 福特 Zoox 标识、交通灯的含义，应对风霜雨露以及强光、弱光 Drive ai人工智能公司 法拉利 等一系列复杂的环境因素的影响。此外，由于某些 百度美国LLC 原因无法“看清”道路标志甚至在一些根本没有道路 2013年9月，上汽集团与中国航天科工三院在 标志的环境时，为了实现完全无人驾驶，目前唯一 上海宣布签署合作协议，开始实施无人驾驶计划： 可行的办法是通过多传感器实现信息融合进行决 不久之后，奇瑞宣布与武汉大学合作开发无人驾驶 策，综合利用各类传感器的优势从而达到理想的效 汽车，北京现代则选择与军事交通学院展开合作。 果，如图8所示。例如，毫米波雷达适用于近程、高 2015年宇通汽车公司研发了一辆无人驾驶公交车， 分辨力的目标监视和目标截获，由于其较强的穿透 实现从郑州到开封城际快速路的演示m。同年，在 能力，可以用于视觉系统捕获车道线、交通灯颜色 江苏常熟成功举办的“中国智能车未来挑战赛”上， 等信息。但是其视觉系统不足之处在于，其测距能 由军事交通学院代表队研制的“军交猛狮号”获得第 力没有激光雷达准确。因此将激光雷达、毫米波雷 一名。2016年4月13日，长安汽车公司生产的无 达与视觉传感器相融合，可以有效解决单独使用的 人驾驶汽车（见图7）从重庆出发，途经西安、郑州、 不足之处，在进行物体检测的同时，也可以进行空 石家庄抵达北京，穿越了大巴山、秦岭、终南山，跨 间测距和图像识别。 过了华北平原、黄河，行程近2000km。这是我国 自动驾驶汽车是如何 丁作的？ GPS接收器：从卫星 首次无人驾驶汽车超长距离行驶实测3.2016年 上获得汽车的位置 藏光雷达：通过旋转 结合内部传感器获得 7月6日，北汽集团新技术研究院与盘锦市大洼区 数扫借餐挂得田围 准确位置 环境精确的三维地 人民政府签署无人驾驶汽车的战略合作协议，共同 后方雷达 开发无人驾驶体验项目0。 动的目标 2电 车轮编码器：来控 制车速 中心电脑：使用能够 作出所有驾驶决定的 雷达：与的车保持固 算法来控制汽车 长安 足的和离 一个简单的来控制是 (a)百度无人驾驶汽车(b)长安无人驾驶汽车 否使用辅助驾驶的结 图7百度无人驾驶汽车与长安无人驾驶汽车 图8无人驾驶实现示意 Fig.7 Baidu self-driving car and Changan automobile Fig.8 Interpretation of unmanned vehicle
图 6 百度无人驾驶汽车 Fig. 6 Baidu self-driving car 表 2 截至 2016 年 8 月 29 日获得 DMV 发放自动驾驶汽车 路测牌照的公司 Table 2 Entities to which the DMV has issued autonomous vehicle testing permits as of august 29, 2016 汽车公司 美国大众汽车集团 梅赛德斯-奔驰 谷歌 德尔福汽车 特斯拉汽车 博世 日产 GM Cruise LLC 宝马 本田 福特 Zoox Drive ai人工智能公司 法拉利 百度美国LLC 2013 年 9 月，上汽集团与中国航天科工三院在 上海宣布签署合作协议，开始实施无人驾驶计划； 不久之后，奇瑞宣布与武汉大学合作开发无人驾驶 汽车，北京现代则选择与军事交通学院展开合作。 2015 年宇通汽车公司研发了一辆无人驾驶公交车， 实现从郑州到开封城际快速路的演示[37]。同年，在 江苏常熟成功举办的“中国智能车未来挑战赛”上， 由军事交通学院代表队研制的“军交猛狮号”获得第 一名[38]。2016 年 4 月 13 日，长安汽车公司生产的无 人驾驶汽车（见图 7）从重庆出发，途经西安、郑州、 石家庄抵达北京，穿越了大巴山、秦岭、终南山，跨 过了华北平原、黄河，行程近 2 000 km。这是我国 首次无人驾驶汽车超长距离行驶实测[39]。2016 年 7 月 6 日，北汽集团新技术研究院与盘锦市大洼区 人民政府签署无人驾驶汽车的战略合作协议，共同 开发无人驾驶体验项目[40]。 ⮪Ꮢ 䪫Ⴕ (a) ⮪ᏒᬌϦ侪侢↩䒒 (b) 䪫ႵᬌϦ侪侢↩䒒 图 7 百度无人驾驶汽车与长安无人驾驶汽车 Fig. 7 Baidu self-driving car and Changan automobile 2016 年 9 月 1 日京东集团对外宣布，由其自主 研发的中国首辆无人配送车已经进入道路测试阶 段，10 月份即将开始试运营，2017 年有望进行大规 模商用[41]。最近，乐视宣布在多处开展无人驾驶汽 车研发工作，滴滴 CTO 张博宣布将无人车作为重大 战略布局，并很快实现无人车上路[42]。综上所述，尽 管国内车企和各大 IT 公司进入无人驾驶领域较晚， 但是随着越来越多的企业和单位积极投入到其中， 中国智能汽车发展迅速，已接近国际先进水平。 2 无人驾驶汽车产业化瓶颈 目前，无人驾驶汽车产业化的瓶颈问题主要有 两点：1) 如何更高效快速实现多传感器信息融合； 2) 在保证自动驾驶性能的前提下如何最大限度降 低设备成本。 2.1 更高效快速实现多传感器信息融合 研发人员当前面临的最棘手的难题是如何提高 汽车的视觉能力，目前所研发的计算机视觉系统还 非常的低端和原始，如何赋予计算机系统接近甚至 达到人类的视觉能力是一项非常巨大的挑战。无人 驾驶汽车需要随时注意周边车辆和行人，而且能够 实时检测到周围的车道、地面上的画线，认识交通 标识、交通灯的含义，应对风霜雨露以及强光、弱光 等一系列复杂的环境因素的影响。此外，由于某些 原因无法“看清”道路标志甚至在一些根本没有道路 标志的环境时，为了实现完全无人驾驶，目前唯一 可行的办法是通过多传感器实现信息融合进行决 策，综合利用各类传感器的优势从而达到理想的效 果，如图 8 所示。例如，毫米波雷达适用于近程、高 分辨力的目标监视和目标截获，由于其较强的穿透 能力，可以用于视觉系统捕获车道线、交通灯颜色 等信息。但是其视觉系统不足之处在于，其测距能 力没有激光雷达准确。因此将激光雷达、毫米波雷 达与视觉传感器相融合，可以有效解决单独使用的 不足之处，在进行物体检测的同时，也可以进行空 间测距和图像识别。 㜖ߔ侪侢↩䒒᭛ຮҁ ҈⮰喢 ⓬اٴ䰣䓪喝䕆䓳䒘 ⓬اٴភஔ㣣ᓃঔఠ ⣛ද⮰̵㐠 ప ऺ䰣䓪 GPSᣑᩢஔ喝Ϻᭋ ̶㣣ᓃ↩䒒⮰ѹ㒚喏 ㏿ऴڱ䘔ьᙋஔ㣣ᓃ ۲ѹ㒚 䒒䒚㑂ⴭஔ喝Ბᣓ 䒒䕋ݢ ͙ᓯ⩡㘽喝ҫ⩔㘩๋ ⮰۟ᝬᰵ侪侢ܦ҈ ッ∁Ბᣓݢ↩䒒 ̬͖ガࢁᲑ⮰ᣓݢ᭛ ॒ҫ⩔䒱ߕ侪侢⮰㏿ Ჰ ᥰ喝Ბᷬ≷ϐ䕆 ԍण▛Бࣶ䕿䌛̶⼧ Ⱊᴳ⮰ߔ 䰣䓪喝̺ݹ䒒ԉᠭద ⮰䌉⻧ 图 8 无人驾驶实现示意 Fig. 8 Interpretation of unmanned vehicle 第 1 期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·59·
·60 智能系统学报 第13卷 车载传感器是研发无人驾驶汽车时，需要多方 指标对比，表4详细分析实现不同自动驾驶功能所 面综合考虑的对象，其包括传感器的精度、灵敏度 需传感器及感知参数。 主动与被动传感器等。表3为各类车载传感器性能 表3车载传感器指标对比 Table 3 Vehicle sensor comparison 激光雷达 视觉相机 传感器指标 毫米波雷达 红外 超声波 前向 全向 24G/77G 单目 双目 精度 优 优 良 一般 优 一般 一般 分辨率 优 优 良 一般 优 一般 一般 灵敏度 优 优 优 良 优 良 一般 动态范围 优 良 优 一般 良 良 般 传感器视角 良 优 一般 良 良 一般 主动与被动 主动 主动 主动 被动 被动 被动 主动 时间精度 优 令 优 一般 良 一般 误报率 良 食 优 令 食 良 良 温度适应性 优 优 优 优 优 良 黑暗适应性 优 优 优 一般 一般 优 优 天气适应性 良 优 一般 一般 一般 食 硬件成本 高 高 中 低 中 低 低 处理能力 优 优 优 良 优 良 一般 输出接口 优 优 良 良 良 良 一般 表4 实现不同自动驾驶功能所需传感器及感知参数分析 Table 4 Sensors required to achieve different automatic driving functions 测距 轴助系统 测距精度 传感器视角 角分辨率 更新概率 传感器技术 跟踪 分类 FCW,AEB 50-80 25-50 0.5 30 ≤0.25 25 雷达摄像机、激光 行人保护 40 30 0.1 60 0.25 12.5 摄像机、激光 LCW,LCA 30 (15) 0.2 50 0.1 12.5 摄像机 LDW.LKA 100 0.2 50 0.1 25 摄像机 Start inhibit (5) 0.2 ≤180 2 25 雷达 ACC ≤200 ≤20 0.3 10-20 ≤0.3 <12.5 雷达 S&G 50 ≤20 0.1 ≤180 <12.5 摄像机、激光 辅助系统 0.1 ≤180 <12.5 超声波、摄像机 除了上述各类传感器之外，还需要选配高精度 2.2 如何降低制造成本 GPS定位系统及高精度测距传感器。如图9所示 目前无人驾驶汽车所使用的设备主要包括激光 该图中的汽车是Stanford大学研发的Junior无人 雷达、车载摄像头、车载雷达、超声波设备以及 车，该车配备4个激光雷达(IBEO、Riegl、SICK GPS等。利用激光雷达生成的点云，对反射障碍物 LMS和Velodyne),l个Applanix GPS惯性导航系 的远近、高低能较为准确地估计，从而大大提高障 统，5个BOSCH毫米波雷达，以及前向相机系统。 碍物检测的准确度，谷歌、Uber等科技公司都将这 由于需要种类繁多的传感器，如何将上述各种 种设备应用在原型汽车上6。图10为目前常用激 设备采集到的信息实现高效快速的融合，形成一个 光雷达LiDAR示意图，其中Velodyne HDL-64E 稳定而智能的系统从而应对各种突发事件和挑战， LiDAR预售价在10万美元以上，Velodyne VLP-16 是目前实现无人驾驶的关键糊。 LiDAR官网报价为税前7999美元，过高的成本大
车载传感器是研发无人驾驶汽车时，需要多方 面综合考虑的对象，其包括传感器的精度、灵敏度、 主动与被动传感器等。表 3 为各类车载传感器性能 指标对比，表 4 详细分析实现不同自动驾驶功能所 需传感器及感知参数。 表 3 车载传感器指标对比 Table 3 Vehicle sensor comparison 传感器指标 激光雷达 毫米波雷达 24G/77G 视觉相机 红外 超声波 前向 全向 单目 双目 精度 优 优 良 一般 优 一般 一般 分辨率 优 优 良 一般 优 一般 一般 灵敏度 优 优 优 良 优 良 一般 动态范围 优 良 优 一般 良 良 一般 传感器视角 良 优 一般 良 良 良 一般 主动与被动 主动 主动 主动 被动 被动 被动 主动 时间精度 优 良 优 良 一般 良 一般 误报率 良 良 优 良 良 良 良 温度适应性 优 优 优 优 优 良 良 黑暗适应性 优 优 优 一般 一般 优 优 天气适应性 良 良 优 一般 一般 一般 良 硬件成本 高 高 中 低 中 低 低 处理能力 优 优 优 良 优 良 一般 输出接口 优 优 良 良 良 良 一般 表 4 实现不同自动驾驶功能所需传感器及感知参数分析[43] Table 4 Sensors required to achieve different automatic driving functions 辅助系统 测距 测距精度 传感器视角 角分辨率 更新概率 传感器技术 跟踪 分类 FCW，AEB 50~80 25~50 0.5 30 ≤0.25 25 雷达摄像机、激光 行人 保护 40 30 0.1 60 0.25 12.5 摄像机、激光 LCW, LCA 30 (15) 0.2 50 0.1 12.5 摄像机 LDW, LKA 100 - 0.2 50 0.1 25 摄像机 Start inhibit 5 (5) 0.2 ≤180 2 25 雷达 ACC ≤200 ≤20 0.3 10-20 ≤0.3 <12.5 雷达 S&G 50 ≤20 0.1 ≤180 1 <12.5 摄像机、激光 辅助系统 5 - 0.1 ≤180 2 <12.5 超声波、摄像机 除了上述各类传感器之外，还需要选配高精度 GPS 定位系统及高精度测距传感器。如图 9 所示， 该图中的汽车是 Stanford 大学研发的 Junior 无人 车，该车配备 4 个激光雷达（IBEO、Riegl、SICK LMS 和 Velodyne），1 个 Applanix GPS 惯性导航系 统，5 个 BOSCH 毫米波雷达，以及前向相机系统[44]。 由于需要种类繁多的传感器，如何将上述各种 设备采集到的信息实现高效快速的融合，形成一个 稳定而智能的系统从而应对各种突发事件和挑战， 是目前实现无人驾驶的关键[45]。 2.2 如何降低制造成本 目前无人驾驶汽车所使用的设备主要包括激光 雷达、车载摄像头、车载雷达、超声波设备以及 GPS 等。利用激光雷达生成的点云，对反射障碍物 的远近、高低能较为准确地估计，从而大大提高障 碍物检测的准确度，谷歌、Uber 等科技公司都将这 种设备应用在原型汽车上[46]。图 10 为目前常用激 光雷达 LiDAR 示意图，其中 Velodyne HDL-64E LiDAR 预售价在 10 万美元以上，Velodyne VLP-16 LiDAR 官网报价为税前 7 999 美元，过高的成本大 ·60· 智 能 系 统 学 报 第 13 卷
第1期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·61· 大阻碍无人车的商业化。 底颠覆了传统的计算机模式识别方法5。在深度学 Velodyne Applanix 习出现以前，大多数识别任务要经过手工特征提取 激光雷达 Riegl SICK LMS惯性导航系统 和分类器判断两个基本步骤，而深度学习可以自动 激光雷达 激光雷达 地从训练样本中学习特征。深度学习的快速应用主 要有两点原因：1)更容易获得大量的人工标注数据 集，如ImageNet大规模视觉识别挑战(ILSVRC)s; 2)深度学习算法可以在GPUs上并行处理图形，提 高了学习效率和预测能力。利用深度神经网络自主 学习的特性，先通过高性能GPUs将庞大复杂的神 经网络模型训练好，然后移植到嵌入式开发平台， BOSCH 桌面管理接▣ 毫米波雷达BEO激光雷达 SICK LDLRS激光雷达 就可以实现对图像、视频信息实时高效的处理)。 近年来，从自动驾驶初创企业、互联网公司到各大 图9 Junior无人驾驶车辆及其传感器配置 OEM厂商，都在积极探索利用GPUs构建神经网络 Fig.9 Junior unmanned vehicle and sensor configuration 实现最终的无人驾驶。 3.1无人驾驶硬件实现 将深度学习应用于无人驾驶领域的代表公司 有Mobileye及NVIDIA公司，他们把基于深度卷积 神经网络的方法用于汽车的视觉系统中，取得了非 (a)HDL-64 (b)HDL-32 (c)VLP-16 常理想的效果。其中Mobileye公司生产的基于多 核架构芯片EyeQ4(见图11(a),使用了4颗核心处 图10 LIDAR图例 Fig.10 Examples of LIDARs 理器、6颗VMP芯片、2颗MPC核心和2颗 由于激光雷达售价过高导致无法量产，因此自 PMA核心，每秒浮点运算可达2.5万亿次，而功耗 动驾驶系统的传感器主要还是毫米波和摄像头。全 仅有3W。通过一系列的算法，EyeQ4可以同时处 球汽车毫米波目前主要生产供应商为博世、大陆、 理8部摄像头（最高36fs)产生的图像数据54s%。 海拉、富士通、电装、天合、德尔福、奥托立夫和法 英伟达DRIVE PX.2无人驾驶汽车平台（见图I1 雷奥等，国内主要有湖南纳雷科技、厦门意行、华域 (b),支持12路摄像头输入、激光定位、雷达和超声 汽车、杭州智波、芜湖森思泰克等，用于车企量产车 波传感器；包括两颗新一代NVIDIA Tegra处理器， 上的ADAS预警类应用7。目前利用摄像头实现 其中每个处理器包括8个A57核心和4个Denver 量产无人驾驶系统，最具代表性的厂商为Mobi- 核心；基于NVIDIA(见图12)的新一代GPU架构 leye,此外Omni、PointGrey、大恒和微视等公司近 年来也取得很大进展。众所周知，单一摄像头捕获 Pascal设计，单精度计算能力达到8T/S,超越TI- 的图像会产生距离误差，多摄像头捕获的图像却提 TANX的10倍以上的深度学习计算能力sm。 高了计算成本，这两种方法都不能满足无人车的实 时性。另外，光照条件也会对光学摄像头产生影响 从而产生识别的不稳定。上述两点一直是利用摄像 头实现无人驾驶的重要阻碍，伴随着近年深度学习 技术在图像和声音领域不断取得突破性进展，越来 b)英伟达DRIVE PX2 越多的公司和企业开始研究利用双/多摄像头来应 (a)Mobileye EyeQ4 对复杂的道路环境从而实现无人驾驶，包括中科慧 图11 Mobileye EyeQ4与英伟达DRIVE PX2 眼、地平线、东软和Minieye等。与此同时，通过 Fig.11 Mobileye EyeQ4 and NVIDIA DRIVE PX2 利用GPU强大的并行运算能力，在运算速度、效率 数据科学家利用NVDIADGX-1训练深度神经 不断提高的同时大幅度降低计算成本，更是为深度 网络结构，然后把训练好的网络模型与车辆配备， 学习在自动驾驶领域的应用铺平了道路9。 在NVIDIA DRIVE PX2上无缝运行。与此同时， 3深度学习在无人驾驶领域的应用 NVIDIA利用NVIDIA DRIVE PX2构建的Driven- t平台（见图13）提供算法库支持，实现无人驾驶汽 深度学习60在计算机视觉获得了巨大成功，彻 车无线更新功能58
大阻碍无人车的商业化。 Velodyne ⓬اٴ䰣䓪 SICK LMS 䰣䓪اٴ12 ᵸ䲎ネ⤲ᣑए IBEO ⓬اٴ䰣䓪 SICK LDLRS ⓬اٴ䰣䓪 BOSCH ℗㆟∎䰣䓪 Riegl 䰣䓪اٴ12 Applanix ᘛᕓᄨ㝖㈧㐋 图 9 Junior 无人驾驶车辆及其传感器配置 Fig. 9 Junior unmanned vehicle and sensor configuration (a) HDL−64 (b) HDL−32 (c) VLP−16 图 10 LIDAR 图例 Fig. 10 Examples of LIDARs 由于激光雷达售价过高导致无法量产，因此自 动驾驶系统的传感器主要还是毫米波和摄像头。全 球汽车毫米波目前主要生产供应商为博世、大陆、 海拉、富士通、电装、天合、德尔福、奥托立夫和法 雷奥等，国内主要有湖南纳雷科技、厦门意行、华域 汽车、杭州智波、芜湖森思泰克等，用于车企量产车 上的 ADAS 预警类应用[47]。目前利用摄像头实现 量产无人驾驶系统，最具代表性的厂商为 Mobileye，此外 Omni、PointGrey、大恒和微视等公司近 年来也取得很大进展。众所周知，单一摄像头捕获 的图像会产生距离误差，多摄像头捕获的图像却提 高了计算成本，这两种方法都不能满足无人车的实 时性。另外，光照条件也会对光学摄像头产生影响 从而产生识别的不稳定。上述两点一直是利用摄像 头实现无人驾驶的重要阻碍，伴随着近年深度学习 技术在图像和声音领域不断取得突破性进展，越来 越多的公司和企业开始研究利用双/多摄像头来应 对复杂的道路环境从而实现无人驾驶，包括中科慧 眼、地平线、东软和 Minieye 等 [48]。与此同时，通过 利用 GPU 强大的并行运算能力，在运算速度、效率 不断提高的同时大幅度降低计算成本，更是为深度 学习在自动驾驶领域的应用铺平了道路[49]。 3 深度学习在无人驾驶领域的应用 深度学习[50]在计算机视觉获得了巨大成功，彻 底颠覆了传统的计算机模式识别方法[51]。在深度学 习出现以前，大多数识别任务要经过手工特征提取 和分类器判断两个基本步骤，而深度学习可以自动 地从训练样本中学习特征。深度学习的快速应用主 要有两点原因：1) 更容易获得大量的人工标注数据 集，如 ImageNet 大规模视觉识别挑战（ILSVRC） [52] ； 2) 深度学习算法可以在 GPUs 上并行处理图形，提 高了学习效率和预测能力。利用深度神经网络自主 学习的特性，先通过高性能 GPUs 将庞大复杂的神 经网络模型训练好，然后移植到嵌入式开发平台， 就可以实现对图像、视频信息实时高效的处理[53]。 近年来，从自动驾驶初创企业、互联网公司到各大 OEM 厂商，都在积极探索利用 GPUs 构建神经网络 实现最终的无人驾驶。 3.1 无人驾驶硬件实现 将深度学习应用于无人驾驶领域的代表公司 有 Mobileye 及 NVIDIA 公司，他们把基于深度卷积 神经网络的方法用于汽车的视觉系统中，取得了非 常理想的效果。其中 Mobileye 公司生产的基于多 核架构芯片 EyeQ4(见图 11(a))，使用了 4 颗核心处 理器、6 颗 V MP 芯片、2 颗 M PC 核心和 2 颗 PMA 核心，每秒浮点运算可达 2.5 万亿次，而功耗 仅有 3 W。通过一系列的算法，EyeQ4 可以同时处 理 8 部摄像头 (最高 36f/s) 产生的图像数据[54-56]。 英伟达 DRIVE PX2 无人驾驶汽车平台 (见图 11 (b))，支持 12 路摄像头输入、激光定位、雷达和超声 波传感器；包括两颗新一代 NVIDIA Tegra 处理器， 其中每个处理器包括 8 个 A57 核心和 4 个 Denver 核心；基于 NVIDIA(见图 12) 的新一代 GPU 架构 Pascal 设计，单精度计算能力达到 8 T/S，超越 TITAN X 的 10 倍以上的深度学习计算能力[57]。 (a) Mobileye EyeQ4 (b) 㠝ы䓪DRIVE PX2 图 11 Mobileye EyeQ4 与 英伟达 DRIVE PX2 Fig. 11 Mobileye EyeQ4 and NVIDIA DRIVE PX2 数据科学家利用 NVDIADGX-1 训练深度神经 网络结构，然后把训练好的网络模型与车辆配备， 在 NVIDIA DRIVE PX2 上无缝运行。与此同时， NVIDIA 利用 NVIDIA DRIVE PX2 构建的 Drivenet 平台（见图 13）提供算法库支持，实现无人驾驶汽 车无线更新功能[58]。 第 1 期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·61·
·62· 智能系统学报 第13卷 近年来，随着深度学习的快速发展，利用深度 学习实现图像识别的文章数不胜数。2016年5月 l8日，Y.Lecun等发表Stereo Matching by Training a Convolutional NeuralNetwork to Compare Image Patches,首次提出利用Siamese网络（见图l4),同 时输入左视图和右视图两幅图像，利用网络计算出 两幅图像的视差图像，从而控制车辆的前进方向69。 决策网络 图12英伟达自动驾驶开发平台 Fig.12 NVIDIA DRIVE PX 2 智能车辆 独立通道 DNN训练平台 车载嵌人式 Siamese 计算平台 深度神经网络 左视图 右视图 图13 NVIDIA深度学习无人驾驶平台解决方案 图14双通道网络示意图 Fig.13 NVIDIA deep learning unmanned platform solu- Fig.14 Diagram of Siamese network tions 将Siamese网络的双通道输入结构应用于深度 2016年9月13日，NVIDIA在GPU技术大会 神经网络，在传统深度学习的优势之上，还可以通 上推出了体积更小的节能型车载深度学习计算平 过两幅图像之间的差异从而判断周围物体的远近 台NVIDIA DRIVETM PX2 AUTOCRUISE,该平台 (见图15)，从而合理操控汽车实现无人驾驶 采用了新型单处理器配置，功耗仅为10W。此外许 左视图 多移动终端产品芯片供应商已经开始为自动驾驶技 视差图 术提供带有GPU单元的嵌入式处理器。一些大公 司（例如高通、三星）也推出了各自带有GPU单元 右视图 90m 20m .7m 的嵌入式处理器。三星处理器芯片目前主要研发汽 车智能硬件，车机互联系统来拓展面向汽车的产品 图15训练图片示例 Fig.15 Example of training photos 组合，实现多系统支持的感知功能。 由于深度学习方法对图像处理的高效性，使得 利用式(1)计算视差，其中(P)和(P)为左 无人驾驶汽车可以利用单/双摄像头初步实现对自 右图像在P点处的灰度值，Np是一组固定位置在 以P为中心的矩形窗口。通过不断调节网络的隐 动控制的需求，减轻了传统方法中对用昂贵的激光 层数和进行海量训练最终达到的效果见图16。 扫描仪来建立3-D全景地图的依赖性。虽然相比于 激光扫描仪，利用摄像头采集的信息精度稍低，但 CsM=∑lr(P)-(P-d (1) geNr 完全可以满足日常无人驾驶的需要，而改进的深度 近年来，NVIDIA公司通过采用卷积神经网络 学习算法通过对多摄像头信息融合处理，模拟人的 (CNNs)实现无人驾驶取得很大突破。该公司研究 双眼生成立体空间图像，从而轻松判断距离，实现 人员将摄像头捕捉到的原始图片通过CNNs映射为 更好的自动控制功能5967。 汽车的方向操控命令，只需提供少量的训练数据， 3.2无人驾驶算法实现 系统就能自动学会驾驶技术，甚至可以工作在视线 Pomerleau在1989年用神经网络搭建了一套自 不清晰以及无车道标志线等区域，例如停车场或者 动驾驶系统(autonomous land vehicle in a neural net- 崎岖的山路上。图17为该系统的训练数据采集模 work,ALVINN)6。ALVINN首次证实了端到端训 块的块状示意图，数据采集车通过3台摄像机采集 练的神经网络模型实现无人驾驶的可行性。 视频信息，同步记录驾驶员操控方向盘的偏转角
图 12 英伟达自动驾驶开发平台 Fig. 12 NVIDIA DRIVE PX 2 %//䃙㏯ज ᮦ㘩䒒䒲 ⌝Ꮢ⺊㏻㑽㐈 䒒䒩ቸڑᐻ 䃍ッज 图 13 NVIDIA 深度学习无人驾驶平台解决方案 Fig. 13 NVIDIA deep learning unmanned platform solutions 2016 年 9 月 13 日，NVIDIA 在 GPU 技术大会 上推出了体积更小的节能型车载深度学习计算平 台 NVIDIA DRIVETM PX 2 AUTOCRUISE，该平台 采用了新型单处理器配置，功耗仅为 10 W。此外许 多移动终端产品芯片供应商已经开始为自动驾驶技 术提供带有 GPU 单元的嵌入式处理器。一些大公 司 (例如高通、三星) 也推出了各自带有 GPU 单元 的嵌入式处理器。三星处理器芯片目前主要研发汽 车智能硬件，车机互联系统来拓展面向汽车的产品 组合，实现多系统支持的感知功能。 由于深度学习方法对图像处理的高效性，使得 无人驾驶汽车可以利用单/双摄像头初步实现对自 动控制的需求，减轻了传统方法中对用昂贵的激光 扫描仪来建立 3-D 全景地图的依赖性。虽然相比于 激光扫描仪，利用摄像头采集的信息精度稍低，但 完全可以满足日常无人驾驶的需要，而改进的深度 学习算法通过对多摄像头信息融合处理，模拟人的 双眼生成立体空间图像，从而轻松判断距离，实现 更好的自动控制功能[59-67]。 3.2 无人驾驶算法实现 Pomerleau 在 1989 年用神经网络搭建了一套自 动驾驶系统 (autonomous land vehicle in a neural network，ALVINN)[68]。ALVINN 首次证实了端到端训 练的神经网络模型实现无人驾驶的可行性。 近年来，随着深度学习的快速发展，利用深度 学习实现图像识别的文章数不胜数。2016 年 5 月 18 日，Y. Lecun 等发表 Stereo Matching by Training a Convolutional NeuralNetwork to Compare Image Patches，首次提出利用 Siamese 网络 (见图 14)，同 时输入左视图和右视图两幅图像，利用网络计算出 两幅图像的视差图像，从而控制车辆的前进方向[69]。 ۟も㑽㐈 ⠘⿷䕆䕿 ጒ㻲ప ट㻲ప Siamese 图 14 双通道网络示意图 Fig. 14 Diagram of Siamese network 将 Siamese 网络的双通道输入结构应用于深度 神经网络，在传统深度学习的优势之上，还可以通 过两幅图像之间的差异从而判断周围物体的远近 (见图 15)，从而合理操控汽车实现无人驾驶[70]。 ጒ㻲ప 㻲ጚప ट㻲ప 90 m 20 m 1.7 m 图 15 训练图片示例 Fig. 15 Example of training photos 利用式 (1) 计算视差，其中 I L (P) 和 I R (P) 为左 右图像在 P 点处的灰度值，NP 是一组固定位置在 以 P 为中心的矩形窗口。通过不断调节网络的隐 层数和进行海量训练最终达到的效果见图 16。 CSAD(P,d) = ∑ q∈NP I L (P)− I R (P−d) (1) 近年来，NVIDIA 公司通过采用卷积神经网络 (CNNs) 实现无人驾驶取得很大突破。该公司研究 人员将摄像头捕捉到的原始图片通过 CNNs 映射为 汽车的方向操控命令，只需提供少量的训练数据， 系统就能自动学会驾驶技术，甚至可以工作在视线 不清晰以及无车道标志线等区域，例如停车场或者 崎岖的山路上。图 17 为该系统的训练数据采集模 块的块状示意图，数据采集车通过 3 台摄像机采集 视频信息，同步记录驾驶员操控方向盘的偏转角 ·62· 智 能 系 统 学 报 第 13 卷
第1期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·63· 度，利用汽车控制网络(controller area network, YUV平面，然后传入网络进行逐层训练，详细网 CAN)总线获取下一个方向的控制命令。系统采用 络结构如图20所示。 1/r来表示控制方向的命令，其中r代表以米为单位 的转弯半径。 记录方向的 方向盘 测整转向 期望的转向命令 左输入图像 右输人入图像 标注 并旋转 左相机 普查 错误率：4.58% 阿路计算的 转向命令 中心相机 随机移动 和旋转 卷积神经树络 右相机 快速构建 错误率：2.79% 错误 精准构理 错误率：2.36% 图18训练神经网络模型 Fig.18 Training a neural network model (a)识别效果图1 网络计算的 左输入图像 右输人图像 标注 转向命令 中心相机 卷积神经网络 通过有线 接口驱动 错误率：5.25% 图19中间摄像机的数据输入模型生成方向控制命令 Fig.19 Control command is generated by the data input 快速构建 错误率：3.91% model of the intermediate camera. 输出：车辆控制 精准构建 错误率：3.73% 10神经元 全连接层 50神经元 全连接层 100神经元 全连接层 (b)识别效果图2 16得神经元 全连接 图16识别效果图 卷积特征图 Fig.16 Photo of recognition result 64×1×18 公×3卷积核 卷积特征图 64×3×20 左相机 中相机 右相机 3×3卷积核 卷积特征图 48×5×55 5×5卷积核 方向盘角度 卷积特征图 La 36×14×47 5×5卷积核 卷积特征图 SSD 24×31×98 5×5卷积核 归一化输入 外部固态 3×66×200 英伟达 输人层 图17数据采集系统结构 3×66×200 Fig.17 Structure diagram of data acquisition system 图20CNNs结构（该网络约有2700万个连接和25万个 图像输入到CNNS控制命令中，将预测方向控 参数) 制命令与理性控制命令相比产生误差，利用误差值 Fig.20 CNNs structure (the network has about 27 million 不断训练调整CNNs模型的权值，使得网络模型输 connections and 250 thousand parameters) 出的方向控制命令与人工驾驶或者调整后的控制命 网络的第一层采用硬编码技术对输入图像进行 令的均方误差最小，图18为训练系统示意图。 归一化，网络前3个卷积层使用了strided卷积， 训练完成后，模型通过采用中间摄像机数据生 其中strided为2×2，卷积核大小为5×5，后2个卷积 成方向控制命令，具体过程如图19所示。 层选用unstrided卷积，卷积核大小为3×3。在5个 该CNNs一共包含9层网络(1个归一化层， 卷积层之后添加3个全连接层，最后输出为一个控 5个卷积层和3个全连接层)，输入图像被映射到 制数字，即转弯半径的倒数。此外，在训练过程中
度，利用汽车控制网络 (controller area network， CAN) 总线获取下一个方向的控制命令。系统采用 1/r 来表示控制方向的命令，其中 r 代表以米为单位 的转弯半径。 (a) 䃲ݗᩴప1 (b) 䃲ݗᩴప2 ጒ䒿ڑప ट䒿ڑప ᴳ∔ 䩅䄛⢳: 4.58% 䩅䄛⢳: 2.79% ۲Ჰᐦ 䩅䄛⢳: 2.36% ᔗ䕋Ჰᐦ ᮚᴑ ጒ䒿ڑప ट䒿ڑప ᴳ∔ 䩅䄛⢳: 5.25% 䩅䄛⢳: 3.91% ۲Ჰᐦ 䩅䄛⢳: 3.73% ᔗ䕋Ჰᐦ ᮚᴑ 图 16 识别效果图 Fig. 16 Photo of recognition result ጒⰤᱦ ऽⰄ㻾Ꮢ โ䘔దᔭ 㠝ы䓪 ͙Ⱔᱦ टⰤᱦ 图 17 数据采集系统结构 Fig. 17 Structure diagram of data acquisition system 图像输入到 CNNS 控制命令中，将预测方向控 制命令与理性控制命令相比产生误差，利用误差值 不断训练调整 CNNs 模型的权值，使得网络模型输 出的方向控制命令与人工驾驶或者调整后的控制命 令的均方误差最小，图 18 为训练系统示意图。 训练完成后，模型通过采用中间摄像机数据生 成方向控制命令，具体过程如图 19 所示。 该 CNNs 一共包含 9 层网络 (1 个归一化层， 5 个卷积层和 3 个全连接层)，输入图像被映射到 YUV 平面[71] ，然后传入网络进行逐层训练，详细网 络结构如图 20 所示。 ጒⰤᱦ 䃜ᒁऽ⮰ ऽⰄ 䄯᪠䒘ऽ Ꭲ䒘 ߔ宀䮻ᱦ স䒘 㑽㐈䃍ッ⮰ 䒘ऽА ㏻㑽㐈⼛⺊ࢣ ᱇⮰䒘ऽА 䩅䄛 ࣹऽь᧙ 䄯᪠ᱯ䛹 ͙ᓯⰤᱦ टⰤᱦ 图 18 训练神经网络模型 Fig. 18 Training a neural network model 㑽㐈䃍ッ⮰ 䒘ऽА ͙ᓯⰤᱦ ࢣ⺊厶㏻㑽㐈 䕆䓳ᰵ㏫ ߔᣑए依 图 19 中间摄像机的数据输入模型生成方向控制命令 Fig. 19 Control command is generated by the data input model of the intermediate camera. 10 ⺊㏻ٯ 50 ⺊㏻ٯ 100 ⺊㏻ٯ 1 164 ⺊㏻ٯ 䔊ᣑڔ 3×3 ࢣ厶ᵤ 3×3 ࢣ厶ᵤ 5×5 ࢣ厶ᵤ 5×5 ࢣ厶ᵤ 5×5 ࢣ厶ᵤ ࡂ̬ᑾ 䒿ڑᅮ 3×66×200 ڑ䒿ࡂ̬ᑾ 3×66×200 ᒭప⼛➥ࢣ 24×31×98 ᒭప⼛➥ࢣ 36×14×47 ᒭప⼛➥ࢣ 48×5×55 ᒭప⼛➥ࢣ 64×3×20 ᒭప⼛➥ࢣ 64×1×18 ݢ喝䒒䒲ᣓܦ䒿 䔊ᣑᅮڔ 䔊ᣑᅮڔ 䔊ᣑᅮڔ 图 20 CNNs 结构 (该网络约有 2 700 万个连接和 25 万个 参数) Fig. 20 CNNs structure (the network has about 27 million connections and 250 thousand parameters) 网络的第一层采用硬编码技术对输入图像进行 归一化[72] ，网络前 3 个卷积层使用了 strided 卷积， 其中 strided 为 2×2，卷积核大小为 5×5，后 2 个卷积 层选用 unstrided 卷积，卷积核大小为 3×3。在 5 个 卷积层之后添加 3 个全连接层，最后输出为一个控 制数字，即转弯半径的倒数。此外，在训练过程中 第 1 期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·63·
·64· 智能系统学报 第13卷 通过人为添加了一些偏移和旋转去补充数据集，按 过多年的技术积累，让Mobileye在环境模型方面能 正态分布随机选取调整幅度。图21和图22分别展 够提供的内容远超竞争对手，在其他车企还在尝试 示了两张不同输入图片在前两层网络的激活状态，在图21 提高单一车道线的检测精度时，Mobileye已经可以 中，特征图片清晰地勾画出路的边界，而在图22中 提供道路的语义级特征描述，例如当前行驶车道的 夹杂了大量噪音，表示网络模型从图中找不到有用 左右车道线、左右车道的左右线以及道路分叉等， 的特征（道路信息）。 均通过深度神经网络识别。 Mobileye将感知任务划分成多个模块，每个对 应一个人工监督的神经网络，所得出的效果已经可 以产品化。目前Mobileye利用深度学习进行训练， 训练过程中考虑了驾驶过程中的时序性（见图24）， (a)输人CNN模型的图像 最终实现短时预测3阿 DNN (b)第一层特征映射激活状态 (©)第二层特征映射激活状态 图21CNN模型处理土路 Fig.21 CNN model formanagingdirt road simulato imulator imulator, (a)输入CNN模型的图像 图24 Mobileye无人驾驶时序性原理图 Fig.24 Sequential schematic of unmanned Mobileye 2016年2月18日，加州大学圣地亚哥分校(UCSD) 的工程师们开发了一个非常便宜、有效的行人检测 系统，该系统是基于视觉信号进行实时探测（见图 b)第一层特征 (©)第二层特征 25)。加州大学圣地亚哥分校中一位电气工程教授 映射的激活状态 映射的激活状态 表示，他们的算法可以通过2~4s的速度检测出行 图22没有路的图片示例 人变化，可以有效避免行人的突然变化造成汽车突 Fig.22 Wasteland image sample 然刹车的事故，该算法成功地将当时错误率降了 与NVIDIA无人驾驶解决方案稍有不同，Mo 半。 bileye在自动驾驶的布局分为3个部分，即感知、高 精地图和驾驶决策（见图23）。 自动驾驶 越宫 道路体验 驾驶 管理 政策 环保模式360环视 高精度定位(10cm) 在多游戏中 进行判别 图23 Mobileye自动驾驶布局 Fig.23 Layout of Mobileye Mobileye在自动驾驶领域的感知技术比较成 图25UCSD行人检测效果图 熟，已经大量运用在已有产品中，该技术主要提供 Fig.25 Demo of UCSD 一个环境模型(environmental model),包括运动和静 此外，剑桥大学研发团队利用图像识别和深度 止的物体、车道线、可行驶区域和交通标志等。通 学习技术研发的SegNet系统（见图26），可以将街
通过人为添加了一些偏移和旋转去补充数据集，按 正态分布随机选取调整幅度。图 21 和图 22 分别展 示了两张不同输入图片在前两层网络的激活状态，在图21 中，特征图片清晰地勾画出路的边界，而在图 22 中 夹杂了大量噪音，表示网络模型从图中找不到有用 的特征 (道路信息)。 (a) 䒿ڑCNNὍಷ⮰ప (b) じ̬ᅮ➥ᒭᭌᄰ⓬≧⟢ᔭ (c) じθᅮ➥ᒭᭌᄰ⓬≧⟢ᔭ 图 21 CNN 模型处理土路 Fig. 21 CNN model formanagingdirt road (a) 䒿ڑCNNὍಷ⮰ప (c) じθᅮ➥ᒭ ᭌᄰ⮰⓬≧⟢ᔭ (b) じ̬ᅮ➥ᒭ ᭌᄰ⮰⓬≧⟢ᔭ 图 22 没有路的图片示例 Fig. 22 Wasteland image sample 与 NVIDIA 无人驾驶解决方案稍有不同，Mobileye 在自动驾驶的布局分为 3 个部分，即感知、高 精地图和驾驶决策 (见图 23)。 㜖ߔ侪侢 ᙋჄ 䕿䌛ѿ侸 ネ⤲ 侪侢 ᩫも ๆ⍤͙ ݗݐ䔇㵸 ⣛ԉὍᐻ360°⣛㻲 倄Ꮢѹ (10 cm) 图 23 Mobileye 自动驾驶布局 Fig. 23 Layout of Mobileye Mobileye 在自动驾驶领域的感知技术比较成 熟，已经大量运用在已有产品中，该技术主要提供 一个环境模型 (environmental model)，包括运动和静 止的物体、车道线、可行驶区域和交通标志等。通 过多年的技术积累，让 Mobileye 在环境模型方面能 够提供的内容远超竞争对手，在其他车企还在尝试 提高单一车道线的检测精度时，Mobileye 已经可以 提供道路的语义级特征描述，例如当前行驶车道的 左右车道线、左右车道的左右线以及道路分叉等， 均通过深度神经网络识别。 Mobileye 将感知任务划分成多个模块，每个对 应一个人工监督的神经网络，所得出的效果已经可 以产品化。目前 Mobileye 利用深度学习进行训练， 训练过程中考虑了驾驶过程中的时序性 (见图 24)， 最终实现短时预测[73-75]。 f t at st simulatort simulatort+1 simulatort+2 ξt+1 vt+1 st+1 DNNN DNNr πN + 图 24 Mobileye 无人驾驶时序性原理图 Fig. 24 Sequential schematic of unmanned Mobileye 2016 年 2 月 18 日，加州大学圣地亚哥分校 (UCSD) 的工程师们开发了一个非常便宜、有效的行人检测 系统，该系统是基于视觉信号进行实时探测 (见图 25)。加州大学圣地亚哥分校中一位电气工程教授 表示，他们的算法可以通过 2~4 f/s 的速度检测出行 人变化，可以有效避免行人的突然变化造成汽车突 然刹车的事故，该算法成功地将当时错误率降了 一半。 图 25 UCSD 行人检测效果图 Fig. 25 Demo of UCSD 此外，剑桥大学研发团队利用图像识别和深度 学习技术研发的 SegNet 系统（见图 26），可以将街 ·64· 智 能 系 统 学 报 第 13 卷