第1期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·63· 度，利用汽车控制网络(controller area network, YUV平面，然后传入网络进行逐层训练，详细网 CAN)总线获取下一个方向的控制命令。系统采用 络结构如图20所示。 1/r来表示控制方向的命令，其中r代表以米为单位 的转弯半径。 记录方向的 方向盘 测整转向 期望的转向命令 左输入图像 右输人入图像 标注 并旋转 左相机 普查 错误率：4.58% 阿路计算的 转向命令 中心相机 随机移动 和旋转 卷积神经树络 右相机 快速构建 错误率：2.79% 错误 精准构理 错误率：2.36% 图18训练神经网络模型 Fig.18 Training a neural network model (a)识别效果图1 网络计算的 左输入图像 右输人图像 标注 转向命令 中心相机 卷积神经网络 通过有线 接口驱动 错误率：5.25% 图19中间摄像机的数据输入模型生成方向控制命令 Fig.19 Control command is generated by the data input 快速构建 错误率：3.91% model of the intermediate camera. 输出：车辆控制 精准构建 错误率：3.73% 10神经元 全连接层 50神经元 全连接层 100神经元 全连接层 (b)识别效果图2 16得神经元 全连接 图16识别效果图 卷积特征图 Fig.16 Photo of recognition result 64×1×18 公×3卷积核 卷积特征图 64×3×20 左相机 中相机 右相机 3×3卷积核 卷积特征图 48×5×55 5×5卷积核 方向盘角度 卷积特征图 La 36×14×47 5×5卷积核 卷积特征图 SSD 24×31×98 5×5卷积核 归一化输入 外部固态 3×66×200 英伟达 输人层 图17数据采集系统结构 3×66×200 Fig.17 Structure diagram of data acquisition system 图20CNNs结构（该网络约有2700万个连接和25万个 图像输入到CNNS控制命令中，将预测方向控 参数) 制命令与理性控制命令相比产生误差，利用误差值 Fig.20 CNNs structure (the network has about 27 million 不断训练调整CNNs模型的权值，使得网络模型输 connections and 250 thousand parameters) 出的方向控制命令与人工驾驶或者调整后的控制命 网络的第一层采用硬编码技术对输入图像进行 令的均方误差最小，图18为训练系统示意图。 归一化，网络前3个卷积层使用了strided卷积， 训练完成后，模型通过采用中间摄像机数据生 其中strided为2×2，卷积核大小为5×5，后2个卷积 成方向控制命令，具体过程如图19所示。 层选用unstrided卷积，卷积核大小为3×3。在5个 该CNNs一共包含9层网络(1个归一化层， 卷积层之后添加3个全连接层，最后输出为一个控 5个卷积层和3个全连接层)，输入图像被映射到 制数字，即转弯半径的倒数。此外，在训练过程中度，利用汽车控制网络 (controller area network， CAN) 总线获取下一个方向的控制命令。系统采用 1/r 来表示控制方向的命令，其中 r 代表以米为单位 的转弯半径。 (a) 䃲ݗ᳈ᩴప1 (b) 䃲ݗ᳈ᩴప2 ጒ䒿ڑప׻ ट䒿ڑప׻ ᴳ∔ 䩅䄛⢳: 4.58% 䩅䄛⢳: 2.79% ㇪۲Ჰᐦ 䩅䄛⢳: 2.36% ᔗ䕋Ჰᐦ ᮚᴑ ጒ䒿ڑప׻ ट䒿ڑప׻ ᴳ∔ 䩅䄛⢳: 5.25% 䩅䄛⢳: 3.91% ㇪۲Ჰᐦ 䩅䄛⢳: 3.73% ᔗ䕋Ჰᐦ ᮚᴑ 图 16 识别效果图 Fig. 16 Photo of recognition result ጒⰤᱦ ᫥ऽⰄ㻾Ꮢ โ䘔దᔭ 㠝ы䓪 ͙Ⱔᱦ टⰤᱦ 图 17 数据采集系统结构 Fig. 17 Structure diagram of data acquisition system 图像输入到 CNNS 控制命令中，将预测方向控 制命令与理性控制命令相比产生误差，利用误差值 不断训练调整 CNNs 模型的权值，使得网络模型输 出的方向控制命令与人工驾驶或者调整后的控制命 令的均方误差最小，图 18 为训练系统示意图。 训练完成后，模型通过采用中间摄像机数据生 成方向控制命令，具体过程如图 19 所示。 该 CNNs 一共包含 9 层网络 (1 个归一化层， 5 个卷积层和 3 个全连接层)，输入图像被映射到 YUV 平面[71] ，然后传入网络进行逐层训练，详细网 络结构如图 20 所示。 ጒⰤᱦ 䃜ᒁ᫥ऽ⮰ ᫥ऽⰄ 䄯᪠䒘ऽ Ꭲ᫷䒘 ߔ宀䮻ᱦ স᫷䒘 㑽㐈䃍ッ⮰ 䒘ऽ঩А ㏻㑽㐈⼛⺊ࢣ ᱋᱇⮰䒘ऽ঩А 䩅䄛 ࣹऽь᧙ 䄯᪠ᱯ䛹 ͙ᓯⰤᱦ टⰤᱦ 图 18 训练神经网络模型 Fig. 18 Training a neural network model 㑽㐈䃍ッ⮰ 䒘ऽ঩А ͙ᓯⰤᱦ ࢣ⺊厶㏻㑽㐈 䕆䓳ᰵ㏫ ߔᣑए依 图 19 中间摄像机的数据输入模型生成方向控制命令 Fig. 19 Control command is generated by the data input model of the intermediate camera. 10 ⺊㏻ٯ 50 ⺊㏻ٯ 100 ⺊㏻ٯ 1 164 ⺊㏻ٯ 䔊ᣑڔ 3×3 ࢣ厶ᵤ 3×3 ࢣ厶ᵤ 5×5 ࢣ厶ᵤ 5×5 ࢣ厶ᵤ 5×5 ࢣ厶ᵤ ࡂ̬ᑾ 䒿ڑᅮ 3×66×200 ڑ䒿ࡂ̬ᑾ 3×66×200 ᒭప⼛➥ࢣ 24×31×98 ᒭప⼛➥ࢣ 36×14×47 ᒭప⼛➥ࢣ 48×5×55 ᒭప⼛➥ࢣ 64×3×20 ᒭప⼛➥ࢣ 64×1×18 ݢ喝䒒䒲ᣓܦ䒿 䔊ᣑᅮڔ 䔊ᣑᅮڔ 䔊ᣑᅮڔ 图 20 CNNs 结构 (该网络约有 2 700 万个连接和 25 万个 参数) Fig. 20 CNNs structure (the network has about 27 million connections and 250 thousand parameters) 网络的第一层采用硬编码技术对输入图像进行 归一化[72] ，网络前 3 个卷积层使用了 strided 卷积， 其中 strided 为 2×2，卷积核大小为 5×5，后 2 个卷积 层选用 unstrided 卷积，卷积核大小为 3×3。在 5 个 卷积层之后添加 3 个全连接层，最后输出为一个控 制数字，即转弯半径的倒数。此外，在训练过程中 第 1 期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·63·