第6期 何锐波，等：一种改进的深度学习的道路交通标识识别算法 ·1123· M5=(030-312)(30+12)[30+12)2-3(721+a)P]+ (3n21-7a3)21+70m)[3(721+o)）2-(21+7o3)3] M6=(720-7m)[730+112)2-(21+)P]+ 4711(730+712)21+0s） 图3交通标识形状特征图 Fig.3 Traffic-sign shape feature chart M,=(20-72)[730+12)2-(721+)2]+ 4711(730+712)721+1as） 通过形态学的开闭操作降低图像中的噪声， 后用最大类间方差法寻找图像阈值，以阈值为界 这7个不变矩构成了一组特征向量，通过将 灰度图像转换为二值图像；最后使用孔洞填充提 交通标识图像与标准轮廓图像形状进行特征向量 取图像特征形状。图4为操作示意图。 的匹配，形成mask掩膜，进行路标特征的提取。图5 表示mask掩膜的匹配生成及数据集图片的特征 提取去背景。 (a)mask掩膜 TOP STOP STOP STOP STOP (b)特征提取 (a)原图 (b)开操作(c)闭操作(d最大类(e)孔洞填充 图5掩膜与特征提取 间方差 Fig.5 Mask and decontextualization 图4图像形状特征提取 1.3归一化与数据增强 Fig.4 Shape feature extraction 本文采用三次样条插值的方法将深度学习 在取得图像的形状特征后，可通过对比轮廓 模型所需的训练集归一化处理到128×128的尺寸 矩21的方式判断形状相似度。轮廓的(p,q)矩 大小。对小于尺寸的图片，根据深度学习模型的 定义为 特性，可以通过图像的几何变换（如平移、旋转、 尺度拉伸、对比度调整以及颜色变换)进行数据 增强；对于大尺寸的，则采用均值缩减降低图像 式中：p=1,2,;q=12,…。对于离散图像fx,y), 尺寸。本文对数据量较少的进行旋转变换来扩充 其阶标准矩网定义公式为 数据集。 N M m x"yf(x.y), p=01,2,…q=1,2,… 2模型与算法 =1=1 p+q阶中心矩定义为 2.1卷积神经网络结构 44-∑∑c-0-驴f在 随着人们对神经网络的深入探索研究，衍生 3=1=1 出了名为深度学习的思维理念，其中较为常用的 p=0,1,2,…9=1,2 叫卷积神经网络模型。其核心思想是通过反复 式中元和)代表图像的重心，归一化的中心矩定 的迭代，逐层反向调节网络中的权重参数来最小 义为7m=4g/o,其中，r=(p+q/2+1o 化损失函数同时提高识别率。为解决参数多、复 通过二阶和三阶归一化中心矩可以构造出 杂度高等问题采用权值共享策略，而其稀疏连接 7个不变矩M1~M: 的特性提高了并行处理能力及误差的容忍程 M1=2o+7m2 度。卷积层(convolution layer)、池化层(pooling M2=(720-o2)2+47ii layer)和全连接层(Full-connection Layer)是卷积 M3=(730-37122+(321-0)P 神经网络的主要构成部分；卷积神经网络结构示 M4=(730+12)2+(21+7)P 意图如图6。图 3 交通标识形状特征图 Fig. 3 Traffic-sign shape feature chart 通过形态学的开闭操作降低图像中的噪声， 后用最大类间方差法寻找图像阈值，以阈值为界 灰度图像转换为二值图像；最后使用孔洞填充提 取图像特征形状。图 4 为操作示意图。 (a) 原图 (b) 开操作 (c) 闭操作 (d) 最大类 间方差 (e) 孔洞填充 图 4 图像形状特征提取 Fig. 4 Shape feature extraction (p,q) 在取得图像的形状特征后，可通过对比轮廓 矩 [ 2 1 ] 的方式判断形状相似度。轮廓的 矩 定义为 mp,q = ∫ ∞ −∞ ∫ ∞ −∞ I(x, y)x p y q f (x, y)dxdy 式中： p = 1,2,···； q = 1,2,···。对于离散图像 f(x, y)， 其阶标准矩[22] 定义公式为 mp,q = ∑N y=1 ∑M x=1 x p y q f(x, y), p = 0,1,2,··· ;q = 1,2,··· p+q 阶中心矩定义为 µp,q = ∑N y=1 ∑M x=1 (x− x¯) p (y−y¯) q f(x, y) p = 0,1,2,··· ;q = 1,2,··· x¯ y¯ ηpq = µpq/µr 00 r = (p+q)/2+1 式中 和 代表图像的重心，归一化的中心矩定 义为 ，其中， 。 M1 M7 通过二阶和三阶归一化中心矩可以构造出 7 个不变矩 ~ ： M1 = η20 +η02 M2 = (η20 −η02) 2 +4η 2 11 M3 = (η30 −3η12) 2 +(3η21 −η03) 2 M4 = (η30 +η12) 2 +(η21 +η03) 2 M5 = (η30 −3η12)(η30 +η12)[(η30 +η12) 2 −3(η21 +η03) 2 ]+ (3η21 −η03)(η21 +η03)[3(η21 +η03) 2 −(η21 +η03) 2 ] M6 = (η20 −η02)[(η30 +η12) 2 −(η21 +η03) 2 ]+ 4η11(η30 +η12)(η21 +η03) M7 = (η20 −η02)[(η30 +η12) 2 −(η21 +η03) 2 ]+ 4η11(η30 +η12)(η21 +η03) 这 7 个不变矩构成了一组特征向量，通过将 交通标识图像与标准轮廓图像形状进行特征向量 的匹配，形成 mask 掩膜，进行路标特征的提取。图 5 表示 mask 掩膜的匹配生成及数据集图片的特征 提取去背景。 (a) mask 掩膜 (b) 特征提取 图 5 掩膜与特征提取 Fig. 5 Mask and decontextualization 1.3 归一化与数据增强 128×128 本文采用三次样条插值的方法[23] 将深度学习 模型所需的训练集归一化处理到 的尺寸 大小。对小于尺寸的图片，根据深度学习模型的 特性，可以通过图像的几何变换 (如平移、旋转、 尺度拉伸、对比度调整以及颜色变换) 进行数据 增强；对于大尺寸的，则采用均值缩减降低图像 尺寸。本文对数据量较少的进行旋转变换来扩充 数据集。 2 模型与算法 2.1 卷积神经网络结构 随着人们对神经网络的深入探索研究，衍生 出了名为深度学习的思维理念，其中较为常用的 叫卷积神经网络模型。其核心思想是通过反复 的迭代，逐层反向调节网络中的权重参数来最小 化损失函数同时提高识别率。为解决参数多、复 杂度高等问题采用权值共享策略，而其稀疏连接 的特性提高了并行处理能力及误差的容忍程 度。卷积层 (convolution layer)、池化层 (pooling layer) 和全连接层 (Full-connection Layer) 是卷积 神经网络的主要构成部分；卷积神经网络结构示 意图如图 6。 第 6 期 何锐波，等：一种改进的深度学习的道路交通标识识别算法 ·1123·