基于深度卷积网络的路面裂缝分割方法 李伟,申浩',马志丹’,孙朝云',呼延菊2 (a.长安大学信息工程学院,陕西西安710064:b.加拿大滑铁卢大学,加拿大滑铁卢N2L3G1) 摘要:路面裂缝作为路面常见病害之一,是公路养护管理工作的重点。将裂缝从路面 背景中精确的分割是裂缝检测和修补的基础。传统的裂缝分割方法易受到光照强度 和路面噪声的影响,分割效果有待提高。本文提出了一种基于深度卷积网络的路面 裂缝分割方法。该方法采用深度卷积网络对路面裂缝进行特征学习和提取,同时结 合多尺寸特征图进行裂缝的分割。通过采用深度卷积网络,可以克服多种因素对裂 缝分割的干扰。通过过联合多尺寸特征图对裂缝进行分割,可以提高神经网络分割 的准确性。本文冋时将该方法与阈值分割方法、F娳N进行了对比。结果表明,本文 提出的裂缝分割方法明显优于其他方法。 关镳词:路面裂缝;深度卷积网络;裂缝分割 中图分类号:U238 An Innovation of pavement Crack segmentation Based on deep convolutional Li Wei!, Shen Hao, Ma Zhi-dan, Sun Zhao-yun, Huyan ur (1. School of Information Engineering, Chang an University, Xian 710064; 2. University of Waterloo. Canada. Waterloo. Canada N2L3G1) Abstract: Pavement crack as one of the common diseases is the key point of highway maintenance and management. Precise segmentation of crack from the background is the fundament of crack detection and mending. Traditional crack segmentation methods are easily affected by light intensity and pavement noise, and the accuracy of segmentation needs to be improved. An innovation of pavement crack segmentation based on deep convolutional network is put forward in this paper. The deep convolution network is used to learn and extract the characteristics of pavement cracks, and multi-dimensional feature maps are combined for the segmentation of cracks. By using deep convolution network, the interference of many factors to crack segmentation can be settled. The accuracy of neural network segmentation can be improved by combining multi-dimensional feature maps. This method is compared with threshold method and FCN, the results show that the proposed method is 基金项目:陕西省自然科学基金-重大基础研究项目(2017ZDJC-23) 通讯作者:申浩,男,长安大学硕士研究生。 Email: shen8927 foxmail. com
基于深度卷积网络的路面裂缝分割方法 李伟 1 ，申浩 1* ，马志丹 1 ，孙朝云 1 ，呼延菊 2 （a.长安大学信息工程学院，陕西 西安 710064； b.加拿大滑铁卢大学,加拿大 滑铁卢 N2L3G1） 摘 要： 路面裂缝作为路面常见病害之一，是公路养护管理工作的重点。将裂缝从路面 背景中精确的分割是裂缝检测和修补的基础。传统的裂缝分割方法易受到光照强度 和路面噪声的影响，分割效果有待提高。本文提出了一种基于深度卷积网络的路面 裂缝分割方法。该方法采用深度卷积网络对路面裂缝进行特征学习和提取，同时结 合多尺寸特征图进行裂缝的分割。通过采用深度卷积网络，可以克服多种因素对裂 缝分割的干扰。通过过联合多尺寸特征图对裂缝进行分割，可以提高神经网络分割 的准确性。本文同时将该方法与阈值分割方法、FCN 进行了对比。结果表明，本文 提出的裂缝分割方法明显优于其他方法。 关键词： 路面裂缝；深度卷积网络；裂缝分割 中图分类号：U238 An Innovation of Pavement Crack Segmentation Based on Deep Convolutional Network Li Wei1 , Shen Hao1 , Ma Zhi-dan1 , Sun Zhao-yun1 , Huyan Ju2 （1. School of Information Engineering, Chang’an University, Xi’an 710064; 2. University of Waterloo, Canada, Waterloo, Canada N2L3G1） Abstract: Pavement crack as one of the common diseases is the key point of highway maintenance and management. Precise segmentation of crack from the background is the fundament of crack detection and mending. Traditional crack segmentation methods are easily affected by light intensity and pavement noise, and the accuracy of segmentation needs to be improved. An innovation of pavement crack segmentation based on deep convolutional network is put forward in this paper. The deep convolution network is used to learn and extract the characteristics of pavement cracks, and multi-dimensional feature maps are combined for the segmentation of cracks. By using deep convolution network, the interference of many factors to crack segmentation can be settled. The accuracy of neural network segmentation can be improved by combining multi-dimensional feature maps. This method is compared with threshold method and FCN, the results show that the proposed method is 基金项目：陕西省自然科学基金-重大基础研究项目（2017ZDJC-23） 通讯作者：申浩，男，长安大学硕士研究生。Email: shen8927@foxmail.com
superior to other methods key words: pavement crack; deep convolutional network; segmentation 引言 近年来,随着公路交通事业的飞速发展,我国公路总里程不断增加,由此带来的公路的 养护管理工作日趋繁重。裂缝作为路面常见和主要的病害之一,是《公路技术状况评定标准》 中的重要参考指标。及时发现并对裂缝进行处理是民出行安全和公路正常使用寿命的重要 保障23。传统的人工检测裂缝方法主观性高、效率低下,且对道路检测人员的人身安全有 极大地威胁。近年来,国内外学者在路面裂缝自动化检测方面做了大量工作。基于阈值分割、 图像滤波算法的路面裂缝自动化检测方法受到光照强度、路面类型等诸多因素的影响,检测 的准确性有待提高5。基于路面三维数据的裂缝分割算法受到较高检测成本的限制发展缓 慢明。随着人工智能的发展和普及,运用卷积神经网络进行路面裂缝分割成为新的突破口 卷积神经网络( Convolutional Neural Networks,CNN)是一种仿生学的计算机算法,其具有 局部感受野、权值共享等诸多特点。深度卷积神经网络由大量卷积结构构成。随着卷积层的 增加,神经网络可以学习更加复杂的目标特征,同时优化学习效果。目前,基于深度卷积神 经网络的相关算法已经在目标检测、语义分割等众多领域取得了很好的效果。 本文提出了一种基于深度卷积神经网络的路面裂缝分割方法。该方法由特征提取网络和 上采样分割网络两部分组成。特征提取网络通过对大量裂缝图像进行学习训练,准确提取 裂缝的形态特征。上采样分割网络通过联合多种尺度的裂缝特征图,以上采样方式实现裂缝 图像的分割。该方法可以克服路面亮度、路面噪声等干扰因素,对于路面裂缝的分割具有较 强鲁棒性。本文同时将该方法与阈值分割方法、FCN21进行了对比。结果表明,该裂缝分 割方法明显优于其他方法。 深度卷积分割网络概述 深度卷积分割网络主要包括输入层、卷积层、池化层、上采样层、激活函数和损失函数 等单元结构组成。输入层确定卷积网络输入图像的尺寸大小和通道数,是网络模型的入口 卷积层是对目标进行特征提取的结构,包含卷积核大小、卷积核数量、卷积步长、边界填充 等众多参数。一个典型的卷积结构如图1所示 V2 21w2w23 aar f an+ asl as as, as asala 输入图像 卷积核 图1卷积过程示例
superior to other methods. key words: pavement crack; deep convolutional network; segmentation 一、引言 近年来，随着公路交通事业的飞速发展，我国公路总里程不断增加，由此带来的公路的 养护管理工作日趋繁重。裂缝作为路面常见和主要的病害之一，是《公路技术状况评定标准》 中的重要参考指标[1]。及时发现并对裂缝进行处理是民出行安全和公路正常使用寿命的重要 保障[2,3]。传统的人工检测裂缝方法主观性高、效率低下，且对道路检测人员的人身安全有 极大地威胁。近年来，国内外学者在路面裂缝自动化检测方面做了大量工作。基于阈值分割、 图像滤波算法的路面裂缝自动化检测方法受到光照强度、路面类型等诸多因素的影响，检测 的准确性有待提高[4,5,6] 。基于路面三维数据的裂缝分割算法受到较高检测成本的限制发展缓 慢[7,8,9]。随着人工智能的发展和普及，运用卷积神经网络进行路面裂缝分割成为新的突破口。 卷积神经网络（Convolutional Neural Networks, CNN）是一种仿生学的计算机算法，其具有 局部感受野、权值共享等诸多特点。深度卷积神经网络由大量卷积结构构成。随着卷积层的 增加，神经网络可以学习更加复杂的目标特征，同时优化学习效果。目前，基于深度卷积神 经网络的相关算法已经在目标检测、语义分割等众多领域取得了很好的效果[10] 。 本文提出了一种基于深度卷积神经网络的路面裂缝分割方法。该方法由特征提取网络和 上采样分割网络[11]两部分组成。特征提取网络通过对大量裂缝图像进行学习训练，准确提取 裂缝的形态特征。上采样分割网络通过联合多种尺度的裂缝特征图，以上采样方式实现裂缝 图像的分割。该方法可以克服路面亮度、路面噪声等干扰因素，对于路面裂缝的分割具有较 强鲁棒性。本文同时将该方法与阈值分割方法、FCN[12,13] 进行了对比。结果表明，该裂缝分 割方法明显优于其他方法。 二、深度卷积分割网络概述 深度卷积分割网络主要包括输入层、卷积层、池化层、上采样层、激活函数和损失函数 等单元结构组成。输入层确定卷积网络输入图像的尺寸大小和通道数，是网络模型的入口。 卷积层是对目标进行特征提取的结构，包含卷积核大小、卷积核数量、卷积步长、边界填充 等众多参数。一个典型的卷积结构如图1所示。 图1 卷积过程示例
n为输入图像中的像素点,w,为大小为(u,)的卷积核,y2为卷积输出,b为卷积 偏置,∫为激活函数,由此可得: y=f(∑∑v bu) 池化层通常在卷积层之后,用来对卷积层输出的特征向量降维。池化的过程如图2所示: 图2池化过程示例(步长为2) max(an)y=min(an)y=∑an(u,T∈R 池化层通过对特定范围的相邻元素取最大值、最小值或平均值等操作,将特征图的尺寸 减小,这一过程也可以通过步长大于1的卷积过程实现。输入图像经过卷积层和池化层,网 络提取的特征图数量增加,尺寸减小。上采样可以看作卷积或池化的逆过程,对特征图进行 插值放大。上采样包含两种方式 a000 00b0 为为为x[为2y 000d y c000 xx。x1x12 v yo yulon2 对x15x13y15 图3上采样的两种方式 第一种方(图3a)通过保存的池化层的坐标信息,将小尺寸的特征图反向映射到大尺寸 的特征图中。第二种方式(图3b)对特征图进行卷积逆运算,得到新的大尺寸的特征图,并将 其与卷积层对应尺寸的特征图相加作为上采样结果 激活函数和损失函数是神经网络的使能结构。激活函数的非线性特征映射作用使神经网 络具备学习和提取目标的复杂特征的能力。常用的激活函数有 sigmoid、tanh、relu(图2)。 sigmoid (x)= I+e-r Jah(x)=e -er fl, (x)=max(o, x) 损失函数是引导卷积网络进行特征学习的结构。损失函数可以为MSE、MAE,欧式距离、 余弦距离等。通过损失函数计算前向网络输出结果与标签值的差,采用反向传播算法,调整
ast 为输入图像中的像素点， wij 为大小为(,) u v 的卷积核， st y 为卷积输出，bst 为卷积 偏置， f 为激活函数，由此可得： , 1 1 ( ) u v st ij s i u t j v st i j y f wa b −+ − + = = = ∑∑ + 池化层通常在卷积层之后，用来对卷积层输出的特征向量降维。池化的过程如图2所示： 图2 池化过程示例（步长为2） max( ) ij uv y a = min( ) ij uv y a = 1 ij uv y a u v = + ∑ （uv R , ∈ ） 池化层通过对特定范围的相邻元素取最大值、最小值或平均值等操作，将特征图的尺寸 减小，这一过程也可以通过步长大于1的卷积过程实现。输入图像经过卷积层和池化层，网 络提取的特征图数量增加，尺寸减小。上采样可以看作卷积或池化的逆过程，对特征图进行 插值放大。上采样包含两种方式： 图3 上采样的两种方式 第一种方(图3 a)通过保存的池化层的坐标信息，将小尺寸的特征图反向映射到大尺寸 的特征图中。第二种方式(图3 b)对特征图进行卷积逆运算,得到新的大尺寸的特征图，并将 其与卷积层对应尺寸的特征图相加作为上采样结果。 激活函数和损失函数是神经网络的使能结构。激活函数的非线性特征映射作用使神经网 络具备学习和提取目标的复杂特征的能力。常用的激活函数有sigmoid、tanh、relu(图2)。 sigmoid 1 ( ) 1 x f x e− = + tanh ( ) x x x x e e f x e e − − − = + ( ) max(0, ) relu fx x = 损失函数是引导卷积网络进行特征学习的结构。损失函数可以为MSE、MAE，欧式距离、 余弦距离等。通过损失函数计算前向网络输出结果与标签值的差，采用反向传播算法，调整
卷积核权值。卷积网络的迭代训练过程是对损失函数不断优化的过程 图4激活函数 、基于深度卷积网络的路面裂缝分割模型 (一)模型整体结构 本文提出的基于深度卷积网络的裂缝分割模型如图5所示。以输入为320*320的RGB图像 为例,模型输出裂缝分割二值图。 320X320X3 0x320x1 BatchNormalization Conv2D Activation Conv2D Residual block 8 320x320x32 Concatenate Residual block 1 Up 2D Residual block 7 UpSampling 2D Residual block 2 esiqua OC 80x80x128 Concatenate UpSampling 2D Residual block 3 Residual block 5 40X40X256 Concatenate Residual block 4 20x20x5121 UpSampling2D 特征提取卷积网络 上采样卷积网络 图5深度卷积网络分割模型 分割模型由特征提取卷积网络和上采样网络两部分构成。特征提取卷积网络用于学习和
卷积核权值。卷积网络的迭代训练过程是对损失函数不断优化的过程。 图4 激活函数 三、基于深度卷积网络的路面裂缝分割模型 （一）模型整体结构 本文提出的基于深度卷积网络的裂缝分割模型如图5所示。以输入为320*320的RGB图像 为例，模型输出裂缝分割二值图。 图5 深度卷积网络分割模型 分割模型由特征提取卷积网络和上采样网络两部分构成。特征提取卷积网络用于学习和
提取裂缝的特征,产生大量裂缝特征图。上采样的过程是对特征提取网络的特征图进行解码 扩大的过程。通过联合不同尺寸特征图进行连续的上采样学习训练,可以得到仅含目标区域 的二值化图像,实现裂缝的分割 (二)残差单元结构 深度卷积网络通常采用更多的卷积层,以便于获得更加丰富的目标特征。随着网络结构 的加深,网络出现梯度消失和网络退化等问题。本文将 Resnet的残差结构引入分割模型 残差单元的结构如图6所示。 BatchNormalization Activation Conv2D(stride) Conv2D BatchNormalization Batch Normalization Activat Convo Add 图6残差结构单元( Residual block) 设残差单元输入为x,输出为y,残差单元的过程为 f(,w))+Wx 原始的恒等映射需要多个非线性层来拟合,但在实际实现过程中很难实现。在裂缝分割 的模型的特征提取网络和上采样过程中,分别使用了4个残差单元。通过引入残差结构,使 卷积网络更加快速的学习恒等映射能力,更易发现扰动因素,从而较好的解决卷积网络加深 对裂缝分割的影响。在残差结构中,采用步长( stride)为(2,2)的卷积代替池化过程,用于 减小特征图的尺寸和优化速度。模型的参数和特征图的尺寸如表1 (三)激活函数与损失函数 网络模型中间激活层采用Relu激活函数,同时对输入数据样本进行了多次正则化 ( BatchNormalization,BN)。BN是每层卷积网络的输出值调整为相同分布,以避免网络加深 导致特征向量的分布发生偏移或者变动。分割网络采用 Upasmple方式进行上采样,即对特征 图进行卷积逆运算,得到新的大尺寸的特征图,并将其与卷积层对应尺寸的特征图相加作为 上采样结果。分割网络对特征提取网络20×20、40×40、80×80、160×160的特征图进行上 采样,上采样的过程联合了特征提取网络40×40、80×80、160×160、320×320的特征图
提取裂缝的特征，产生大量裂缝特征图。上采样的过程是对特征提取网络的特征图进行解码 扩大的过程。通过联合不同尺寸特征图进行连续的上采样学习训练，可以得到仅含目标区域 的二值化图像，实现裂缝的分割。 （二）残差单元结构 深度卷积网络通常采用更多的卷积层，以便于获得更加丰富的目标特征。随着网络结构 的加深，网络出现梯度消失和网络退化等问题。本文将Resnet的残差结构[14]引入分割模型， 残差单元的结构如图6所示。 图6 残差结构单元(Residual_block) 设残差单元输入为 x ，输出为 y ，残差单元的过程为 ( ,{ }) i s y f x W Wx = + 原始的恒等映射需要多个非线性层来拟合，但在实际实现过程中很难实现。在裂缝分割 的模型的特征提取网络和上采样过程中，分别使用了4个残差单元。通过引入残差结构，使 卷积网络更加快速的学习恒等映射能力，更易发现扰动因素，从而较好的解决卷积网络加深 对裂缝分割的影响。在残差结构中，采用步长(stride)为(2,2)的卷积代替池化过程，用于 减小特征图的尺寸和优化速度。模型的参数和特征图的尺寸如表1。 （三）激活函数与损失函数 网络模型中间激活层采用Relu激活函数，同时对输入数据样本进行了多次正则化 (BatchNormalization,BN)。BN是每层卷积网络的输出值调整为相同分布，以避免网络加深 导致特征向量的分布发生偏移或者变动。分割网络采用Upasmple方式进行上采样，即对特征 图进行卷积逆运算,得到新的大尺寸的特征图，并将其与卷积层对应尺寸的特征图相加作为 上采样结果。分割网络对特征提取网络20×20、40×40、80×80、160×160的特征图进行上 采样，上采样的过程联合了特征提取网络40×40、80×80、160×160、320×320的特征图
通过多级联合的方式提高网络分割的准确性 裂缝分割的目的是将裂缝区域从路面背景分离,属于二分类问题。裂缝区域标签为1, 背景区域标签为0。模型采用 Sigmoid激活函数结合交叉熵损作为损失函数。设输入图像经过 深度卷积网络以及 Sigmoid激活函数得到预测值y,对于一张长为,宽为W的裂缝图像,网 络模型的交叉熵损失为: Lo=-∑∑lgy+(-y)og(1-y) 网络训练的过程将使用Loss函数对各层卷积的卷积核权重和偏置b进行导数计算 和更新权值。当Loss不在下降时,即得到网络的最优状态。 表1裂分制模型结构参数 模块 卷积层 卷积核大小 步长输出维度 /数量 conv 2d I 3×3/32 320×320×32 Input block conv 2d 2 3×3/32 320×320×32 3×3/64 2 160×160×64 Residual block 1 conv2d 4 卷积网络 Residual block2cnv2d53×3/282 特征提取 80×80×128 conv2d63×3/128 conv2d 7 3×3/256 40×40×256 Residual block 3 conv 3×3/256 121212 40×40×256 conv 3×3/512 Residual block 4 conv 2d 10 3×3/512 20×20×512 conv2d113×3/2561 40×40×256 Residual block 5 conv2d 12 3×3/25 40×40×256 onv2d133×3/128 80×80×128 Residual block 6 conv 2d 14 3×3/128 l-111 80×80×128 上采样 con 3×3/64 160×160×64 分割网络 Residual block7 conv 2d 16 3×3/64 160×160×64 conv 2d 17 3×3/321 320×320×32 Residual block 8 conv 2d 18 3×3/32 320×320×32 Output block conv2d 19 320×320×1 四、实验数据与预处理 通过人工采集方式,本文共采用裂缝图像1200张。裂缝图像包含了横向、纵向、网状等 多种类型裂缝。采用 labelme标注工具标注裂缝区域,产生二值化裂缝图像作为网络训练的 标签(图7)。为避免网络训练过拟合和验证网络分割效果,本文采用6:2:2的比例划分训练 集、验证集和测试集。累计训练集图像720张,验证集图像240张,测试集图像240张。 裂缝采集的不同视角、裂缝的不同长度和宽度以及光照条件、背景复杂的问题,给裂缝 的分割带来很大的挑战。数据的增广可以丰富训练集,从而提高神经网络的泛化能力和鲁棒
通过多级联合的方式提高网络分割的准确性。 裂缝分割的目的是将裂缝区域从路面背景分离，属于二分类问题。裂缝区域标签为1， 背景区域标签为0。模型采用Sigmoi激活函数结合交叉熵损作为损失函数。设输入图像经过 深度卷积网络以及Sigmoid激活函数得到预测值 * y ，对于一张长为L，宽为W的裂缝图像，网 络模型的交叉熵损失为： * * 1 1 [ log (1 )log(1 ) W L ij ij ij ij i j Loss y y y y = = = −∑∑ +− − 网络训练的过程将使用 Loss 函数对各层卷积的卷积核权重 w 和偏置b 进行导数计算 和更新权值。当 Loss 不在下降时，即得到网络的最优状态。 表1 裂缝分割模型结构参数 模块 卷积层 卷积核大小 /数量 步长 输出维度 特征提取 卷积网络 Input_block conv2d_1 3×3/32 1 320×320×32 conv2d_2 3×3/32 1 320×320×32 Residual_block_1 conv2d_3 3×3/64 2 160×160×64 conv2d_4 3×3/64 1 160×160×64 Residual_block_2 conv2d_5 3×3/128 2 80×80×128 conv2d_6 3×3/128 1 80×80×128 Residual_block_3 conv2d_7 3×3/256 2 40×40×256 conv2d_8 3×3/256 1 40×40×256 Residual_block_4 conv2d_9 3×3/512 2 20×20×512 conv2d_10 3×3/512 1 20×20×512 上采样 分割网络 Residual_block_5 conv2d_11 3×3/256 1 40×40×256 conv2d_12 3×3/256 1 40×40×256 Residual_block_6 conv2d_13 3×3/128 1 80×80×128 conv2d_14 3×3/128 1 80×80×128 Residual_block_7 conv2d_15 3×3/64 1 160×160×64 conv2d_16 3×3/64 1 160×160×64 Residual_block_8 conv2d_17 3×3/32 1 320×320×32 conv2d_18 3×3/32 1 320×320×32 Output_block conv2d_19 1×1 1 320×320×1 四、实验数据与预处理 通过人工采集方式，本文共采用裂缝图像1200张。裂缝图像包含了横向、纵向、网状等 多种类型裂缝。采用labelme标注工具标注裂缝区域，产生二值化裂缝图像作为网络训练的 标签（图7）。为避免网络训练过拟合和验证网络分割效果，本文采用6:2:2的比例划分训练 集、验证集和测试集。累计训练集图像720张，验证集图像240张，测试集图像240张。 裂缝采集的不同视角、裂缝的不同长度和宽度以及光照条件、背景复杂的问题，给裂缝 的分割带来很大的挑战。数据的增广可以丰富训练集，从而提高神经网络的泛化能力和鲁棒
性。本文对训练集图像进行了调节对比度、亮度、锐度和翻转、缩放、添加噪声(高斯噪声、 盐胶噪声)等多种形式的增广(图8)。 图像1 图像2 图像3 标签1 标签2 签3 图7输入数据与标签 原始图像 对比度调节 亮度调节 锐度调节 翻车 添加高斯噪声 添加椒盐噪声 缩放 图8训练集增广示例 在对神经模型进行训练时,为了让模型尽快收敛,采用如下的归一化方式将数据按照最 大值和最小值缩放到[0,1之间
性。本文对训练集图像进行了调节对比度、亮度、锐度和翻转、缩放、添加噪声（高斯噪声、 盐胶噪声）等多种形式的增广（图8）。 图像 1 图像 2 图像 3 标签 1 标签 2 标签 3 图7 输入数据与标签 原始图像 对比度调节 亮度调节 锐度调节 翻转 添加高斯噪声 添加椒盐噪声 缩放 图8 训练集增广示例 在对神经模型进行训练时，为了让模型尽快收敛，采用如下的归一化方式将数据按照最 大值和最小值缩放到[0,1]之间:
x-min(x) max(x)-min(x) 五、模型训练与结果分析 本文使用基于 tensorflow-gpu的 keras深度学习开发平台,在 Ubuntu16.04环境下进行 计算机采用 Intel(R) Core i7-6850K处理器, Ge Force GTⅪl080TI显卡。为加速模型训练, 训练过程采用adam优化器, batch size=16,设置 epoch=60。为使模型训练更加充分,训练 过程设置动态学习方式,初始学习率0.001。模型训练过程的loss曲线、val_loss曲线和学 习率变化如图9所示 0010 leaming rate 00008 00002 004 202530 图9训练过程损失曲线与学习率变化曲线 根据损失曲线可以看出,模型训练在第50个 epoch时达到稳定。为验证本文方法的有效 性,采用阈值分割、FCN进行对比实验。阈值法分割裂缝是一种确定图像分割阈值的算法。 该方法根据裂缝图像的灰度特性,将图像分成背景和前景两部分。阈值法通过确定阈值,使 前景与背景图像的类间方差最大,实现路面裂缝的分割。FCN( Fully Convolutional Networks) 通过采用全卷积网络代替全连接层的形式,对图像中的像素点进行分类,从而实现裂缝的分 割 对于裂缝分割的二分类问题,采用像素级的精确率( Precision)、召回率( Recal1)和 F- Score作为评价指标。精确率和召回率根据图像像素值二分类的真阳性率( True positive Rate,TPR)、假阳性率( False positive rate,FPR和假阴性率( False Negative Rate,FNR) 得到 Precision= TPR Recall= TPR+FPR TPR+ FNR Fl- Score是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的 准确率和召回率。F1分数可以看作是模型准确率和召回率的一种加权平均。 F1-Score= 2× Precision x recall Precision+ Recall 本文的方法和阈值法、FCN的部分分割结果如图10所示
* min( ) max( ) min( ) x x x x x − = − 五、模型训练与结果分析 本文使用基于tensorflow-gpu的keras深度学习开发平台，在Ubuntu16.04环境下进行。 计算机采用Intel(R) Core i7-6850K处理器，GeForce GTX1080TI显卡。为加速模型训练， 训练过程采用adam优化器，batch_size=16，设置epoch=60。为使模型训练更加充分，训练 过程设置动态学习方式，初始学习率0.001。模型训练过程的loss曲线、val_loss曲线和学 习率变化如图9所示。 图9 训练过程损失曲线与学习率变化曲线 根据损失曲线可以看出，模型训练在第50个epoch时达到稳定。为验证本文方法的有效 性，采用阈值分割、FCN进行对比实验。阈值法分割裂缝是一种确定图像分割阈值的算法。 该方法根据裂缝图像的灰度特性,将图像分成背景和前景两部分。阈值法通过确定阈值，使 前景与背景图像的类间方差最大，实现路面裂缝的分割。FCN(Fully Convolutional Networks) 通过采用全卷积网络代替全连接层的形式，对图像中的像素点进行分类，从而实现裂缝的分 割。 对于裂缝分割的二分类问题，采用像素级的精确率(Precision)、召回率(Recall)和 F1-Score作为评价指标。精确率和召回率根据图像像素值二分类的真阳性率(True Positive Rate, TPR)、假阳性率(False Positive Rate, FPR)和假阴性率(False Negative Rate, FNR) 得到。 TPR Precision TPR FPR = + TPR Recall TPR FNR = + F1-Score是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的 准确率和召回率。F1分数可以看作是模型准确率和召回率的一种加权平均。 2 1 Precision Recall F Score Precision Recall × × − = + 本文的方法和阈值法、FCN的部分分割结果如图10所示
输入图像 分 阈值分割 FCN 本文方法 图10分割结果对比 在本文的240张测试集裂缝图像上,分别使用阈值分割、FCN分割进行实验,分割结果如 表2所示
输 入 图 像 分 割 标 签 阈 值 分 割 F C N 本 文 方 法 图10 分割结果对比 在本文的240张测试集裂缝图像上，分别使用阈值分割、FCN分割进行实验，分割结果如 表2所示
表2分割结果对比 Precision Recall Fl-Score 阈值法 0.58 0.52 0.55 FCN 0.63 0.78 0.70 本文方法 0.78 0.83 0.80 分析裂缝分割结果,可得如下结论: 阈值分割方法分割裂缝存在较大的误差。阈值分割方法虽然算法简单,但是容易受到路 面噪声的影响。由于路面图像受到光照强度和杂质、孔洞的影响,导致裂缝区域的像素值和 噪声区域像素值存在重叠。阈值的确定受到噪声影响,无法将裂缝区域与背景准确分离,同 分割裂缝连结性较差,因此阈值分割法对于裂缝的分割存在较大的误差 FCN分割方法基本实现了裂缝的分割,但是分割区域不精确。FCN全卷积神经网络使用特 征提取网络提取裂缝特征进行裂缝分割。FCN在传统卷积神经网络的基础上,将全连接层用 卷积层代替,同时使用了上采样方式将特征提取网络提取的小尺寸特征图映射为原始图像大 小。由于FCN直接通过小尺寸特征图进行目标的还原,使其得到的目标区域与原始图像中的 目标区域存在较大的误差。使用FCN得到的裂缝分割图像存在宽度变大的问题,导致分割结 果的不精确 本文提出的裂缝分割方法,对裂缝的分割取得了较好的精度。本方法采用多个残差单元 级联的方式,可以有效提取路面裂缝的形态特征,从而提高了神经网络对裂缝特征的学习效 果。本方法在裂缝的分割过程中结合了大量不同层级、不同尺寸的裂缝特征图,提高了裂缝 区域分割的准确性。同时,本文通过合理的数据增广方式,使训练数据集得到了大量的扩充, 提高了神经网络训练的泛化能力。通过结果分析,本王的方法对裂缝的分割取得了较好的效 六、结语 本文提出了一种基于深度卷积网络的路面裂缝分割方法。该方法通过联合多级残差卷积 结构单元,避免了网络模型在裂缝学习训练过程中的梯度消失和网络退化等问题。通过对路 面裂缝特征的上采样,实现对裂缝区域的分割。在裂缝分割的过程中,通过联合大量不同层 级、不同尺寸的裂缝特征图,提高了裂缝区域分割的准确性。同时,本文通过数据增广,提 高了神经网络训练的泛化能力和鲁棒性。通过对比试验和结果分析,证明了本文提出的裂缝 分割方法的有效性 参考文献 [交通运输部公路科学研究院.JGH20-2017公路技术状况评定标准[S]北京:人民交通出 版社,2017 2]王艳燕沥青路面养护效益评估方法研究卩.公路交通科技(应用技术版 2017(07):160-163
表2 分割结果对比 Precision Recall F1-Score 阈值法 0.58 0.52 0.55 FCN 0.63 0.78 0.70 本文方法 0.78 0.83 0.80 分析裂缝分割结果，可得如下结论： 阈值分割方法分割裂缝存在较大的误差。阈值分割方法虽然算法简单，但是容易受到路 面噪声的影响。由于路面图像受到光照强度和杂质、孔洞的影响，导致裂缝区域的像素值和 噪声区域像素值存在重叠。阈值的确定受到噪声影响，无法将裂缝区域与背景准确分离，同 分割裂缝连结性较差，因此阈值分割法对于裂缝的分割存在较大的误差。 FCN分割方法基本实现了裂缝的分割，但是分割区域不精确。FCN全卷积神经网络使用特 征提取网络提取裂缝特征进行裂缝分割。FCN在传统卷积神经网络的基础上，将全连接层用 卷积层代替，同时使用了上采样方式将特征提取网络提取的小尺寸特征图映射为原始图像大 小。由于FCN直接通过小尺寸特征图进行目标的还原，使其得到的目标区域与原始图像中的 目标区域存在较大的误差。使用FCN得到的裂缝分割图像存在宽度变大的问题，导致分割结 果的不精确。 本文提出的裂缝分割方法，对裂缝的分割取得了较好的精度。本方法采用多个残差单元 级联的方式，可以有效提取路面裂缝的形态特征，从而提高了神经网络对裂缝特征的学习效 果。本方法在裂缝的分割过程中结合了大量不同层级、不同尺寸的裂缝特征图，提高了裂缝 区域分割的准确性。同时，本文通过合理的数据增广方式，使训练数据集得到了大量的扩充， 提高了神经网络训练的泛化能力。通过结果分析，本王的方法对裂缝的分割取得了较好的效 果。 六、结语 本文提出了一种基于深度卷积网络的路面裂缝分割方法。该方法通过联合多级残差卷积 结构单元，避免了网络模型在裂缝学习训练过程中的梯度消失和网络退化等问题。通过对路 面裂缝特征的上采样，实现对裂缝区域的分割。在裂缝分割的过程中，通过联合大量不同层 级、不同尺寸的裂缝特征图，提高了裂缝区域分割的准确性。同时，本文通过数据增广，提 高了神经网络训练的泛化能力和鲁棒性。通过对比试验和结果分析，证明了本文提出的裂缝 分割方法的有效性。 参考文献 [1] 交通运输部公路科学研究院. JTG H20-2017公路技术状况评定标准[S]. 北京:人民交通出 版社, 2017. [2] 王艳燕. 沥青路面养护效益评估方法研究[J]. 公路交通科技(应用技术版), 2017(07):160-163
