【智能系统】一种基于雨线主方向自适应的全局稀疏去雨模型

第15卷第2期 智能系统学报 Vol.15 No.2 2020年3月 CAAI Transactions on Intelligent Systems Mar.2020 D0:10.11992/tis.201809042 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.tp.20190524.0952.002.html 一种基于雨线主方向自适应的全局稀疏去雨模型 王科平，蔡凯利，王红旗，杨艺 (河南理工大学电气工程与自动化学院，河南焦作454150) 摘要：针对现有单幅图像去雨算法较少考虑风力对雨线主方向产生影响的问题，当雨线偏离垂直方向时，现 有方法未采取旋转或者只进行大致旋转，去雨后的结果图出现了雨线残留明显或背景模糊化的现象。因此，本 文提出了一种基于雨线主方向自适应的全局稀疏去雨模型。首先，将方差最小的图像块与图像库的雨线图依 据HOG特征进行匹配，将匹配度最高的雨线图主方向视作待处理雨图的雨线主方向，从而确定全局稀疏模型 的旋转角。然后，通过3个包含旋转角的稀疏正则项构建全局稀疏模型进行去雨。最后，通过颜色掩膜对全局 稀疏模型去雨后的部分背景进行保护，再与原来的CbCr通道重组，得到最终的去雨图。研究结果表明：在峰值 信噪比和结构相似性方面，本文算法均比3种典型的对比算法有所提高，且运行时间相对短。本文算法在有效 去除雨线的同时，可较大程度地保留图像的背景细节信息。 关键词：单幅图像去雨；雨线主方向；图像分块；HOG特征；全局稀疏模型；稀疏正则项；颜色掩膜；通道重组 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2020)02-0271-10 中文引用格式：王科平，蔡凯利，王红旗，等.一种基于雨线主方向自适应的全局稀疏去雨模型智能系统学报，2020， 15(2):271-280. 英文引用格式：VANG Keping,CAI Kaili,,WANG Hongqi,,etal.A global sparse rain removal model based on rain streaks main direction adaptationJ].CAAI transactions on intelligent systems,2020,15(2):271-280 A global sparse rain removal model based on rain streaks main direction adaptation WANG Keping,CAI Kaili,WANG Hongqi,YANG Yi (College of Electrical Engineering and Automation,Henan Polytechnic University,Jiaozuo 454150,China) Abstract:The existing single-image rain removal algorithms do not appropriately consider the influence of wind on the main direction of the rain streaks.When the rain streak deviates from the vertical direction,the existing methods do not take rotation or only rotate roughly,resulting in the phenomenon whereby rain streaks are residual or the background is blurred.Therefore,in this paper,we propose a global sparse rain removal model based on the rain streaks main direc- tion adaptation.First,the image block with the smallest variance and the rain streaks image of the image library are matched according to the histogram of oriented gradients(HOG)feature,and the main direction of the rain streaks im- age with the highest matching degree is regarded as the main direction of the image block,which can determine the rota- tion angle of the global sparse model:then,the global sparse model with three sparse regular terms including rotation angles is used for rain removal.After removing the rain streaks from the global sparse model,the Y-channel image is enhanced by a color mask,and thus,some parts of the background are protected.Then,together with the original CbCr- channel images,the image after treatment is further reorganized,and the final image after rain removal is obtained.The results show that compared with three typical comparison algorithms,the peak signal-to-noise ratio and the structural similarity are improved,and the running time is shorter.The proposed method can retain the background details of the image as much as possible while effectively removing the rain streaks. Keywords:single-image rain removal;main directional of the rain streaks;the image block;HOG feature;global sparse model;sparse regularization term;color mask;reorganization by the channel image 收稿日期：2018-09-21.网络出版日期：2019-05-27 机器视觉有广泛的应用领域，如目标跟踪、 基金项目：国家重点研发计划项目(2018Y℉C0604500:河南省 科技攻关项目(1721022I0270):河南省教育厅科学技 视频监控、智能交通等。大多数计算机视觉算法 术研究重点项目(15A510025):河南省高等学校重点 科研项目(17A480007). 都是假定输入为理想无噪声图像。然而，对于现 通信作者：蔡凯利.E-mail:1574272673@gq.com 实中的户外视觉系统来说，恶劣天气通常是不可

DOI: 10.11992/tis.201809042 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.tp.20190524.0952.002.html 一种基于雨线主方向自适应的全局稀疏去雨模型 王科平，蔡凯利，王红旗，杨艺 （河南理工大学 电气工程与自动化学院，河南 焦作 454150） 摘 要：针对现有单幅图像去雨算法较少考虑风力对雨线主方向产生影响的问题，当雨线偏离垂直方向时，现 有方法未采取旋转或者只进行大致旋转，去雨后的结果图出现了雨线残留明显或背景模糊化的现象。因此，本 文提出了一种基于雨线主方向自适应的全局稀疏去雨模型。首先，将方差最小的图像块与图像库的雨线图依 据 HOG 特征进行匹配，将匹配度最高的雨线图主方向视作待处理雨图的雨线主方向，从而确定全局稀疏模型 的旋转角。然后，通过 3 个包含旋转角的稀疏正则项构建全局稀疏模型进行去雨。最后，通过颜色掩膜对全局 稀疏模型去雨后的部分背景进行保护，再与原来的 CbCr 通道重组，得到最终的去雨图。研究结果表明：在峰值 信噪比和结构相似性方面，本文算法均比 3 种典型的对比算法有所提高，且运行时间相对短。本文算法在有效 去除雨线的同时，可较大程度地保留图像的背景细节信息。 关键词：单幅图像去雨；雨线主方向；图像分块；HOG 特征；全局稀疏模型；稀疏正则项；颜色掩膜；通道重组 中图分类号：TP391.4 文献标志码：A 文章编号：1673−4785(2020)02−0271−10 中文引用格式：王科平, 蔡凯利, 王红旗, 等. 一种基于雨线主方向自适应的全局稀疏去雨模型 [J]. 智能系统学报, 2020, 15(2): 271–280. 英文引用格式：WANG Keping, CAI Kaili, WANG Hongqi, et al. A global sparse rain removal model based on rain streaks main direction adaptation[J]. CAAI transactions on intelligent systems, 2020, 15(2): 271–280. A global sparse rain removal model based on rain streaks main direction adaptation WANG Keping，CAI Kaili，WANG Hongqi，YANG Yi (College of Electrical Engineering and Automation, Henan Polytechnic University, Jiaozuo 454150, China) Abstract: The existing single-image rain removal algorithms do not appropriately consider the influence of wind on the main direction of the rain streaks. When the rain streak deviates from the vertical direction, the existing methods do not take rotation or only rotate roughly, resulting in the phenomenon whereby rain streaks are residual or the background is blurred. Therefore, in this paper, we propose a global sparse rain removal model based on the rain streaks main direc￾tion adaptation. First, the image block with the smallest variance and the rain streaks image of the image library are matched according to the histogram of oriented gradients (HOG) feature, and the main direction of the rain streaks im￾age with the highest matching degree is regarded as the main direction of the image block, which can determine the rota￾tion angle of the global sparse model; then, the global sparse model with three sparse regular terms including rotation angles is used for rain removal. After removing the rain streaks from the global sparse model, the Y-channel image is enhanced by a color mask, and thus, some parts of the background are protected. Then, together with the original CbCr￾channel images, the image after treatment is further reorganized, and the final image after rain removal is obtained. The results show that compared with three typical comparison algorithms, the peak signal-to-noise ratio and the structural similarity are improved, and the running time is shorter. The proposed method can retain the background details of the image as much as possible while effectively removing the rain streaks. Keywords: single-image rain removal; main directional of the rain streaks; the image block; HOG feature; global sparse model; sparse regularization term; color mask; reorganization by the channel image 机器视觉有广泛的应用领域，如目标跟踪、 视频监控、智能交通等。大多数计算机视觉算法 都是假定输入为理想无噪声图像。然而，对于现 实中的户外视觉系统来说，恶劣天气通常是不可 收稿日期：2018−09−21. 网络出版日期：2019−05−27. 基金项目：国家重点研发计划项目 (2018YFC0604500)；河南省 科技攻关项目 (172102210270)；河南省教育厅科学技 术研究重点项目 (15A510025)；河南省高等学校重点 科研项目 (17A480007). 通信作者：蔡凯利. E-mail：1574272673@qq.com. 第 15 卷第 2 期 智 能 系 统 学 报 Vol.15 No.2 2020 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2020

·272· 智能系统学报 第15卷 避免的，它们将显著降低户外视觉系统的性能。 垂直方向时，未将待处理雨图进行旋转或只进行 由于雨、雪等动态大粒子随机分布在图像中，通 大致旋转，此时去雨的视觉效果会出现一定程度 常会影响图像局部强度，去除难度大。基于去雨 下降。 研究通常分为视频去雨和单幅图像去雨。由于视 最后一类是通过深度学习的方法进行去雨n。 频去雨的方法可利用时间相关的多帧图像信息 典型的有：基于深度卷积神经网络s16或对抗网 因而不适用于单幅图像去雨。而单幅图像去雨的 络)，利用干净图像块和雨线图像块的映射关系 方法可以应用于视频去雨中，解决视频去雨中不 训练神经网络进行去雨。总之，这些基于深度学 能较好处理背景变换过快的动态场景问题。因 习的去雨算法所得结果图视觉效果较好，但其网 此，基于单幅图像去雨的研究显得更加有挑战性 络结构复杂，训练过程中数据量大，较难满足实 和重要性。 时性要求。 现如今，单幅图像去雨已引起了学术界的较 针对现有单幅图像去雨算法很少考虑风力 大关注，可将这些单幅图像去雨方法分为3类。 对雨线主方向的影响，当雨线偏离垂直方向时， 第1类是基于稀疏编码的去雨方法B8,第2类是 去雨后的结果图出现了雨线残留明显或背景模糊 基于模型的去雨方法9，第3类是基于深度学习 化的问题，本文提出了一种基于雨线主方向自适 的去雨方法。其中，基于稀疏编码的去雨方 应的全局稀疏去雨模型。所提算法实现了有效去 法是根据雨线及背景边缘信息呈现出高频特性， 除雨线的同时，较大程度地保留背景信息的 而背景中的非边缘信息则呈现出低频特性。据 目标。 此，这类去雨算法大多将待处理雨图预处理为高 频子图和低频子图，对高频子图进行稀疏表示与 1单向全变分模型去噪 字典学习，然后将高频子图学习出的背景边缘部 般，雨图模型1可用如下的加性噪声模型 分与低频子图相加，得到最终的去雨图。这类方 表示： 法中，以Kang等为典型代表，通过稀疏表示和 r=t+s (1) 字典学习的方法来区分高频中的背景边缘与雨 式中：r∈RMxI为待处理雨图；t∈RNxI为待求的 线，但存在误将背景字典原子认为是雨线字典原 背景图；S E RMNXI为雨线图。 子，导致结果图出现模糊化的现象。后续去雨研 加性噪声模型也应用于遥感图去除条形 究有依据背景与雨线对应稀疏编码系数的不 噪声： 同向，或通过优化几何分量等切方式进行去雨，这 I(x,y)=I(x,y)+I(x,y) (2) 些方法在最后同样是加上低频分量，得到最终的 式中：Ix,y)表示含条形噪声的观测图；I(x,y)和 去雨图。以上均是基于一种稀疏模型进行单幅图 I,(x,y)分别表示待求的背景图和条形噪声图。当 像去雨，还有基于融合解析和综合稀疏模型进行 条形噪声沿垂直方向时，雨线与遥感图的条形噪 去雨⑧，对融合模型迭代一定次数后，可逐步提取 声具有方向相似性，故雨线的方向特性也可以基 出背景细节，但该方法所得的背景图存在一定量 于文献[19]所提的单向全变分(unidirectional total 的雨线残留。总之，基于稀疏编码的去雨方法效 variation,.UTV)模型进行表征，其单向全变分模型 果较理想，但其中字典原子的学习过程耗时较 的最小能量函数为 长，实时性有待进一步提高。 min E(I)=TV(I-D+XTV,(I) (3) 基于模型的去雨方法主要依据背景与雨线结 即： 构特征的差异性，直接对图像进行去雨。如： 基于引导滤波或基于McClellan变换u8)设计相 min E(I)= (4) 应的频域方向滤波器进行去雨，这些方法虽可 由式(4)对应的全变分模型可得以下结论： 有效地去除雨线，但计算复杂度较高。为了降低 1)为了有助于条形噪声的去除，可将梯度信 复杂度，通过分阶段山或基于低阶特性模型进 行去雨，均可实现有效去雨的同时，降低去雨复 息分离为沿着垂直方向的保真项、P4和 杂度的目标。另外，对待处理雨图添加稀疏先验 沿着水平方向的正则化项 dx: 项，构建稀疏约束模型进行去雨，去雨结果图 2)对保真项和正则化项应使用边缘保持范 的视觉效果也较佳。但上述去雨方法当雨线偏离 数，例如TV范数或范数等，避免背景图出现伪

避免的，它们将显著降低户外视觉系统的性能。 由于雨、雪等动态大粒子随机分布在图像中，通 常会影响图像局部强度，去除难度大。基于去雨 研究通常分为视频去雨和单幅图像去雨。由于视 频去雨的方法可利用时间相关的多帧图像信息[1-2] ， 因而不适用于单幅图像去雨。而单幅图像去雨的 方法可以应用于视频去雨中，解决视频去雨中不 能较好处理背景变换过快的动态场景问题。因 此，基于单幅图像去雨的研究显得更加有挑战性 和重要性。 现如今，单幅图像去雨已引起了学术界的较 大关注，可将这些单幅图像去雨方法分为 3 类。 第 1 类是基于稀疏编码的去雨方法[3-8] ，第 2 类是 基于模型的去雨方法[9-14] ，第 3 类是基于深度学习 的去雨方法[15-17]。其中，基于稀疏编码的去雨方 法是根据雨线及背景边缘信息呈现出高频特性， 而背景中的非边缘信息则呈现出低频特性。据 此，这类去雨算法大多将待处理雨图预处理为高 频子图和低频子图，对高频子图进行稀疏表示与 字典学习，然后将高频子图学习出的背景边缘部 分与低频子图相加，得到最终的去雨图。这类方 法中，以 Kang 等 [4] 为典型代表，通过稀疏表示和 字典学习的方法来区分高频中的背景边缘与雨 线，但存在误将背景字典原子认为是雨线字典原 子，导致结果图出现模糊化的现象。后续去雨研 究有依据背景与雨线对应稀疏编码系数的不 同 [6] ，或通过优化几何分量等[7] 方式进行去雨，这 些方法在最后同样是加上低频分量，得到最终的 去雨图。以上均是基于一种稀疏模型进行单幅图 像去雨，还有基于融合解析和综合稀疏模型进行 去雨[8] ，对融合模型迭代一定次数后，可逐步提取 出背景细节，但该方法所得的背景图存在一定量 的雨线残留。总之，基于稀疏编码的去雨方法效 果较理想，但其中字典原子的学习过程耗时较 长，实时性有待进一步提高。 基于模型的去雨方法主要依据背景与雨线结 构特征的差异性，直接对图像进行去雨[9-14]。如： 基于引导滤波[9] 或基于 McClellan 变换[18] 设计相 应的频域方向滤波器[10] 进行去雨，这些方法虽可 有效地去除雨线，但计算复杂度较高。为了降低 复杂度，通过分阶段[11] 或基于低阶特性模型[12] 进 行去雨，均可实现有效去雨的同时，降低去雨复 杂度的目标。另外，对待处理雨图添加稀疏先验 项，构建稀疏约束模型进行去雨[13-14] ，去雨结果图 的视觉效果也较佳。但上述去雨方法当雨线偏离 垂直方向时，未将待处理雨图进行旋转或只进行 大致旋转，此时去雨的视觉效果会出现一定程度 下降。 最后一类是通过深度学习的方法进行去雨[15-17]。 典型的有：基于深度卷积神经网络[15-16] 或对抗网 络 [17] ，利用干净图像块和雨线图像块的映射关系 训练神经网络进行去雨。总之，这些基于深度学 习的去雨算法所得结果图视觉效果较好，但其网 络结构复杂，训练过程中数据量大，较难满足实 时性要求。 针对现有单幅图像去雨算法很少考虑风力 对雨线主方向的影响，当雨线偏离垂直方向时， 去雨后的结果图出现了雨线残留明显或背景模糊 化的问题，本文提出了一种基于雨线主方向自适 应的全局稀疏去雨模型。所提算法实现了有效去 除雨线的同时，较大程度地保留背景信息的 目标。 1 单向全变分模型去噪 一般，雨图模型[13] 可用如下的加性噪声模型 表示： r = t + s (1) r ∈ R MN×1 t ∈ R MN×1 s ∈ R MN×1 式中： 为待处理雨图； 为待求的 背景图； 为雨线图。 加性噪声模型也应用于遥感图去除条形 噪声： I(x, y) = Iu (x, y)+ Is (x, y) (2) I(x, y) Iu (x, y) Is (x, y) 式中： 表示含条形噪声的观测图； 和 分别表示待求的背景图和条形噪声图。当 条形噪声沿垂直方向时，雨线与遥感图的条形噪 声具有方向相似性，故雨线的方向特性也可以基 于文献 [19] 所提的单向全变分 (unidirectional total variation，UTV) 模型进行表征，其单向全变分模型 的最小能量函数为 min Iu E(Iu) = TVy (Iu − I)+ ˜λTVx (Iu) (3) 即： min Iu E(Iu) = ∫ Ω (     ∂(Iu − I) ∂y      + ˜λ      ∂Iu ∂x      ) dxdy (4) 由式 (4) 对应的全变分模型可得以下结论： ∫ Ω      ∂(Iu − I) ∂y      dy ∫ Ω      ∂Iu ∂x      dx 1) 为了有助于条形噪声的去除，可将梯度信 息分离为沿着垂直方向的保真项 和 沿着水平方向的正则化项 ； TV l1 2) 对保真项和正则化项应使用边缘保持范 数，例如 范数或 范数等，避免背景图出现伪 ·272· 智 能 系 统 学 报 第 15 卷

第2期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·273· 影现象。 每一幅雨图都存在一个雨线降落主方向，由 2 基于雨线主方向自适应的全局稀 于在同一幅雨图中雨线降落方向近似相同，雨线 的方差较小，而背景边缘方向各异，其方差较 疏去雨模型 大。为了较为准确确定雨线降落主方向，将输入 2.1自适应调节雨线主方向角度 的雨图均分为16块，取方差最小的图像块用于确 由于在YCbCr颜色空间中，雨线只出现在 定雨线降落主方向。 Y通道分量图，剩余2通道分量图几乎看不见雨 图2以“竹子”图为例进行说明，“竹子”图的 线。因此，将输入的RGB空间的雨图像转换到 第16小块方差最小，该图像块中主要呈现为墙 YCbCr空间，本文只需对Y通道分量图进行处 壁、地面等，其背景相对平滑，则该图像块受背景 理，最后进行通道重组可减少计算量。 干扰小，故可选取方差最小的图像块用于确定雨 首先，确定待处理雨图的雨线主方向。由于 线降落主方向。 受风力的影响，导致雨线在垂直方向向左或右偏 转，一般在90°±45°的范围内，即雨线降落角度 0∈[45°，135]。将长度为90°的降落区间分成9 格，每格区间长度设置为10°，以每格均值（如 50°，60°，，130)为雨线主降落方向，对应图像 库编号分别为1,12，…，。本文之所以设置区间 长度为10°，是确保每一幅雨图中即便雨线在不 (a)“竹子”Y通道 (b)方差最小 (c)I,主方向 同区域存在偏差，±5°的角度偏差仍然满足要求。 分16块 图像块 角度为90° 由于图像库中的雨线图的作用是为了确定待处理 图2图像分块匹配确定雨线主方向 雨图的雨线主方向，为了清晰显示雨线在图中的 Fig.2 Image block matching determines the main direc- tion of the rain streaks 分布情况，本文以二值图的形式进行展示所建立 的纯雨线图像库，如图1所示。 接着，将以方差最小的图像块，依据HOG特 征进行匹配，将匹配度最高的图像库中的雨线图 的主方向降落角度百视作待处理雨图的雨线主方 向降落的角度，旋转待处理雨图直到其雨线主方 向沿垂直方向，记旋转角为0。 同样，以“竹子”图为例说明，“竹子”图的第 16小块方差最小，以该图像块的HOG特征与雨 (a)L主方向 (b),主方向 (c)L主方向 角度为50 角度为60° 角度为70° 线图像库中雨图的HOG特征进行匹配，此时匹 配度最高的雨图为I,将I5的雨线主方向视作待 处理雨图的雨线主方向，记雨线主方向角百为 90°，则旋转角0=0°，此时无需旋转待处理雨图。 总之，待处理雨图的旋转角0为： 90°-0 11,I2,13,L4 0= 0° (5) (d)1主方向 (e)1主方向 (①1主方向 -|l0-90|=90°-a.16,1.18,1g 角度为80° 角度为90° 角度为100° 式中旋转角0的正负性可用来进行旋转方向 的判断，具体为： 0>0° I1,2,I3,I4 0= 0=0° 1 (6) 00°，需要逆时针旋转0，旋转角的大小为 Fig.1 Rain streaks image library 90°-0，从而使雨线近似沿着垂直方向降落；

影现象。 2 基于雨线主方向自适应的全局稀 疏去雨模型 2.1 自适应调节雨线主方向角度 由于在 YCbCr 颜色空间中，雨线只出现在 Y 通道分量图，剩余 2 通道分量图几乎看不见雨 线。因此，将输入的 RGB 空间的雨图像转换到 YCbCr 空间，本文只需对 Y 通道分量图进行处 理，最后进行通道重组可减少计算量。 θ ∈ [ 45◦ ,135◦ ] I1, I2, ··· , I9 首先，确定待处理雨图的雨线主方向。由于 受风力的影响，导致雨线在垂直方向向左或右偏 转，一般在 90°±45°的范围内，即雨线降落角度 。将长度为 90°的降落区间分成 9 格，每格区间长度设置为 10°，以每格均值 (如 50°，60°，···，130°) 为雨线主降落方向，对应图像 库编号分别为 。本文之所以设置区间 长度为 10°，是确保每一幅雨图中即便雨线在不 同区域存在偏差，±5°的角度偏差仍然满足要求。 由于图像库中的雨线图的作用是为了确定待处理 雨图的雨线主方向，为了清晰显示雨线在图中的 分布情况，本文以二值图的形式进行展示所建立 的纯雨线图像库，如图 1 所示。 (f) I6主方向 角度为100° (g) I7主方向 角度为110° (h) I8主方向 角度为120° (i) I9主方向 角度为130° (e) I5主方向 角度为90° (a) I1主方向 角度为50° (b) I2主方向 角度为60° (c) I3主方向 角度为70° (d) I4主方向 角度为80° 图 1 雨线图像库 Fig. 1 Rain streaks image library 每一幅雨图都存在一个雨线降落主方向，由 于在同一幅雨图中雨线降落方向近似相同，雨线 的方差较小，而背景边缘方向各异，其方差较 大。为了较为准确确定雨线降落主方向，将输入 的雨图均分为 16 块，取方差最小的图像块用于确 定雨线降落主方向。 图 2 以“竹子”图为例进行说明，“竹子”图的 第 16 小块方差最小，该图像块中主要呈现为墙 壁、地面等，其背景相对平滑，则该图像块受背景 干扰小，故可选取方差最小的图像块用于确定雨 线降落主方向。 (a) “竹子”Y 通道 分16块 (b) 方差最小 图像块 (c) I5主方向 角度为90° 图 2 图像分块匹配确定雨线主方向 Fig. 2 Image block matching determines the main direc￾tion of the rain streaks θ˜ θ 接着，将以方差最小的图像块，依据 HOG 特 征进行匹配，将匹配度最高的图像库中的雨线图 的主方向降落角度 视作待处理雨图的雨线主方 向降落的角度，旋转待处理雨图直到其雨线主方 向沿垂直方向，记旋转角为 。 I5 I5 θ˜ θ = 0 ◦ θ 同样，以“竹子”图为例说明，“竹子”图的第 16 小块方差最小，以该图像块的 HOG 特征与雨 线图像库中雨图的 HOG 特征进行匹配，此时匹 配度最高的雨图为 ，将 的雨线主方向视作待 处理雨图的雨线主方向，记雨线主方向角 为 90°，则旋转角 ，此时无需旋转待处理雨图。 总之，待处理雨图的旋转角 为： θ =    90◦ −θ,˜ I1,I2,I3,I4 0 ◦ , I5 −   θ˜ −90◦    = 90◦ −θ,˜ I6,I7,I8,I9 (5) 式中旋转角 θ 的正负性可用来进行旋转方向 的判断，具体为： θ =    θ > 0 ◦ , I1,I2,I3,I4 θ = 0 ◦ , I5 θ 0 ◦ θ 90◦ −θ˜ 1) ，需要逆时针旋转 ，旋转角的大小为 ，从而使雨线近似沿着垂直方向降落； 第 2 期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·273·

·274· 智能系统学报 第15卷 2)6=0°，此时待处理雨图的雨线主方向近似 即可对)方向的雨线梯度添加稀疏正则项进行 垂直方向，（图像库中编号为I的雨线图与方差最 约束： 小图像块的HOG特征匹配度最高，即：待处理雨 Reg (s)=Vsl (8) 图的雨线主方向在90°±5°的区间)，无需旋转待 V,是)方向上的差分算子。该项可看作式 处理雨图，即旋转角0取0°： (3)的第一个正则项的变换。 3)00、2>0。 该方向上，雨线梯度沿降落方向具有稀疏平滑性。 本文算法流程图如图3所示。 Y通道 颜色空间转换 雨线方向判定 (旋转角度D。) 输入含雨图 分块匹配确定 雨线主方向 带有旋转角度D。 的雨线去除模型 CbCr通道 1(Dd广s)l+Dos,+.(Dsl 由非负性得 图像重组 颜色掩膜 背景 保护背景 ,=r-5n 输出去雨图 图3本文所提方法的流程 Fig.3 The flow chart of the proposed method 采用约束条件解决式(11)对应的等价问题： 为了方便，本文将D(r-s)、Dr、Ds分别表 min (llull 22lvlh lwll} (12) 示为rn,-sn,、ro、sn.。因此，式(I2)对应的增广拉 式中：u=V:(Da(r-s)》;v=Ds;w=V,(DS)。 格朗日函数为

θ = 0 ◦ I5 90◦ ±5 ◦ θ 0 ◦ 2) ，此时待处理雨图的雨线主方向近似 垂直方向，(图像库中编号为 的雨线图与方差最 小图像块的 HOG 特征匹配度最高，即：待处理雨 图的雨线主方向在 的区间)，无需旋转待 处理雨图，即旋转角 取 ； θ 0、λ2 > 0。 本文算法流程图如图 3 所示。 颜色空间转换 Y 通道 输入含雨图 CbCr 通道 图像重组 输出去雨图 分块匹配确定 雨线主方向 颜色掩膜 保护背景 雨线方向判定 （旋转角度Dθ） 由非负性得 背景 tDθ = r − sDθ 带有旋转角度Dθ 的雨线去除模型 λ1 || x (Dθ (r−s))||1 + λ2 ||Dθ s||1 + || x (Dθ s)||1 Δ Δ 图 3 本文所提方法的流程 Fig. 3 The flow chart of the proposed method 采用约束条件解决式 (11) 对应的等价问题： min s {λ1∥u∥1 +λ2∥v∥1 +∥w∥1 } (12) 式中： u = ∇xˆ (Dθ (r− s)) ； v = Dθ s ； w = ∇yˆ (Dθ s) 。 Dθ (r− s) Dθ r Dθ s rDθ − sDθ rDθ sDθ 为了方便，本文将 、 、 分别表 示为 、 、 。因此，式 (12) 对应的增广拉 格朗日函数为 ·274· 智 能 系 统 学 报 第 15 卷

第2期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·275· L(,,w,S,P1,P2,P3)= Sp.argmin (pi,V;(ro.-sp.)-u)+(p2.sp.-v)+ llull +illvll +llwll +(p1,V;(rp.-sp.)-u)+ mga-w）+号Naa-sa）-4+ min V:(Fa-sn)+ 受sa-g+2IN,a-wg=argmin号 w-+号a- (22) (p3,75sn,-w〉+ ra-wf V:(ro.-SD.)-u+ (13) a-W 式中：B、B2、B是正则化参数；P1、P2、P3分别表 由于式(22)可微，s.的子问题的闭合解可通 示3个拉格朗日乘子。采用方向乘子法来解决1 过式(23)求解： 范数问题，式(13)中的问题可以分解成4个简单 且具有闭合解的子问题。 B:+,I4,,=A-) (23) 1)u的子问题：固定”、w,最小化能量泛函 B2v-p吃+旺(BVrn,-B1+1+p)元 i=arg minllul +(pi.V;(ro.-sp.)-u)+ 式中：1表示单位矩阵。而式(23)可通过快速傅 2:-a-= 里叶变换(FFT)解决。 (14) 由非负性约束条件式(9)所得到的，可由 arg min+ ca-)-u+ 式(24)进行投影： B,I =min(ro..max(.0) (24) 式(14)可通过式(15)的软阈值方法181来 根据ADMM方法，可通过式(25)更新拉格朗 解决： 日乘子p、P2、P: sm个o-+》 (15) p1=p戊+B((r-s）-t） p陵=吃+B,(培-) (25) Shrink (a,b)=sign(a)max (lal-b,0) (16) p=p+B(s-w） 式中sign(a)为a的符号函数，即： 本文算法将式(13)对应的复杂问题分解为 a>0 4个简单的子问题，这4个子问题均具有闭合解，可 sign (a a=0 (17) 以确保算法的准确性和快速性。其中“、”、w子问 aT时，可认为 该像素为未受雨水影响的背景像素。再定义掩膜 4)sn的子问题： 图像的像素值为。其表达式为：

min u,v,w,s    L(u, v,w,s, p1 , p2 , p3) = λ1∥u∥1 +λ2∥v∥1 +∥w∥1 + ⟨ p1,∇xˆ ( rDθ − sDθ ) −u ⟩ + β1 2 ∇xˆ ( rDθ − sDθ ) −u 2 2 + ⟨ p2 ,sDθ −v ⟩ + β2 2 sDθ −v 2 2 + ⟨ p3,∇yˆsDθ −w ⟩ + β3 2 ∇yˆsDθ −w 2 2    (13) β1 β2 β3 p1 p2 p3 l1 式中： 、 、 是正则化参数； 、 、 分别表 示 3 个拉格朗日乘子。采用方向乘子法来解决 范数问题，式 (13) 中的问题可以分解成 4 个简单 且具有闭合解的子问题。 1) u 的子问题：固定 v、w ，最小化能量泛函： uˆ= argmin u λ1∥u∥1 + ⟨ p1,∇xˆ ( rDθ − sDθ ) −u ⟩ + β1 2 ∇xˆ ( rDθ − sDθ ) −u 2 2 = argmin u λ1∥u∥1 + β1 2 ∇xˆ ( rDθ − sDθ ) −u+ p1 β1 2 2 (14) 式 (14) 可通过式 (15) 的软阈值方法[ 1 8 ] 来 解决： u k+1 = Shrink( ∇xˆ ( rDθ − s k Dθ ) + p k 1 β1 , λ1 β1 ) (15) Shrink(a,b) = sign(a)max(|a|−b,0) (16) 式中 sign(a) 为 a 的符号函数，即： sign(a) =    1, 0, −1, a > 0 a = 0 a T mi 通过对 Y 通道归一化处理，雨线处像素值一 般较大，在原始 Y 通道中大多呈现较亮的灰白 色，而背景对应的像素大多表现出各种深浅不同 的灰色。虽然无法确定像素值较大的灰白色像素 一定为雨像素，但是像素值较小的黑色及深灰色 像素一定不会是雨像素，这部分像素视作未受雨 水影响的背景像素。设定原始 Y 通道像素值用 表示， 表示每一个像素点 的颜色与白色之 间的差异值，以及 表示整幅图像的阈 值。当像素点的 越大，即当 时，可认为 该像素为未受雨水影响的背景像素。再定义掩膜 图像的像素值为 。其表达式为： 第 2 期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·275·

·276· 智能系统学报 第15卷 1,%>T m:=0,wT的深灰色或黑色像素， 式中%：=1-P0 这些深灰色或黑色像素可视作未被雨水覆盖的背 本文以“竹子”图为例来说明取不同数值的阈 景像素，这部分像素需在最终输出的去雨图中保 值T,遍历整幅Y通道分量图后，得到对应的掩膜 留原值。而在颜色掩膜图中用黑色像素表示的像 图以及对应增强后的Y通道分量图，如图4所示。 素处，最终的输出去雨图仍采用全局稀疏模型去 由图4可得，掩膜图的形成是基于原始Y通 雨后的像素值。 阈值取0.79 國值取0.80 阅值取0.81 國值取0.82 (a)阀值取0.79对应(b)阀值取0.80对应(c)阀值取0.81对应(d)阀值取0.82对应 增强后的Y通道增强后的Y通道增强后的Y通道增强后的Y通道 國值取0.83 國值取0.84 國值取0.85 阈值取0.86 ()阈值取0.83对应（①阀值取0.84对应 (g)阀值取0.85对应h)阀值取0.86对应 增强后的Y通道 增强后的Y通道 增强后的Y通道 增强后的Y通道 图4掩膜图和对应增强后的Y通道图 Fig.4 Mask image and corresponding enhanced Y-channel image 通过对UCID数据集的50幅图像进行实验， T=0.82:p=p=p%=0,s°=0，k=0o 阈值T取均值O.82时，峰值信噪比(PSNR)、结构 2)循环k=k+1 相似性(SSIM)取得较高值。为了更加客观地评 rp.-sp.l/ro.-sh'll tol e-3 价，本文以“竹子”图为例，列出不同阈值T对应 的峰值信噪比(PSNR)、结构相似性(SSIM)数值， and k<Miter =200 如表1所示。由表1可得：当阈值T取值逐渐增 3)通过式(15)、(19)、(21)对应求解+1 大时，PSNR、SSM值先增大后逐渐趋于平稳。 +、w+;通过式(24)求解s,通过式(25)求解 本文算法的步骤如下： 、p、p,即： 1)输入雨图r,通过式（⑤）确定旋转角6， 初始化11=0.08,2=0.95；B,=B2=B=200, =si.小+套》

mi = { 1, wi > T 0, wi T 道分量图，在颜色掩膜图中用白色像素表示原始 Y 通道中像素满足 的深灰色或黑色像素， 这些深灰色或黑色像素可视作未被雨水覆盖的背 景像素，这部分像素需在最终输出的去雨图中保 留原值。而在颜色掩膜图中用黑色像素表示的像 素处，最终的输出去雨图仍采用全局稀疏模型去 雨后的像素值。 阈值取0.79 阈值取0.80 阈值取0.81 阈值取0.82 阈值取0.83 阈值取0.84 阈值取0.85 阈值取0.86 (a) 阀值取0.79对应 增强后的Y 通道 (b) 阀值取0.80对应 增强后的Y 通道 (c) 阀值取0.81对应 增强后的Y 通道 (d) 阀值取0.82对应 增强后的Y 通道 (e) 阈值取0.83对应 增强后的Y 通道 (f) 阈值取0.84对应 增强后的Y 通道 (g) 阈值取0.85对应 增强后的Y 通道 (h) 阀值取0.86对应 增强后的Y 通道 图 4 掩膜图和对应增强后的 Y 通道图 Fig. 4 Mask image and corresponding enhanced Y-channel image T T T 通过对 UCID 数据集的 50 幅图像进行实验， 阈值 取均值 0.82 时，峰值信噪比 (PSNR)、结构 相似性 (SSIM) 取得较高值。为了更加客观地评 价，本文以“竹子”图为例，列出不同阈值 对应 的峰值信噪比 (PSNR)、结构相似性 (SSIM) 数值， 如表 1 所示。由表 1 可得：当阈值 取值逐渐增 大时，PSNR、SSIM 值先增大后逐渐趋于平稳。 本文算法的步骤如下： 1) 输入 雨图 r ，通过式 (5) 确定旋转角 θ， 初始化 λ1 = 0.08 ，λ2 = 0.95 ； β1 = β2 = β3 = 200 ， T = 0.82; p 0 1 = p 0 2 = p 0 3 = 0,s 0 = 0, k = 0。 2) 循环 k = k+1 rDθ − s k Dθ / rDθ − s k−1 Dθ > tol = e −3 and k < Miter = 200 u k+1、 v k+1、w k+1 s k+1 Dθ p k+1 1 、p k+1 2 、p k+1 3 3) 通过式 (15)、 (19)、 (21) 对应求解 ；通过式 (24) 求解 ，通过式 (25) 求解 ，即： u k+1 = Shrink( ∇xˆ ( rDθ − s k Dθ ) + p k 1 β1 , λ1 β1 ) ·276· 智 能 系 统 学 报 第 15 卷

第2期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·277· 表1采用掩膜图后的定量分析 p=p片+B((r-s）-） Table 1 Quantitative analysis with mask image 内=吃+B,(战-） 竹子 PSNR/dB SSIM 阈值0.79 p哈=p+B(s1-w)） 30.9364 0.91105 4)当有下式成立时 阈值0.80 30.9468 0.91597 r.-s吃，l/pra.-s哈l>tol=e-3 阈值0.81 30.9526 0.91977 or k<Miter =200 阈值0.82 30.9594 0.92189 通过全局稀疏模型所得的最小化能量泛函的 阈值0.83 30.9600 0.92208 解对应Y通道去雨图，即： 阈值0.84 30.9602 0.92211 tD.=rD-SD 最后，通过式(26)，对未受雨水影响的部分背 阈值0.85 30.9603 0.92212 景进行保护，通道重组后，颜色空间转换到RGB 阈值0.86 30.9604 0.92212 空间中，得最终的去雨结果图。 3实验结果与分析 1=Shrink +塔剖 3.1合成数据定性分析 为验证本文算法的有效性，并与近期典型对 比文献[6]、[13]、[14]所提算法进行对比实验及 =min(ro..max(0)) 分析。如图5所示。 (a)真实图(b)合成雨图(c)Luo (d)Li (e)Deng(①本文 图5合成图的视觉效果对比 Fig.5 Visual comparison of synthetic images 在硬件配置为Intel(R)Core(TM)i5-3210M 然有效地去除了雨线，但背景细节模糊化较为明 CPU@2.50GHz4 GB RAM的PC机，软件使用 显，如“竹子”图的竹子纹理等处。 Matlab R2014a进行实验。 本文算法和Deng等1相比，在较大程度 以“竹子”、“熊猫”、“女孩”、“树林”这4张合 保护背景信息的前提下，比文献[14]去雨稍彻 成图为例，展示4种算法视觉上的差异，可发现： 底，同时背景信息也能较好地保留。整体上看， Lu0等6算法背景保存最为完整，但是雨线残留 本文算法比文献[6]可更有效地去除雨线，同时 较明显，如“竹子”图的地面等处。Li等]算法虽 比文献[13]更好地保留图像背景的细节信息。当

v k+1 = Shrink( s k Dθ + p k 2 β2 , λ2 β2 ) w k+1 = Shrink( ∇yˆs k Dθ + p k 3 β3 , 1 β3 ) s k+1 Dθ = min( rDθ ,max( s˜ k+1 Dθ ,0 )) p k+1 1 = p k 1 +β1 ( ∇xˆ ( rDθ − s k+1 Dθ ) −u k+1 ) p k+1 2 = p k 2 +β2 ( s k+1 Dθ −v k+1 ) p k+1 3 = p k 3 +β3 ( ∇yˆs k+1 Dθ −w k+1 ) 4) 当有下式成立时 rDθ − s k Dθ / rDθ − s k−1 Dθ > tol = e −3 or k < Miter = 200 通过全局稀疏模型所得的最小化能量泛函的 解对应 Y 通道去雨图，即： tDθ = rDθ − sDθ 最后，通过式 (26)，对未受雨水影响的部分背 景进行保护，通道重组后，颜色空间转换到 RGB 空间中，得最终的去雨结果图。 3 实验结果与分析 3.1 合成数据定性分析 为验证本文算法的有效性，并与近期典型对 比文献 [6]、[13]、[14] 所提算法进行对比实验及 分析。如图 5 所示。 (a) 真实图 (b) 合成雨图 (c) Luo (d) Li (e) Deng (f) 本文 图 5 合成图的视觉效果对比 Fig. 5 Visual comparison of synthetic images 在硬件配置为 Intel(R) Core (TM) i5-3210M CPU @2. 50 GHz 4 GB RAM 的 PC 机，软件使用 Matlab R2014a 进行实验。 以“竹子”、“熊猫”、“女孩”、“树林”这 4 张合 成图为例，展示 4 种算法视觉上的差异，可发现： Luo 等 [6] 算法背景保存最为完整，但是雨线残留 较明显，如“竹子”图的地面等处。Li 等 [13] 算法虽 然有效地去除了雨线，但背景细节模糊化较为明 显，如“竹子”图的竹子纹理等处。 本文算法和 Deng 等 [ 1 4 ] 相比，在较大程度 保护背景信息的前提下，比文献 [14] 去雨稍彻 底，同时背景信息也能较好地保留。整体上看， 本文算法比文献 [6] 可更有效地去除雨线，同时 比文献 [13] 更好地保留图像背景的细节信息。当 表 1 采用掩膜图后的定量分析 Table 1 Quantitative analysis with mask image 竹子 PSNR/dB SSIM 阈值0.79 30.936 4 0.911 05 阈值0.80 30.946 8 0.915 97 阈值0.81 30.952 6 0.919 77 阈值0.82 30.959 4 0.921 89 阈值0.83 30.960 0 0.922 08 阈值0.84 30.960 2 0.922 11 阈值0.85 30.960 3 0.922 12 阈值0.86 30.960 4 0.922 12 第 2 期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·277·

·278· 智能系统学报 第15卷 雨线偏离垂直方向时，文献14]只进行大致旋 景细节信息。 转，而本文算法由于采取了更精确的雨图旋转策 3.2合成数据定量分析 略，故本文算法比文献[14]去雨更加彻底。同 为了更加客观地评价本文与对比算法的效 时，由于本文算法采用颜色掩膜对于未受雨水影 果，使用峰值信噪比(PSNR)、结构相似性(SSIM) 响的背景进行保护，从而也较大程度地保留了背 以及运行时间作为客观评价指标，如表2所示。 表2合成数据的定量分析 Table 2 Quantitative analysis of dyn thetic data 雨图 方法 PSNR/dB SSIM Time/s Luo 27.740 0.829 72.310 Li 30.522 0.895 963.628 竹子(90) Deng 30.950 0.918 1.684 本文 30.959 0.922 2.454 Luo 27.841 0.893 68.891 Li 30.570 0.913 952.165 熊猫（左偏5） Deng 30.961 0.932 1.136 本文 31.378 0.938 2.078 Luo 26.224 0.726 77.957 女孩（左偏30） 27.352 0.751 954.386 Deng 28.887 0.793 0.937 本文 28.911 0.817 2.593 Luo 31.001 0.908 62.414 Li 30.871 0.883 955.602 树林（右偏10） Deng 32.412 0.936 1.097 本文 32.450 0.943 1.775 从表2中的实验数据可看出，本文算法的 图中草地等处。文献[14]存在少许雨线残留，如 PSNR值、SSIM值比文献[6]、[13]、[14]高，表示 “花朵”图的天空等处。本文算法将整幅雨图的雨 本文得到的去雨结果图与真实图更为近似。本文 线去除更为彻底，同时背景信息也较大程度地被 算法的计算时间比文献[6]、[13]短，稍长于文 保护。 献[14]。 真实雨图的实验结果如图6所示。真实雨图 3.3真实数据分析 为现实中真实存在的雨图，其不存在对应的无雨 本文以“花朵”、“奥巴马”、“树木”、“自行车” 图，故无法计算PSNR值、SSIM值。本文以各算 法取得最佳视觉效果的运行时间作为评价指标， 作为真实图的实验数据。 4种算法的运行时间如表3所示。由表3可得， 图6展现出了不同去雨算法在真实图上的去 本文算法的运行时间明显比对比文献[6]、[13]的 雨效果。从结果图中可看出，Luo等6所提算法 运行时间短，由于本文采用了自适应确定雨线主 出现雨线残留较明显的情况，如“花朵”图上方的 方向的策略以及对部分背景进行保护，运行时间 天空、草地等处。Li等1所提算法雨线去除较彻 稍长于文献14]。整体上看，本文算法的实时性 底，但是出现一定程度的背景模糊化，如“花朵” 相对较高

雨线偏离垂直方向时，文献 [14] 只进行大致旋 转，而本文算法由于采取了更精确的雨图旋转策 略，故本文算法比文献 [14] 去雨更加彻底。同 时，由于本文算法采用颜色掩膜对于未受雨水影 响的背景进行保护，从而也较大程度地保留了背 景细节信息。 3.2 合成数据定量分析 为了更加客观地评价本文与对比算法的效 果，使用峰值信噪比 (PSNR)、结构相似性 (SSIM) 以及运行时间作为客观评价指标，如表 2 所示。 表 2 合成数据的定量分析 Table 2 Quantitative analysis of dyn thetic data 雨图 方法 PSNR/dB SSIM Time/s 竹子(90°) Luo 27.740 0.829 72.310 Li 30.522 0.895 963.628 Deng 30.950 0.918 1.684 本文 30.959 0.922 2.454 熊猫(左偏5°) Luo 27.841 0.893 68.891 Li 30.570 0.913 952.165 Deng 30.961 0.932 1.136 本文 31.378 0.938 2.078 Luo 26.224 0.726 77.957 女孩(左偏30°) Li 27.352 0.751 954.386 Deng 28.887 0.793 0.937 本文 28.911 0.817 2.593 树林(右偏10°) Luo 31.001 0.908 62.414 Li 30.871 0.883 955.602 Deng 32.412 0.936 1.097 本文 32.450 0.943 1.775 从表 2 中的实验数据可看出，本文算法的 PSNR 值、SSIM 值比文献 [6]、[13]、[14] 高，表示 本文得到的去雨结果图与真实图更为近似。本文 算法的计算时间比文献 [6]、[13] 短，稍长于文 献 [14]。 3.3 真实数据分析 本文以“花朵”、“奥巴马”、“树木”、“自行车” 作为真实图的实验数据。 图 6 展现出了不同去雨算法在真实图上的去 雨效果。从结果图中可看出，Luo 等 [6] 所提算法 出现雨线残留较明显的情况，如“花朵”图上方的 天空、草地等处。Li 等 [13] 所提算法雨线去除较彻 底，但是出现一定程度的背景模糊化，如“花朵” 图中草地等处。文献 [14] 存在少许雨线残留，如 “花朵”图的天空等处。本文算法将整幅雨图的雨 线去除更为彻底，同时背景信息也较大程度地被 保护。 真实雨图的实验结果如图 6 所示。真实雨图 为现实中真实存在的雨图，其不存在对应的无雨 图，故无法计算 PSNR 值、SSIM 值。本文以各算 法取得最佳视觉效果的运行时间作为评价指标， 4 种算法的运行时间如表 3 所示。由表 3 可得， 本文算法的运行时间明显比对比文献 [6]、[13] 的 运行时间短，由于本文采用了自适应确定雨线主 方向的策略以及对部分背景进行保护，运行时间 稍长于文献 [14]。整体上看，本文算法的实时性 相对较高。 ·278· 智 能 系 统 学 报 第 15 卷

第2期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·279· (a)真实图 (b)Luo (c)Li (d)Deng (e)本文 图6真实图的去雨效果对比 Fig.6 Comparison of rain streaks removal on real images 表3不同算法的运行时间 Computer Vision and Pattern Recognition.Honolulu,HI. Table 3 Running time of different algorithms USA.2017:2838-2847. [2]JIANG Taixiang,HUANG Tingzhu,ZHAO Xile,et al.A Luo Li Deng 本文 novel tensor-based video rain streaks removal approach via 花朵 85.471 1043.838 1.624 2.554 utilizing discriminatively intrinsic priors[C]//Proceedings 奥巴马 78.934 956.581 0.892 1.632 of 2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu,HI,USA,2017:2818-2827. 树木 79.355 976.016 1.067 1.935 [3]FU Y H,KANG Liwei,LIN C W,et al.Single-frame- 自行车 78.521 961.667 0.883 1.951 based rain removal via image decomposition[C]//Proceed- ings of 2011 IEEE International Conference on Acoustics, 4结束语 Speech and Signal Processing.Prague,Czech Republic, 2011:1453-1456 现有的单幅图像去雨算法很少考虑风力对雨 [4]KANG Liwei,LIN C W,FU Y H.Automatic single-im- 线主方向的作用，当雨线偏离垂直方向时，现有 age-based rain streaks removal via image decom- position[J].IEEE transactions on image processing,2012, 方法未采取旋转或只是进行大致旋转，去雨后的 21(4:1742-1755. 雨图出现雨线残留明显或背景模糊的现象。针对 [5]CHEN Duanyu,CHEN C C,KANG Liwei.Visual depth 该问题，本文提出一种基于雨线主方向自适应的 guided image rain streaks removal via sparse coding[C]/ 全局稀疏去雨模型。实验结果表明，本文算法在 Proceedings of 2012 IEEE International Symposium on In- 有效去雨的同时能较大程度地保留背景信息， telligent Signal Processing and Communications Systems PSNR和SSIM值相对高，运行时间相对短。 Taipei,China,2012:151-156. [6]LUO Yu,XU Yong,JI Hui.Removing rain from a single 参考文献： image via discriminative sparse coding[Cl//Proceedings of 2015 IEEE International Conference on Computer Vision. [1]REN Weihong,TIAN Jiandong,HAN Zhi,et al.Video Santiago,Chile,2015:3397-3405. desnowing and deraining based on matrix decom- [7]庞彦伟，周俊，邓君坪，等.基于图像分解与字典分类的 position[C]//Proceedings of 2017 IEEE Conference on 单幅图像去雨算法).天津大学学报（自然科学与工程

4 结束语 现有的单幅图像去雨算法很少考虑风力对雨 线主方向的作用，当雨线偏离垂直方向时，现有 方法未采取旋转或只是进行大致旋转，去雨后的 雨图出现雨线残留明显或背景模糊的现象。针对 该问题，本文提出一种基于雨线主方向自适应的 全局稀疏去雨模型。实验结果表明，本文算法在 有效去雨的同时能较大程度地保留背景信息， PSNR 和 SSIM 值相对高，运行时间相对短。 参考文献： REN Weihong, TIAN Jiandong, HAN Zhi, et al. Video desnowing and deraining based on matrix decom￾position[C]//Proceedings of 2017 IEEE Conference on [1] Computer Vision and Pattern Recognition. Honolulu, HI, USA, 2017: 2838–2847. JIANG Taixiang, HUANG Tingzhu, ZHAO Xile, et al. A novel tensor-based video rain streaks removal approach via utilizing discriminatively intrinsic priors[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA, 2017: 2818–2827. [2] FU Y H, KANG Liwei, LIN C W, et al. Single-frame￾based rain removal via image decomposition[C]//Proceed￾ings of 2011 IEEE International Conference on Acoustics, Speech and Signal Processing. Prague, Czech Republic, 2011: 1453–1456. [3] KANG Liwei, LIN C W, FU Y H. Automatic single-im￾age-based rain streaks removal via image decom￾position[J]. IEEE transactions on image processing, 2012, 21(4): 1742–1755. [4] CHEN Duanyu, CHEN C C, KANG Liwei. Visual depth guided image rain streaks removal via sparse coding[C]// Proceedings of 2012 IEEE International Symposium on In￾telligent Signal Processing and Communications Systems. Taipei, China, 2012: 151–156. [5] LUO Yu, XU Yong, JI Hui. Removing rain from a single image via discriminative sparse coding[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile, 2015: 3397–3405. [6] 庞彦伟, 周俊, 邓君坪, 等. 基于图像分解与字典分类的 单幅图像去雨算法 [J]. 天津大学学报(自然科学与工程 [7] 表 3 不同算法的运行时间 Table 3 Running time of different algorithms s Luo Li Deng 本文 花朵 85.471 1 043.838 1.624 2.554 奥巴马 78.934 956.581 0.892 1.632 树木 79.355 976.016 1.067 1.935 自行车 78.521 961.667 0.883 1.951 (a) 真实图 (b) Luo (c) Li (d) Deng (e) 本文 图 6 真实图的去雨效果对比 Fig. 6 Comparison of rain streaks removal on real images 第 2 期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·279·

·280· 智能系统学报 第15卷 技术版)，2017,50(4)：391-398 and Pattern Recognition.Honolulu,HI,USA,2017: PANG Yanwei,ZHOU Jun,DENG Junping,et al.Single- 1685-1694 image rain removal algorithm based on image decomposi- [17]ZHANG He.SINDAGI V,PATEL V M.Image de-raining tion and dictionary classification[J].Journal of Tianjin using a conditional generative adversarial network[J/OL]. University (Science and Technology),2017,50(4): IEEE transactions on circuits and systems for video tech- 391-398. [8]GU Shuhang,MENG Deyu,ZUO Wangmeng,et al.Joint nology:(2019-06-03).https://ieeexplore.ieee.org/docu- ment/8727938.D0L:10.1109/TCSVT.2019.2920407. convolutional analysis and synthesis sparse representation for single image layer separation[C]//Proceedings of 2017 [18]SHYU J J,PEI S C,HUANG Yunda.Design of variable IEEE International Conference on Computer Vision two-dimensional FIR digital filters by McClellan trans- Venice,Italy,2017:1717-1725. formation[J].IEEE transactions on circuits and systems I: [9]XU Jing,ZHAO Wei,LIU Peng,et al.An improved guid- regular papers,2009,56(3):574-582 ance image based method to remove rain and snow in a [19]BOUALI M,LADJAL S.Toward optimal destriping of single image[J].Computer and information science,2012, MODIS data using a unidirectional variational model[J]. 5(3:49-55 IEEE transactions on geoscience and remote sensing, [10]LIU Changbo,PANG Yanwei,WANG Jian,et al.Fre- 2011,49(8):2924-2935. quency domain directional filtering based rain streaks re- [20]刘长波.基于稀疏表示和频域方向滤波的图像雨雪去 moval from a single color image[C]//Proceedings of the 除算法D].天津：天津大学，2014：26-27. 10th International Conference on Intelligent Computing. LIU Changbo.Sparse coding and frequency domain dir- Taiyuan,China,2014:415-424. ectional filtering based Image rain and snow removal[D]. [11]KIM J H,LEE C,SIM J Y,et al.Single-image deraining Tianjin:Tianjin University,2014:26-27. using an adaptive nonlocal means filter[C]//Proceedings of 2013 IEEE International Conference on Image Pro- 作者简介： cessing.Melbourne,VIC,Australia,2014:914-917. 王科平，副教授.博士，主要研究 [12]CHEN Yilie,HSU C T.A generalized low-rank appear- 方向为图像处理、目标跟踪、深度学 ance model for spatio-temporally correlated rain 习。主持或参与省部级以上科研项目 streaks[C]//Proceedings of 2013 IEEE International Con- 10余项，出版专著1部。发表学术论 ference on Computer Vision.Sydney,NSW,Australia, 文30余篇。 2013:1968-1975 [13]LI Yu,TAN R T,GUO Xiaojie,et al.Rain streak remov- al using layer priors[C]//Proceedings of 2016 IEEE Con- 蔡凯利，硕士研究生，主要研究方 ference on Computer Vision and Pattern Recognition.Las 向为图像处理。 Vegas.NV,USA2016:2736-2744. [14]DENG Liangjian,HUANG Tingzhu,ZHAO Xile,et al.A directional global sparse model for single image rain re- moval[J].Applied mathematical modelling,2018,59: 662-679. [15]FU Xueyang,HUANG Jiabin,DING Xinghao,et al. 王红旗，副教授，博士，主要研究 Clearing the skies:a deep network architecture for single- 方向为控制理论与应用。主持或参与 image rain removal[J].IEEE transactions on image pro- 省部级以上科研项目10余项。发表 cessing,2017,26(6):2944-2956. 学术论文40余篇。 [16]YANG Wenhan,TAN RT,FENG Jiashi,et al.Deep joint rain detection and removal from a single image[C]//Pro- ceedings of 2017 IEEE Conference on Computer Vision

技术版), 2017, 50(4): 391–398. PANG Yanwei, ZHOU Jun, DENG Junping, et al. Single￾image rain removal algorithm based on image decomposi￾tion and dictionary classification[J]. Journal of Tianjin University (Science and Technology), 2017, 50(4): 391–398. GU Shuhang, MENG Deyu, ZUO Wangmeng, et al. Joint convolutional analysis and synthesis sparse representation for single image layer separation[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy, 2017: 1717–1725. [8] XU Jing, ZHAO Wei, LIU Peng, et al. An improved guid￾ance image based method to remove rain and snow in a single image[J]. Computer and information science, 2012, 5(3): 49–55. [9] LIU Changbo, PANG Yanwei, WANG Jian, et al. Fre￾quency domain directional filtering based rain streaks re￾moval from a single color image[C]//Proceedings of the 10th International Conference on Intelligent Computing. Taiyuan, China, 2014: 415–424. [10] KIM J H, LEE C, SIM J Y, et al. Single-image deraining using an adaptive nonlocal means filter[C]//Proceedings of 2013 IEEE International Conference on Image Pro￾cessing. Melbourne, VIC, Australia, 2014: 914–917. [11] CHEN Yilie, HSU C T. A generalized low-rank appear￾ance model for spatio-temporally correlated rain streaks[C]//Proceedings of 2013 IEEE International Con￾ference on Computer Vision. Sydney, NSW, Australia, 2013: 1968–1975. [12] LI Yu, TAN R T, GUO Xiaojie, et al. Rain streak remov￾al using layer priors[C]//Proceedings of 2016 IEEE Con￾ference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA, 2016: 2736-2744. [13] DENG Liangjian, HUANG Tingzhu, ZHAO Xile, et al. A directional global sparse model for single image rain re￾moval[J]. Applied mathematical modelling, 2018, 59: 662–679. [14] FU Xueyang, HUANG Jiabin, DING Xinghao, et al. Clearing the skies: a deep network architecture for single￾image rain removal[J]. IEEE transactions on image pro￾cessing, 2017, 26(6): 2944–2956. [15] YANG Wenhan, TAN R T, FENG Jiashi, et al. Deep joint rain detection and removal from a single image[C]//Pro￾ceedings of 2017 IEEE Conference on Computer Vision [16] and Pattern Recognition. Honolulu, HI, USA, 2017: 1685–1694. ZHANG He, SINDAGI V, PATEL V M. Image de-raining using a conditional generative adversarial network[J/OL]. IEEE transactions on circuits and systems for video tech￾nology: (2019–06–03). https://ieeexplore.ieee.org/docu￾ment/8727938. DOI: 10.1109/TCSVT.2019.2920407. [17] SHYU J J, PEI S C, HUANG Yunda. Design of variable two-dimensional FIR digital filters by McClellan trans￾formation[J]. IEEE transactions on circuits and systems I: regular papers, 2009, 56(3): 574–582. [18] BOUALI M, LADJAL S. Toward optimal destriping of MODIS data using a unidirectional variational model[J]. IEEE transactions on geoscience and remote sensing, 2011, 49(8): 2924–2935. [19] 刘长波. 基于稀疏表示和频域方向滤波的图像雨雪去 除算法 [D]. 天津: 天津大学, 2014: 26–27. LIU Changbo. Sparse coding and frequency domain dir￾ectional filtering based Image rain and snow removal[D]. Tianjin: Tianjin University, 2014: 26–27. [20] 作者简介： 王科平，副教授，博士，主要研究 方向为图像处理、目标跟踪、深度学 习。主持或参与省部级以上科研项目 10 余项，出版专著 1 部。发表学术论 文 30 余篇。 蔡凯利，硕士研究生，主要研究方 向为图像处理。 王红旗，副教授，博士，主要研究 方向为控制理论与应用。主持或参与 省部级以上科研项目 10 余项。发表 学术论文 40余篇。 ·280· 智 能 系 统 学 报 第 15 卷