第17卷第5期 智能系统学报 Vol.17 No.5 2022年9月 CAAI Transactions on Intelligent Systems Sep.2022 D0:10.11992/tis.202108022 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20220617.0942.002.html 水下图像增强方法研究综述 严浙平，曲思瑜2，邢文 （1.哈尔滨工程大学智能科学与工程学院，黑龙江哈尔滨150001：2.哈尔滨工程大学青岛创新发展基地，山 东青岛266000) 摘要：水下图像增强是水下有人无人设备完成深海探测任务的重要支撑技术。该技术综合应用信号处理、 图像处理以及机器学习的相关理论知识以实现对水下图像的灵活增强。在简述了水下图像增强的研究背景、 意义及热点问题的基础上，按照不基于成像模型、基于成像模型与基于学习3个方向对水下图像增强技术的发 展进行了详细的论述，重点分析了不同方法的原理和技术特点。最后，根据水下图像增强技术的难点与目前面 临的主要问题对研究方向和发展趋势进行了归纳和展望。 关键词：水下成像：图像处理；水下图像增强；水下图像复原：成像模型；生成对抗网络；卷积神经网络；图像质 量评价 中图分类号：TP391.41:TN911.73文献标志码：A文章编号：1673-4785(2022)05-0860-14 中文引用格式：严浙平，曲思瑜，邢文.水下图像增强方法研究综述队.智能系统学报，2022,17（⑤）：860-873. 英文引用格式：YAN Zheping,QU Siyu,.XING Wen..An overview of underwater image enhancement methods.CAAI transac- tions on intelligent systems,2022,17(5):860-873. An overview of underwater image enhancement methods YAN Zheping2,QU Siyu2,XING Wen'2 (1.Department of Intelligent Science and Engineering,Harbin Engineering University,Harbin 150001,China;2.Qingdao Innovation and Development Center,Harbin Engineering University,Qingdao 266000,China) Abstract:The underwater image enhancement technology plays an important role in deep-sea exploration missions for underwater manned/unmanned vehicles,which adopts relevant and comprehensive theoretical knowledge of signal pro- cessing,image processing,and machine learning to realize the flexible enhancement of underwater images.In this paper, a brief description of the research background,significance,and the hotspot of underwater image enhancement is provided first.Then,the underwater image enhancement methods are expounded,considering the image-formation-mod- el-free,image-formation-model-based,and learning-based approaches.Particularly,the design principles and technical characteristics of different methods are analyzed.Finally,considering the shortcomings of the existing methods and re- cent major challenges of the underwater image enhancement technology,the future research direction and development trend of this technology are summarized and prospected. Keywords:underwater imaging;image processing;underwater image enhancement;underwater image restoration;ima- ging model;generative adversarial network;convolutional neural network;image quality assessment 在陆地空间和资源压力日益增大的条件下，海洋安全监测等一系列水下作业任务的重要保 对于水下空间的开发变得迫切起来，海底蕴藏着证。但是，水下成像是不同于陆地上的成像机 丰富的矿产资源与化石能源，能掌握高效的水下 制，水下环境的成像是更为复杂的。首先，光线 资源开发技术的国家必将在未来发展中占尽先 在水中的传播衰减与陆地的传播衰减是不同的， 机。高质量且清晰的水下图像是海洋资源勘探和 它是一种不均匀的且依赖于波长特性的衰减。红 光是可见光中波长最长的，在传播时，红光最先 收稿日期：2021-08-17.网络出版日期：2022-06-17. 基金项目：国家自然科学基金面上项目(52071102). 消失，然后是按照波长顺序的橙光、绿光及蓝光， 通信作者：邢文.E-mail:xingwen@hrbeu.edu.cn. 这也是大多数水下的图像都呈现出蓝绿色调的原
DOI: 10.11992/tis.202108022 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20220617.0942.002.html 水下图像增强方法研究综述 严浙平1,2，曲思瑜1,2，邢文1,2 （1. 哈尔滨工程大学 智能科学与工程学院，黑龙江 哈尔滨 150001; 2. 哈尔滨工程大学 青岛创新发展基地，山 东 青岛 266000） 摘 要：水下图像增强是水下有人/无人设备完成深海探测任务的重要支撑技术。该技术综合应用信号处理、 图像处理以及机器学习的相关理论知识以实现对水下图像的灵活增强。在简述了水下图像增强的研究背景、 意义及热点问题的基础上，按照不基于成像模型、基于成像模型与基于学习 3 个方向对水下图像增强技术的发 展进行了详细的论述，重点分析了不同方法的原理和技术特点。最后，根据水下图像增强技术的难点与目前面 临的主要问题对研究方向和发展趋势进行了归纳和展望。 关键词：水下成像；图像处理；水下图像增强；水下图像复原；成像模型；生成对抗网络；卷积神经网络；图像质 量评价 中图分类号：TP391.41; TN911.73 文献标志码：A 文章编号：1673−4785(2022)05−0860−14 中文引用格式：严浙平, 曲思瑜, 邢文. 水下图像增强方法研究综述 [J]. 智能系统学报, 2022, 17(5): 860–873. 英文引用格式：YAN Zheping, QU Siyu, XING Wen. An overview of underwater image enhancement methods[J]. CAAI transactions on intelligent systems, 2022, 17(5): 860–873. An overview of underwater image enhancement methods YAN Zheping1,2 ，QU Siyu1,2 ，XING Wen1,2 (1. Department of Intelligent Science and Engineering, Harbin Engineering University, Harbin 150001, China; 2. Qingdao Innovation and Development Center, Harbin Engineering University, Qingdao 266000, China) Abstract: The underwater image enhancement technology plays an important role in deep-sea exploration missions for underwater manned/unmanned vehicles, which adopts relevant and comprehensive theoretical knowledge of signal processing, image processing, and machine learning to realize the flexible enhancement of underwater images. In this paper, a brief description of the research background, significance, and the hotspot of underwater image enhancement is provided first. Then, the underwater image enhancement methods are expounded, considering the image-formation-model-free, image-formation-model-based, and learning-based approaches. Particularly, the design principles and technical characteristics of different methods are analyzed. Finally, considering the shortcomings of the existing methods and recent major challenges of the underwater image enhancement technology, the future research direction and development trend of this technology are summarized and prospected. Keywords: underwater imaging; image processing; underwater image enhancement; underwater image restoration; imaging model; generative adversarial network; convolutional neural network; image quality assessment 在陆地空间和资源压力日益增大的条件下， 对于水下空间的开发变得迫切起来，海底蕴藏着 丰富的矿产资源与化石能源，能掌握高效的水下 资源开发技术的国家必将在未来发展中占尽先 机。高质量且清晰的水下图像是海洋资源勘探和 海洋安全监测等一系列水下作业任务的重要保 证。但是，水下成像是不同于陆地上的成像机 制，水下环境的成像是更为复杂的。首先，光线 在水中的传播衰减与陆地的传播衰减是不同的， 它是一种不均匀的且依赖于波长特性的衰减。红 光是可见光中波长最长的，在传播时，红光最先 消失，然后是按照波长顺序的橙光、绿光及蓝光， 这也是大多数水下的图像都呈现出蓝绿色调的原 收稿日期：2021−08−17. 网络出版日期：2022−06−17. 基金项目：国家自然科学基金面上项目（52071102）. 通信作者：邢文. E-mail：xingwen@hrbeu.edu.cn. 第 17 卷第 5 期 智 能 系 统 学 报 Vol.17 No.5 2022 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2022
·861· 严浙平，等：水下图像增强方法研究综述 第5期 因。其次，水体中的溶解物也会对成像造成影 模型的方法是直接在像素级别进行操作的，它 响，水体中的粒子对于光有反射作用，当其反射 在继承传统图像增强方法的原理上进行改进。对 的光到达相机时会对所成的像产生散射效果，散 于基于非物理模型的方法可以大致分为空间域、 射使成像的细节变得模糊影响图像的质量。不同 变换域以及综合型的水下图像增强方法。 深度、位置、季节、气温对于水体的影响是十分复 1.1空间域法 杂的，加大了去除图像中粒子散射效果的难度。 水下图像与大气中的图像相比较具有高模 最后，当达到一定的水深时，太阳光无法到达提 糊、低对比度及颜色扭曲的特点，水下图像增强 供照明，必须引入辅助照明设备进行拍摄，此时， 方法必须针对该特点进行设计m。空间域的方法 图像中心区域会不可避免的出现亮斑，严重影响 大多是指导像素空间进行指定的分布以获得更好 了图像的对比度。由于光线的选择性衰减与水中 的视觉效果。如直方图均衡与其改进算法，它在 粒子散射问题，水下图像会表现出颜色扭曲、细 于指导各通道的像素按照指定的排列进行再分 节模糊、对比度低的问题。 布，直方图均衡算法在提高对比度上具有显著的 早期的水下图像处理是应用硬件设备辅助进 效果网具体方法如下。 行的，如偏振器法，该方法基于偏振器的原理 对于离散二维图像，像素值的归一化范围为 实现了去除散射效应的目的。在偏振器后提出了 [0,1],将其灰度级别定义为 用快速快门门限成像方法来去除水下图像的散射 P,)=%k=0,1…,L-1 n 或噪声)，该方法利用具有超高快门速度的成像 式中：P,表示灰度的分布；表示离散灰度；表示 设备快速地打开和关闭快门实现了对散射光线的 为r的像素个数；n为全部像素个数；则n与n的比 去除。Martin等提出了立体成像先验水下图像 值表示为频数，也就是像素分布概率。经过上述 增强方法，使用两个摄像机以不同的角度对同一 的处理后，就可以对直方图按照式(1)进行转换： 场景进行拍摄，进而建立起场景的立体结构，由 于水下图像的衰减与场景的立体结构是有关联 S,=T()= (1) 的，因此可降低场景成像的模糊程度。这些应用 直方图转换的函数可以是多种多样的以期望 硬件的方法普遍存在效率低、成本高、无法用于 达到满意的效果，该方法在图像较亮或较暗区 深水、难携带等弊端，难以满足现代海洋调查的 域的效果比较明显。在水下图像中，会有光照不 需求。 充足产生曝光不足的情况，直方图法能够有效去 随着图像处理技术的快速发展，利用光学成 除该现象。但是，直方图均衡及其改进方法对于 像进行水下探测展现出巨大的潜力和优势。由于 整体亮度较低的图像进行增强时，会改变其整体 不同水体类型的光吸收特性、折射特性、透明度 颜色布局，色彩失真较为严重，而且没有对数据 等参数具有显著差异性，设计能够在多种复杂条 的特性以及水下环境的特性关注，实际应用时鲁 件下对水下图像进行增强的算法是非常重要的。 棒性不强图。 国内外研究学者相继提出了许多新颖的算法和研 伽玛函数函数校正是指通过伽玛函数对图像 究思路，本文将对不基于物理模型、基于物理模型 的亮度进行调整，刘志成等提出了一种基于 与基于学习的3类水下增强算法进行总结，并梳 二维伽玛函数的光照不均匀图像自适应校正算 理现有的水下图像质量评价体系，最后，对水下 法，利用多尺度高斯函数对场景的光照分量进行 图像增强算法的未来发展趋势进行分析和展望。 提取，把低曝光的区域调亮，同时也将过度曝光 1基于传统图像增强法 区域调暗，实现图像的亮度平衡，设计了二维伽 玛函数： 水下图像增强技术是以成像系统获取的数码 F(x,y) Ox,y)=255 图像为基础，利用有效的图像增强算法建立水下 255 I(x.y)-m 图像自动增强模型，进而实现高效、准确的水下 m 图像增强。图像是携带信息最多的载体，图像 的处理技术伴随着图像的产生而产生，如今，出 式中：O(x,y)为校正后输出图像的亮度值；y为校 现了各种各样的图像增强方法，其中一部分可以 正增强的指数值；m为光照分量的亮度均值。水 被应用水下环境中。此外，国内外研究学者尝试 下图像的衰减原因复杂，不仅仅是因为光照不均 利用多种方法进行水下图像的增强，基于非物理 匀，还与多种因素相关，亮度的伽玛校正难以实
因。其次，水体中的溶解物也会对成像造成影 响，水体中的粒子对于光有反射作用，当其反射 的光到达相机时会对所成的像产生散射效果，散 射使成像的细节变得模糊影响图像的质量。不同 深度、位置、季节、气温对于水体的影响是十分复 杂的，加大了去除图像中粒子散射效果的难度。 最后，当达到一定的水深时，太阳光无法到达提 供照明，必须引入辅助照明设备进行拍摄，此时， 图像中心区域会不可避免的出现亮斑，严重影响 了图像的对比度。由于光线的选择性衰减与水中 粒子散射问题，水下图像会表现出颜色扭曲、细 节模糊、对比度低的问题。 早期的水下图像处理是应用硬件设备辅助进 行的，如偏振器法[1-2] ，该方法基于偏振器的原理 实现了去除散射效应的目的。在偏振器后提出了 用快速快门门限成像方法来去除水下图像的散射 或噪声[3] ，该方法利用具有超高快门速度的成像 设备快速地打开和关闭快门实现了对散射光线的 去除。Martin 等 [4] 提出了立体成像先验水下图像 增强方法，使用两个摄像机以不同的角度对同一 场景进行拍摄，进而建立起场景的立体结构，由 于水下图像的衰减与场景的立体结构是有关联 的，因此可降低场景成像的模糊程度。这些应用 硬件的方法普遍存在效率低、成本高、无法用于 深水、难携带等弊端，难以满足现代海洋调查的 需求。 随着图像处理技术的快速发展，利用光学成 像进行水下探测展现出巨大的潜力和优势。由于 不同水体类型的光吸收特性、折射特性、透明度 等参数具有显著差异性，设计能够在多种复杂条 件下对水下图像进行增强的算法是非常重要的。 国内外研究学者相继提出了许多新颖的算法和研 究思路，本文将对不基于物理模型、基于物理模型 与基于学习的 3 类水下增强算法进行总结，并梳 理现有的水下图像质量评价体系，最后，对水下 图像增强算法的未来发展趋势进行分析和展望。 1 基于传统图像增强法 水下图像增强技术是以成像系统获取的数码 图像为基础，利用有效的图像增强算法建立水下 图像自动增强模型，进而实现高效、准确的水下 图像增强[5]。图像是携带信息最多的载体，图像 的处理技术伴随着图像的产生而产生，如今，出 现了各种各样的图像增强方法，其中一部分可以 被应用水下环境中。此外，国内外研究学者尝试 利用多种方法进行水下图像的增强，基于非物理 模型的方法是直接在像素级别进行操作的[6] ，它 在继承传统图像增强方法的原理上进行改进。对 于基于非物理模型的方法可以大致分为空间域、 变换域以及综合型的水下图像增强方法。 1.1 空间域法 水下图像与大气中的图像相比较具有高模 糊、低对比度及颜色扭曲的特点，水下图像增强 方法必须针对该特点进行设计[7]。空间域的方法 大多是指导像素空间进行指定的分布以获得更好 的视觉效果。如直方图均衡与其改进算法，它在 于指导各通道的像素按照指定的排列进行再分 布，直方图均衡算法在提高对比度上具有显著的 效果[8] ，具体方法如下。 [0,1] 对于离散二维图像，像素值的归一化范围为 ，将其灰度级别定义为 Pr(rk) = nk n , k = 0,1,··· ,L−1 Pr rk nk rk n nk n 式中： 表示灰度的分布； 表示离散灰度； 表示 为 的像素个数； 为全部像素个数；则 与 的比 值表示为频数，也就是像素分布概率。经过上述 的处理后，就可以对直方图按照式 (1) 进行转换： S i = T(ri) = ∑k−1 i=0 ni n (1) 直方图转换的函数可以是多种多样的以期望 达到满意的效果[7] ，该方法在图像较亮或较暗区 域的效果比较明显。在水下图像中，会有光照不 充足产生曝光不足的情况，直方图法能够有效去 除该现象。但是，直方图均衡及其改进方法对于 整体亮度较低的图像进行增强时，会改变其整体 颜色布局，色彩失真较为严重，而且没有对数据 的特性以及水下环境的特性关注，实际应用时鲁 棒性不强[8]。 伽玛函数函数校正是指通过伽玛函数对图像 的亮度进行调整[9] ，刘志成等[10] 提出了一种基于 二维伽玛函数的光照不均匀图像自适应校正算 法，利用多尺度高斯函数对场景的光照分量进行 提取，把低曝光的区域调亮，同时也将过度曝光 区域调暗，实现图像的亮度平衡，设计了二维伽 玛函数： O(x, y) = 255( F(x, y) 255 )γ γ = ( 1 2 ) I(x,y)−m m O(x, y) γ m 式中： 为校正后输出图像的亮度值； 为校 正增强的指数值； 为光照分量的亮度均值。水 下图像的衰减原因复杂，不仅仅是因为光照不均 匀，还与多种因素相关，亮度的伽玛校正难以实 ·861· 严浙平，等：水下图像增强方法研究综述 第 5 期
第17卷 智能系统学报 ·862· 现水下图像的增强。因此，伽玛函数校正只能作 相比于直接的像素操作是更加准确且灵活，在此 为辅助方法。 基础上对3个分量独立操作后给到自适应的权值 l963年，Edwin.H.Land提出了Retinex理论， 后合成增强的图像，该方法将范数特性与水下图 他将视网膜理论引入到图像处理中，认为颜色是 像特性连接到一起，对浑浊水体的图像具有较好 物体本身的属性，光照无法对其改变，即物体的 的效果，但增强过程消耗时间较长。 颜色一直保持一致山。该理论描述进人入人眼的 1.3综合法 光为 水下图像有着细节模糊、颜色扭曲的特性， S(x,y)=R(x,y)·L(x,y (2) 单一方法难以实现水下图像增强的操作的。随着 对式(2)取对数就可以得到： 水下图像增强技术的发展，诸多多种算法融合的 r(x.y)=logR(x.y)=log) 增强算法被提出了，宋瑞霞等61将图像转换到 H$I空间增强，对饱和度分量进行分段伽马变换 将照射图假设为平滑图像可进一步得到： 进行增强，对于亮度分量采用正交多小波变换分 r(x,y)=logs(x,y)-log(F(x,y).S(x,y)) 式中F(x,y)是为中心环绕函数，可表示为 离出高低频带，在低频子带上进行Retinex调整， x2+y 高频子带上应用模糊增强，经过上述操作后转移 F(x.y)=Ae 回RGB空间得到增强的图像。与其不同的是，贾 其中λ和c分别表示尺度和环绕尺度，应当满足 芃等)在高频子带上使用多通道滤波方法同样 条件： 得到了较好的效果。田会娟等81提出将图像转 厂Fxad=1 移到YCbCr空间，对光照图像分量应用伽玛函数 由于Retinex理论是基于颜色一致性所设计， 变换，再经过Retinex和多尺度细节增强得到最终 在色彩恢复上取得了一定的成就。但是，水下 的结果，验证了空间转换及综合运用传统图像增 图像同时还面临着细节模糊的情况，按照Ret- 强方法在水下图像增强中的有效性。 inex理论进行照射图求取时需要高斯滤波，加重 应用空间滤波器对图像进行处理的方法发展 了图像的模糊程度，因此该方法一般也是用作辅 十分迅猛，郝志成等提出一种双边纹理滤波的 助方法。 方法用于图像的细节增强，使用多尺度双边纹理 1.2变换域法 滤波把图像分解，在此基础上，使用类似于小波 变换域是指将原图像空间中的像素与位置信 变换的多尺度自适应增强的方法得出一系列的增 息变换到其他更利于对图像进行处理的空间中， 强细节图像，最后求和即可得出增强图像。 如傅里叶变换、小波变换等。小波变换是图像处 非物理模型的方法实现起来较为容易，但只考 理中的常用方法，本质上是将图像分为高频子 虑图像本身的像素特性，不涉及水下的成像特性， 带和低频子带，图像应用中，高频子带代表着细 面临复杂多样的水下图像时表现不好，鲁棒性差。 节以及噪声的信息，而低频子带部分代表背景和 纹理的信息。可以对感兴趣的子带进行放大，不 2基于水下成像模型法 感兴趣的子带进行抑制)，实现图像的增强处理。 水下图像的衰减是与水下环境的多种因素都 基本小波变换的细节如下： 相关的，如果可以掌握全部有关的衰减参数，可 (t)=L2(R) 以根据衰减模型的逆过程将退化的水下图像还 其中()是平方可积函数，若其为基本小波函数， 原成清晰的高质量的图像，这是属于图像复原 则傅里叶变换必需满足： 范畴。根据Jaffe-McGlamey成像模型，水下场景 Cw=∫广rw(wjP.w-dw<o 进入相机的光线可由3个分量线性叠加：直接衰 为了减少噪声的影响，可以设置门限，将噪声 减分量、前向散射分量和后向散射分量，如图1 从中过滤掉，再经过重构即可得到增强图像。因 所示。其中，直接衰减分量是由所拍摄的场景直 为其对噪声的敏感特性，小波变换是作为水下图 接反射的进入到摄像机镜头中的光线；前向散射 像增强的辅助算法。 是场景反射的光线经过微小粒子的再次折射后进 针对于水中悬浮的小颗粒及水深导致的光线 入到摄像机镜头中的光线；后向散射是周围光线 衰减，Wang等1提出将图像按照范数分解成细 经过水中粒子的折射后进入到摄像机镜头中的部 节、结构及光照分量，在细节分量中，小颗粒可以 分20。这两项散射导致水下图像呈现出低对比度 被当作噪声干扰通过滤波算法去除。这样的分解 与模糊，而且引入了噪声。相对于后向散射而
现水下图像的增强。因此，伽玛函数校正只能作 为辅助方法。 1963 年，Edwin. H. Land 提出了 Retinex 理论， 他将视网膜理论引入到图像处理中，认为颜色是 物体本身的属性，光照无法对其改变，即物体的 颜色一直保持一致[11]。该理论描述进入人眼的 光为 S (x, y) = R(x, y)· L(x, y) (2) 对式 (2) 取对数就可以得到： r(x, y) = logR(x, y) = log S (x, y) L(x, y) 将照射图假设为平滑图像可进一步得到： r(x, y) = logS (x, y)−log(F(x, y)· S (x, y)) 式中 F(x, y) 是为中心环绕函数，可表示为 F(x, y) = λe − (x 2+y 2 ) c 2 其中 λ 和c分别表示尺度和环绕尺度，应当满足 条件： x F(x, y)dxdy = 1 由于 Retinex 理论是基于颜色一致性所设计， 在色彩恢复上取得了一定的成就[11]。但是，水下 图像同时还面临着细节模糊的情况，按照 Retinex 理论进行照射图求取时需要高斯滤波，加重 了图像的模糊程度，因此该方法一般也是用作辅 助方法。 1.2 变换域法 变换域是指将原图像空间中的像素与位置信 息变换到其他更利于对图像进行处理的空间中， 如傅里叶变换、小波变换等。小波变换是图像处 理中的常用方法[12] ，本质上是将图像分为高频子 带和低频子带，图像应用中，高频子带代表着细 节以及噪声的信息，而低频子带部分代表背景和 纹理的信息。可以对感兴趣的子带进行放大，不 感兴趣的子带进行抑制[13] ，实现图像的增强处理， 基本小波变换的细节如下： ψ(t) = L 2 (R) 其中 ψ(t) 是平方可积函数，若其为基本小波函数， 则傅里叶变换必需满足： Cψ = w +∞ −∞ |ψ(w)| 2 ·w −1 dw < ∞ 为了减少噪声的影响，可以设置门限，将噪声 从中过滤掉，再经过重构即可得到增强图像。因 为其对噪声的敏感特性，小波变换是作为水下图 像增强的辅助算法。 针对于水中悬浮的小颗粒及水深导致的光线 衰减，Wang 等 [14] 提出将图像按照范数分解成细 节、结构及光照分量，在细节分量中，小颗粒可以 被当作噪声干扰通过滤波算法去除。这样的分解 相比于直接的像素操作是更加准确且灵活，在此 基础上对 3 个分量独立操作后给到自适应的权值 后合成增强的图像，该方法将范数特性与水下图 像特性连接到一起，对浑浊水体的图像具有较好 的效果，但增强过程消耗时间较长。 1.3 综合法 水下图像有着细节模糊、颜色扭曲的特性， 单一方法难以实现水下图像增强的操作[15]。随着 水下图像增强技术的发展，诸多多种算法融合的 增强算法被提出了，宋瑞霞等[16] 将图像转换到 HSI 空间增强，对饱和度分量进行分段伽马变换 进行增强，对于亮度分量采用正交多小波变换分 离出高低频带，在低频子带上进行 Retinex 调整， 高频子带上应用模糊增强，经过上述操作后转移 回 RGB 空间得到增强的图像。与其不同的是，贾 芃等 [17] 在高频子带上使用多通道滤波方法同样 得到了较好的效果。田会娟等[18] 提出将图像转 移到 YCbCr 空间，对光照图像分量应用伽玛函数 变换，再经过 Retinex 和多尺度细节增强得到最终 的结果，验证了空间转换及综合运用传统图像增 强方法在水下图像增强中的有效性。 应用空间滤波器对图像进行处理的方法发展 十分迅猛，郝志成等[19] 提出一种双边纹理滤波的 方法用于图像的细节增强，使用多尺度双边纹理 滤波把图像分解，在此基础上，使用类似于小波 变换的多尺度自适应增强的方法得出一系列的增 强细节图像，最后求和即可得出增强图像。 非物理模型的方法实现起来较为容易，但只考 虑图像本身的像素特性，不涉及水下的成像特性， 面临复杂多样的水下图像时表现不好，鲁棒性差。 2 基于水下成像模型法 水下图像的衰减是与水下环境的多种因素都 相关的，如果可以掌握全部有关的衰减参数，可 以根据衰减模型的逆过程将退化的水下图像还 原成清晰的高质量的图像，这是属于图像复原 范畴。根据 Jaffe-McGlamey 成像模型，水下场景 进入相机的光线可由 3 个分量线性叠加：直接衰 减分量、前向散射分量和后向散射分量，如图 1 所示。其中，直接衰减分量是由所拍摄的场景直 接反射的进入到摄像机镜头中的光线；前向散射 是场景反射的光线经过微小粒子的再次折射后进 入到摄像机镜头中的光线；后向散射是周围光线 经过水中粒子的折射后进入到摄像机镜头中的部 分 [20]。这两项散射导致水下图像呈现出低对比度 与模糊，而且引入了噪声。相对于后向散射而 第 17 卷 智 能 系 统 学 报 ·862·
·863· 严浙平，等：水下图像增强方法研究综述 第5期 言，前向散射是比较容易去除的，通常情况下，在 于光线衰减导致的低对比度的特点，通过恢复与 场景距离摄像机足够近的时候，我们忽略前向散 短波长相关的颜色来恢复退化的图像，将暗通道 射带来的影响。具体可以用式(3)对其成像进行 先验假设应用到水下环境中，即在图像某个区域 描述2： 应该有红色像素值的存在，为暗通道先验方法在 E(I,m)=Ea(lm)+Er(I,m)+En(L,m) (3) 水下图像的应用开辟了道路。接下来，Drews等 其中（亿，m)为图像的像素坐标。等式前后的4项分 提出了水下暗通道先验法，是受暗通道先验启发 别代表最终形成的图像、直接衰减分量、前向散 结合水对于光的红色通道快速衰减得出的一种先 射分量、后向散射分量。 验方法，该方法比红通道先验更进一步揭示了图 像去雾技术与水下图像增强技术之间的联系，但 直接分量 该类方法都十分依赖于传输图像估计的准确程 ,前向散射分量 空气 …后向散射分量 度，清澈的水质条件下效果较好。2019年Akkaynak 水下 等21提出一种移除水下图像中有水效果的方法 Sea-thru,目的是恢复水下图像的准确颜色，在泳 池中的水下图像与清澈的海水中表现出色。其使 用结构-运动方法获得成像距离图，然后根据模 型可得出： 相机 Je=D.es (k 散射介质 为了得到陆地上拍摄的效果，设J,为在陆地 距离 上所拍摄的照片： J,=Jc/W 图1水下成像原理示意图 式中：W表示相机环境光的白点，此时，J,为全局 Fig.1 Schematic diagram of underwater imaging principle 白平衡量。分别使用式(4)和式(5)对后向散射 而且由于水下成像模型与有雾图像的成像模 和衰减系数进行估计： 型有很大的相似性，可以根据有雾图像的成像模 B=B(1-e)+Je成 (4) 型建立水下的成像模型： BP(z)=aeh+ce (5) I=D+B 假设此时后向散射已从图像中去除，借鉴 式中：c是R、G、B通道中的一个；I,是由摄像机直 局部空间平均颜色方法迭代估计局部空间平均 接拍摄的图像；D是前向包含场景信息的图像； 颜色，然后再采用快速的灰色世界假设精确估 B是后向散射。在这里，忽略掉了前向散射对于 计衰减系数的最终结果，该方法是依据衰减系数 成像的影响，并且这两个分量可以被假设为是指 对于成像距离的强依赖性，实现了水下图像去水 数型衰减的： 功能。 I(x)=J(x)f(x)+B(1-f(x)) Berman等2将水下颜色扭曲与低对比度两 进而可被改写成： 个问题解耦合为单独问题，其考虑水体类型与场 I Je(vDyz +B (1-e-(VBZ) 景立体结构对于衰减效果的影响，通过添加两个 式中参数Z是场景距离摄像机的距离，而且不同 全局参数：蓝红通道衰减比例与蓝绿通道衰减比 波长的光线在水下衰减率是不同的。 2011年He等2四在观察大量有雾与无雾图像 例来恢复水下图像色彩，进而使水下图像增强退 化为图像去雾问题，由于未知水体类型，依照所 时得出规律：在无雾图像中，阴影应该存在于图 有类型对图像进行增强，然后自动选出最优的增 像中的绝大部分局部块上，在某个通道中，至少 强结果。首先利用边缘探测工具选出没有物体存 存在某个像素的强度近似为0。 在的光线平滑区域，选取区域内所有像素的平均 Jhrk→0 Jdik(x,y)=min(min((x,y))) 值作为照射光，这对于去除散射是十分必要的。 式中：J为图像J中R、G、B3个通道中一个；(x,y) 使用线性去雾模型得出传输图像的估计，得到上 是局部区域2(x,y)中的位置。由于有雾图像与水 述信息后，应用式(6)对场景进行恢复： 下图像非常相似，暗通道先验的方法在水下图像 2=A+-A=A+号 Ic-A e-2 (6) 增强方面也有一定的成就，2015年Galdran等2 提出红通道先验方法，该方法针对于水下图像由 由于此时得到的多个衰减系数，我们应用全
言，前向散射是比较容易去除的，通常情况下，在 场景距离摄像机足够近的时候，我们忽略前向散 射带来的影响。具体可以用式 (3) 对其成像进行 描述[21] ： Et(l,m) = Ed(l,m)+ Ef(l,m)+ Eb(l,m) (3) 其中 (l,m) 为图像的像素坐标。等式前后的 4 项分 别代表最终形成的图像、直接衰减分量、前向散 射分量、后向散射分量。 空气 水下 相机 距离 散射介质 场景 后向散射分量 前向散射分量 直接分量 图 1 水下成像原理示意图 Fig. 1 Schematic diagram of underwater imaging principle 而且由于水下成像模型与有雾图像的成像模 型有很大的相似性，可以根据有雾图像的成像模 型建立水下的成像模型： Ic = Dc + Bc c Ic Dc Bc 式中： 是 R、G、B 通道中的一个； 是由摄像机直 接拍摄的图像； 是前向包含场景信息的图像； 是后向散射。在这里，忽略掉了前向散射对于 成像的影响，并且这两个分量可以被假设为是指 数型衰减的： I c (x) = J c (x)t c (x)+ B c (1−t c (x)) 进而可被改写成： Ic = Jce −β D c (VD)·Z + B ∞ c (1−e −β B c (VB)·Z ) 式中参数 Z 是场景距离摄像机的距离，而且不同 波长的光线在水下衰减率是不同的。 2011 年 He 等 [22] 在观察大量有雾与无雾图像 时得出规律：在无雾图像中，阴影应该存在于图 像中的绝大部分局部块上，在某个通道中，至少 存在某个像素的强度近似为 0。 Jdark → 0 Jdark(x, y) = min(min(J c (x, y))) J c J (x, y) Ω(x, y) 式中： 为图像 中 R、G、B 3 个通道中一个； 是局部区域 中的位置。由于有雾图像与水 下图像非常相似，暗通道先验的方法在水下图像 增强方面也有一定的成就，2015 年 Galdran 等 [23] 提出红通道先验方法，该方法针对于水下图像由 于光线衰减导致的低对比度的特点，通过恢复与 短波长相关的颜色来恢复退化的图像，将暗通道 先验假设应用到水下环境中，即在图像某个区域 应该有红色像素值的存在，为暗通道先验方法在 水下图像的应用开辟了道路。接下来，Drews 等 [24] 提出了水下暗通道先验法，是受暗通道先验启发 结合水对于光的红色通道快速衰减得出的一种先 验方法，该方法比红通道先验更进一步揭示了图 像去雾技术与水下图像增强技术之间的联系，但 该类方法都十分依赖于传输图像估计的准确程 度，清澈的水质条件下效果较好。2019 年 Akkaynak 等 [25] 提出一种移除水下图像中有水效果的方法 Sea-thru，目的是恢复水下图像的准确颜色，在泳 池中的水下图像与清澈的海水中表现出色。其使 用结构–运动方法获得成像距离图，然后根据模 型可得出： Jc = Dce β D c (z)z 为了得到陆地上拍摄的效果，设 Js为在陆地 上所拍摄的照片： Js = Jc/Wc 式中： Wc表示相机环境光的白点，此时， Js为全局 白平衡量。分别使用式 (4) 和式 (5) 对后向散射 和衰减系数进行估计： Bˆ c = B ∞ c (1−e −β Bz c )+ J ′ c e −β D ′ c z (4) β D c (z) = ae bz +ce dz (5) 假设此时后向散射已从图像中去除，借鉴 局部空间平均颜色方法迭代估计局部空间平均 颜色，然后再采用快速的灰色世界假设精确估 计衰减系数的最终结果，该方法是依据衰减系数 对于成像距离的强依赖性，实现了水下图像去水 功能。 Berman 等 [26] 将水下颜色扭曲与低对比度两 个问题解耦合为单独问题，其考虑水体类型与场 景立体结构对于衰减效果的影响，通过添加两个 全局参数：蓝红通道衰减比例与蓝绿通道衰减比 例来恢复水下图像色彩，进而使水下图像增强退 化为图像去雾问题，由于未知水体类型，依照所 有类型对图像进行增强，然后自动选出最优的增 强结果。首先利用边缘探测工具选出没有物体存 在的光线平滑区域，选取区域内所有像素的平均 值作为照射光，这对于去除散射是十分必要的。 使用线性去雾模型得出传输图像的估计，得到上 述信息后，应用式 (6) 对场景进行恢复： Jc = Ac + Ic − Ac e −βcZ = Ac + Ic − Ac t βc /βB B (6) 由于此时得到的多个衰减系数，我们应用全 ·863· 严浙平，等：水下图像增强方法研究综述 第 5 期
第17卷 智能系统学报 ·864· 部的衰减系数对图像进行复原，通过灰色世界 习，由于深度学习方法的不同网络、不同模型、不 假设得出最优的结果。Moghimi等m则将基于物 同结构会对增强任务产生巨大差异，本文将着重 理模型的图像增强与基于深度学习的超分辨增强 讨论不同算法对于水下图像的增强效果。 相结合，同样是将水下图像增强划分为两个阶段。 3.1基于衰减模型的学习 第一阶段，通过蓝、绿通道的衰减特性得到准确 本文在第2节讨论的水下成像衰减模型由于 的传输图像来达到水下图像去雾的效果，然后依 涉及参数多，需要强大的计算能力。神经网络可 据成像模型进行颜色的恢复，采用直方图拉伸增 以拟合各种函数，随着网络能力的不断提升，对 强图像的对比度；第二阶段，通过深度神经网络 于衰减模型的估计难度降低。通常情况下，需要 对图像进行超分辨率增强，在充分利用成像衰减 估计图像的r和B,可以通过式(7)确定： 模型的基础上，引人了深度学习技术对增强过程 J(x)= I(x)-B 进行补充，解决了图像模糊的进一步增强问题。 max(r() (7) 为了解决前文的水下图像增强方法引入的假 3基于深度学习法 设条件在某些情况下无效的问题，Wang等B4依 在10年之前，传统的图像处理方法在水下图 据衰减模型假设设计了UIE-Net端到端的水下图 像增强领域中一直是占据着主导地位，近年来， 像增强网络，使用卷积神经网络进行传输图像和 由于神经网络技术的蓬勃发展及其在各个领域上 3个通道衰减系数的估计，进而输出增强后的图 所展现出的非凡成就，基于学习的数据驱动的 像。框架中使用像素打乱策略来提升收敛的速度 方法在水下图像增强上开始大放异彩四。 和准确性，这表示水下衰减模型可以和神经网络 由于卷积网络拥有局部链接、权值共享、降 技术结合以获得更好的表现。根据衰减模型的特 采样的特点，被认为是第一个真正的采用多层次 性，Cao等B)提出用神经网络来估计背景光图像 结构网络的具有鲁棒性的深度学习方法B,如 和深度图像，从而能更准确恢复水下图像的彩色 图2所示，结构包括输入层、卷积层、池化层、全 与对比度。其分别使用5层卷积网络和多尺度双 连接层。卷积神经因为其权值共享的滑动卷积与 网络去估计背景光和场景深度，设计了两个任务 降采样特点能够有效地提取图像中的特征并进行 的损失函数： 理解。 LOSSBL 丁(BE-B) cErg 深度 高度 Lsaa-∑-∑ n 6(x)=logdea(x)-logda(x) 这个结构简单的双任务网络实现了背景光图 像和深度图像的准确估计，证明了使用神经网络 图2卷积神经网络示意图 技术估计水下成像模型参数的可行性。 Fig.2 Schematic diagram of convolutional neural network 3.2不基于衰减模型的学习 生成对抗神经网络中蕴含着零和博弈的思 依据现有水下科学知识水平可能会产生水下 想B川，网络的主要结构是一个生成器和一个鉴别 成像衰减模型建立不准确的情况，基于此种可 器，生成器的目的是生成具有给定域特征的图 能，一些学者提出了不考虑成像模型而直接应用 像，而鉴别器则力求将生成器生成图像的鉴别结 网络实现端到端的图像转换，使网络学习低质量 果置为假，可以表示为 域到高质量域的映射函数： minmax V(D,G)=Ep(o[log D(x)]+ G 徐岩等”应用小型的只有6层的卷积神经 E:-p(a[log(1-D(G(2)))] 网络实现了水下图像的增强，网络采用均方误差 式中G和D分别表示生成器和鉴别器。自2014 作为损失函数优化整个网络参数，网络的更新过 年被提出以来，生成对抗神经网络的发展十分迅 程为 速。2018年，机视觉领域文献的1/3都与生成对 aL 抗神经网络相关3，特别是针对图像风格迁移、 41=0.94L-刀0网 超分辨率、语义生成及图像增强领域。 Wg41=W+4+ 基于学习的增强算法按照其假设条件可以分 该小型网络成功实现了水下图像的增强，验 为：基于衰减模型的学习和不基于衰减模型的学 证了卷积神经网络在水下图像处理应用上的强大
部的衰减系数对图像进行复原，通过灰色世界 假设得出最优的结果。Moghimi 等 [27] 则将基于物 理模型的图像增强与基于深度学习的超分辨增强 相结合，同样是将水下图像增强划分为两个阶段。 第一阶段，通过蓝、绿通道的衰减特性得到准确 的传输图像来达到水下图像去雾的效果，然后依 据成像模型进行颜色的恢复，采用直方图拉伸增 强图像的对比度；第二阶段，通过深度神经网络 对图像进行超分辨率增强，在充分利用成像衰减 模型的基础上，引入了深度学习技术对增强过程 进行补充，解决了图像模糊的进一步增强问题。 3 基于深度学习法 在 10 年之前，传统的图像处理方法在水下图 像增强领域中一直是占据着主导地位，近年来， 由于神经网络技术的蓬勃发展及其在各个领域上 所展现出的非凡成就[28] ，基于学习的数据驱动的 方法在水下图像增强上开始大放异彩[29]。 由于卷积网络拥有局部链接、权值共享、降 采样的特点，被认为是第一个真正的采用多层次 结构网络的具有鲁棒性的深度学习方法[ 3 0 ] ，如 图 2 所示，结构包括输入层、卷积层、池化层、全 连接层。卷积神经因为其权值共享的滑动卷积与 降采样特点能够有效地提取图像中的特征并进行 理解。 宽度 高度 深度 图 2 卷积神经网络示意图 Fig. 2 Schematic diagram of convolutional neural network 生成对抗神经网络中蕴含着零和博弈的思 想 [31] ，网络的主要结构是一个生成器和一个鉴别 器，生成器的目的是生成具有给定域特征的图 像，而鉴别器则力求将生成器生成图像的鉴别结 果置为假，可以表示为 min G max D V(D,G) = Ex∼pdata (x)[logD(x)] + Ez∼pz(z)[log(1− D(G(z)))] 式中 G 和 D 分别表示生成器和鉴别器。自 2014 年被提出以来，生成对抗神经网络的发展十分迅 速。2018 年，机视觉领域文献的 1/3 都与生成对 抗神经网络相关[32] ，特别是针对图像风格迁移、 超分辨率、语义生成及图像增强领域[33]。 基于学习的增强算法按照其假设条件可以分 为：基于衰减模型的学习和不基于衰减模型的学 习，由于深度学习方法的不同网络、不同模型、不 同结构会对增强任务产生巨大差异，本文将着重 讨论不同算法对于水下图像的增强效果。 3.1 基于衰减模型的学习 t c B c J c 本文在第 2 节讨论的水下成像衰减模型由于 涉及参数多，需要强大的计算能力。神经网络可 以拟合各种函数，随着网络能力的不断提升，对 于衰减模型的估计难度降低。通常情况下，需要 估计图像的 和 ，可以通过式 (7) 确定 ： J c (x) = I c (x)− B c max(t c (x),t0) + B c (7) 为了解决前文的水下图像增强方法引入的假 设条件在某些情况下无效的问题，Wang 等 [34] 依 据衰减模型假设设计了 UIE-Net 端到端的水下图 像增强网络，使用卷积神经网络进行传输图像和 3 个通道衰减系数的估计，进而输出增强后的图 像。框架中使用像素打乱策略来提升收敛的速度 和准确性，这表示水下衰减模型可以和神经网络 技术结合以获得更好的表现。根据衰减模型的特 性，Cao 等 [35] 提出用神经网络来估计背景光图像 和深度图像，从而能更准确恢复水下图像的彩色 与对比度。其分别使用 5 层卷积网络和多尺度双 网络去估计背景光和场景深度，设计了两个任务 的损失函数： LossBL = ∑ c∈{r,g,b} (B c est − B c gt) 2 Lossdepth = 1 n ∑ x δ(x) 2 − 1 n 2 ∑ x δ(x) 2 δ(x) = logdest(x)−logdgt(x) 这个结构简单的双任务网络实现了背景光图 像和深度图像的准确估计，证明了使用神经网络 技术估计水下成像模型参数的可行性。 3.2 不基于衰减模型的学习 依据现有水下科学知识水平可能会产生水下 成像衰减模型建立不准确的情况，基于此种可 能，一些学者提出了不考虑成像模型而直接应用 网络实现端到端的图像转换，使网络学习低质量 域到高质量域的映射函数[3, 36]。 徐岩等[37] 应用小型的只有 6 层的卷积神经 网络实现了水下图像的增强，网络采用均方误差 作为损失函数优化整个网络参数，网络的更新过 程为 ∆k+1 = 0.9∆k −η ∂L ∂Wl k Wl k+1 = Wl k +∆k+1 该小型网络成功实现了水下图像的增强，验 证了卷积神经网络在水下图像处理应用上的强大 第 17 卷 智 能 系 统 学 报 ·864·
·865· 严浙平，等：水下图像增强方法研究综述 第5期 泛化能力。Sun等B1提出了编码-解码水下图像 网络输出的增强结果出现细节丢失和场景模糊的 增强网络，在编码器中使用卷积层过滤掉噪声信号， 情况。Zhang等考虑到交叉熵损失函数在鉴别 在解码器中用反卷积层和跳跃连接恢复上一步丢 器鉴别时可能会产生的误判情况，提出用最小二 失的细节信号，该网络仅使用一个损失函数： 乘法代替交叉嫡法从而提升鉴别器的鉴别质量： L(0)=1>F(V:0)-X minmax V(D.G)=Epco[(D(x)-1)]- n 1 而且，针对低照度图像，江泽涛等)提出了 E.l(D(G(z)》的 一种U-Nt结构的生成对抗网络。由于深度学习 同时，为了避免生成器频繁产生模糊图像，加 技术需要大量的训练数据支撑，Deng等o提出用 入了梯度预测惩罚以生成细节更加清晰的图像： 泊松融合和块结合的技术解决该问题。设计了端 Lo(xGa》=∑Ilk-x-il-lGaw-Ge-+ 到端的水下图像增强生成对抗网络UCT-GAN,在 均方误差损失函数基础上融合了亮度损失函数： -J-G(2H-G(2l" b=lpMu+小-k+p.Mb 2017年，Zhu等提出了CycleGAN,在一种 无监督的条件下学习域到域的映射，如图3所示， 该损失函数可以用于校正增强图像的亮度， 全局网络是一种双向结构的双向学习设置，在生 同时也加入了LMCL损失计算分类损失以解决 成目标域图像的同时，添加了循环一致性损失使 多种选择的问题，网络借鉴了DenseNet的网络结 得网络还能从该图像还原为原域的图像： 构，但是损失函数设置上偏重于颜色与亮度信息， Leve(G,F)=E-p[(Dy(y)-1)]+E-p([(Dy(G(x))'] 循环一致损失 循环一致损失 (a) (b) (c) 图3 CycleGAN原理示意图 Fig.3 Schematic diagram of CycleGAN CycleGAN成功实现了季节、物种、风格之间 个部分：深度估计网络和颜色恢复网络。将图像 的转换。Lu等)在此基础上进行了改进，提出多 的增强划分为两个任务会对图像的质量产生一定 尺度水下图像恢复网络MCycleGAN模型，应用 的影响，如：第2步执行的颜色恢复任务可能会对 暗通道先验方法得到传输图像，再将其输入到多 第一步调整好的深度信息产生干扰，好处是两步 尺度网络中，实现了暗通道先验与CycleGAN的 的操作可以分离训练，增加了网络结构的稳定 结合。之后Choi等提出了可用于多域转换的 性。WaterGAN独特的生成训练样本的方式与令 StarGAN模型，解决了多个域迁移中生成器繁多 人满意的增强结果对水下图像增强的后续发展产 的问题，提高了图像域迁移的可拓展性和鲁棒 生了很大的影响。同样是将图像增强分为两个任 性，类似的图像域迁移学习对于水下图像的增强 务执行，Ye等也提出联合训练估计深度图像 有相当大的启发。 和颜色校正的网络，在使用生成对抗网络生成训 成对的标签训练数据对于监督学习是必要 练数据时添加了内容损失与风格损失以获得更加 的，而作为水下图像是很难获取标签的，因此基 可靠的训练数据： 于学习的水下图像增强算法通常会选择无监督学 L(G)=∑wgG)-G'G.0.d) 习方式，Li等啊利用已有数据集中大气图像和深 LnG,)=∑lo)-c.d 度图像通过生成对抗网络严格按照衰减模型合成 与WaterGAN不同在于它使用两个生成对抗 水下图像以提供给水下图像复原网络WaterGAN 网络分别执行深度图像估计和颜色校准任务，因 学习数据，WaterGAN按照任务类型可以分为两 为颜色对于深度信息的依赖，使得该网络的增强
泛化能力。Sun 等 [38] 提出了编码–解码水下图像 增强网络，在编码器中使用卷积层过滤掉噪声信号， 在解码器中用反卷积层和跳跃连接恢复上一步丢 失的细节信号，该网络仅使用一个损失函数： L(θ) = 1 n ∑n i=1 F(Yi ; θ)− X 2 i 而且，针对低照度图像，江泽涛等[39] 提出了 一种 U-Net 结构的生成对抗网络。由于深度学习 技术需要大量的训练数据支撑，Deng 等 [40] 提出用 泊松融合和块结合的技术解决该问题。设计了端 到端的水下图像增强生成对抗网络 UCT-GAN，在 均方误差损失函数基础上融合了亮度损失函数： L1 = 1 K ∑k i=1 { D1[Mori,i +z]−1 2 + D1(Men,i) 2 } 该损失函数可以用于校正增强图像的亮度， 同时也加入了 LMCL 损失计算分类损失以解决 多种选择的问题，网络借鉴了 DenseNet 的网络结 构，但是损失函数设置上偏重于颜色与亮度信息， 网络输出的增强结果出现细节丢失和场景模糊的 情况。Zhang 等 [41] 考虑到交叉熵损失函数在鉴别 器鉴别时可能会产生的误判情况，提出用最小二 乘法代替交叉熵法从而提升鉴别器的鉴别质量： min G max D V(D,G) = 1 2 Ex∼pdata (x)[(D(x)−1)2 ] − 1 2 Ez∼pz(z)[(D(G(z)))2 ] 同时，为了避免生成器频繁产生模糊图像，加 入了梯度预测惩罚以生成细节更加清晰的图像： LGDL(x,G(z)) = ∑ i, j xi, j − xi−1, j − G(z)i, j −G(z)i−1. j α + xi, j−1 − xi, j − G(z)i, j−1 −G(z)i, j α 2017 年，Zhu 等 [42] 提出了 CycleGAN，在一种 无监督的条件下学习域到域的映射，如图 3 所示， 全局网络是一种双向结构的双向学习设置，在生 成目标域图像的同时，添加了循环一致性损失使 得网络还能从该图像还原为原域的图像： Lcyc(G,F) = Ey∼pdata (y)[(DY (y)−1)2 ]+Ex∼pdata (x)[(DY (G(x))2 ] X Y G F DX DY (a) x ˆY xˆ G F X Y 循环一致损失 y ˆX yˆ G F X Y DY DX 循环一致损失 (b) (c) 图 3 CycleGAN 原理示意图 Fig. 3 Schematic diagram of CycleGAN CycleGAN 成功实现了季节、物种、风格之间 的转换。Lu 等 [43] 在此基础上进行了改进，提出多 尺度水下图像恢复网络 MCycleGAN 模型，应用 暗通道先验方法得到传输图像，再将其输入到多 尺度网络中，实现了暗通道先验与 CycleGAN 的 结合。之后 Choi 等 [44] 提出了可用于多域转换的 StarGAN 模型，解决了多个域迁移中生成器繁多 的问题，提高了图像域迁移的可拓展性和鲁棒 性，类似的图像域迁移学习对于水下图像的增强 有相当大的启发。 成对的标签训练数据对于监督学习是必要 的，而作为水下图像是很难获取标签的，因此基 于学习的水下图像增强算法通常会选择无监督学 习方式，Li 等 [45] 利用已有数据集中大气图像和深 度图像通过生成对抗网络严格按照衰减模型合成 水下图像以提供给水下图像复原网络 WaterGAN 学习数据，WaterGAN 按照任务类型可以分为两 个部分：深度估计网络和颜色恢复网络。将图像 的增强划分为两个任务会对图像的质量产生一定 的影响，如：第 2 步执行的颜色恢复任务可能会对 第一步调整好的深度信息产生干扰，好处是两步 的操作可以分离训练，增加了网络结构的稳定 性。WaterGAN 独特的生成训练样本的方式与令 人满意的增强结果对水下图像增强的后续发展产 生了很大的影响。同样是将图像增强分为两个任 务执行，Ye 等 [46] 也提出联合训练估计深度图像 和颜色校正的网络，在使用生成对抗网络生成训 练数据时添加了内容损失与风格损失以获得更加 可靠的训练数据： Lsty（G）= ∑ w l s ∥G l (xt)−G l (Gs(ys ,ds))∥ 2 2 Lcon(Gs) = ∑ w l c ϕ l (ys)−ϕ l (Gs(ys ,ds)) 2 2 与 WaterGAN 不同在于它使用两个生成对抗 网络分别执行深度图像估计和颜色校准任务，因 为颜色对于深度信息的依赖，使得该网络的增强 ·865· 严浙平，等：水下图像增强方法研究综述 第 5 期
第17卷 智能系统学报 ·866· 效果明显提升了。 DS RD Net是深度全监督的学习网络，采用L、 不同于WaterGAN,Li依据大量的不成对的 L2联合损失保证全监督学习模式的生效。不同于 训练数据提出了一种弱监督水下图像恢复网络， CycleGAN生成训练数据，该网络使用UWGAN 融合多个损失函数： 生成合成的水下图像，因为其使用全监督模式进 LGAN(G.Dy,X,Y)=E-p[log Dy(y)]+ 行网络训练，网络的鲁棒性表现一般，在面对数据 Ep[log(1-Dy(G(x)))] 集中没有囊括的水体类型的图像时，表现较差。 Leye(G.F)=Ep[G(F(y))-yll ] Wang等s在水下图像增强的生成对抗网络 E-p([IlF(G(x))-xl] 中引入了注意力模块，提出水下图像分级生成对 kmGG》=1-N∑((SSIM(P》) 抗网络CA-GAN,在此之前，基于学习的水下图像 增强方法没有考虑到水体类型因素对于增强效果 SSIM(p)= 2μ4+C120g+C2 的影响，而CA-GAN是多对一的水下图像增强网 2++C1σ2+o+C2 络，在生成器中加入了水体编码模块，而且为了 Lloss=AiLGAN(G,Dy:X,Y)+Leye(G,F)+ 校正由编码器和解码器所产生的误差，引入了并 A3LssLM(x,G(x)) 使用CycleGAN和PatchGAN分别作为生成 行通道和空间注意特征融合块，在均方误差损失 器和鉴别器的网络结构，经过多个损失函数的整 和对抗损失存在的情况下，增添特征级损失： 合7，能够准确学习到水下图像域到清晰图像域 L=cw万IF)-FL. 的映射。之后，Li提出了接纳3个输入的Water- 式中：F代表尺寸为C个通道的W×H卷积网络输 Net水下图像恢复网络： 出特征。由于注意力模块的引入，放大了相关的 Ia=RwB⊙CwB+RHE⊙CHE+RGC⊙CcC 式中：Ie是网络的增强结果；RwB、R以及Rcc分别 特征并且抑制了无关的特征，水下图像能够得到 表示经过白平衡算法、直方图均衡算法、伽玛函 准确的恢复，王越等)将金字塔注意力机制引入 数校正算法的图像分量；Cws、C、Ccc则表示学习 到用于水下图像增强的生成网络中，在各项指标 到的置信映射。同时也建立了UIEB水下图像增 上实现了不小的进步，Li等考虑到注意力模块 强基准数据集，解决了该领域存在已久的增强效 在图像增强中的作用，提出了监督学习的多尺度 果评价没有依据的局面。程宇等使用编码-解 特征级注意力卷积神经网络UDA-Nt.根据多种 码网络结构，改变输入为直方图均衡派生图、伽 信息与协同池化机制可产生通道注意力图像定位 玛变换派生图、对数变换派生图以及亮通道增强 差异较大的区域和像素注意力指导图像像素的自 派生图实现了低照度图像的增强，得出了伽玛变 适应生成： 换与对数变换所造成的影响有相互重叠的部分， Mg=P⑧Mg 验证了Li选择输入的合理性。 式中：P是特征图M的注意力图像，损失函数是逐 Guo等9提出在生成器中添加残差多尺度密 个计算像素点的恢复损失和感知损失： 集连接模块以提升网络的性能，多尺度、密集连 Ipixe(I.1)= -E 接和残差学习分别能提升表现、保留更多细节以 CHW 及充分利用前层特征，使得增强图像的细节清 lex(-p/if: 晰。同样是残差学习架构，Liu等so提出引入超 a0,)= CjHjWj 分辨率模型的残差学习网铬URESNET,融合边缘 因为其强监督的特性，在面对与训练数据差 差异损失与均方误差损失的多尺度损失函数： EDL=ElI'⑧lap-I⑧lapl2] 距过大的水下图像时，可能会产生较差的效果。 在使用基于像素的损失函数的基础上，针对于水 111 lap: 下图像存在的低对比度、颜色单调及内容模糊问 11 题，Yang等s提出了一个监督学习与无监督学习 根据这两个损失函数，采用异步训练的方式 相结合的水下图像增强模型，首先输入水下图像 训练该残差学习网络，该网络在物体的边缘增强 进行有监督的色彩校正，得出色彩校正结果后输 上具有较出色的表现，Han等s在编码-解码网 入到无监督细节增强的子网络中得出增强的结 络中使用残差编码、残差解码、残差通道模块代 果，虽然增强结果的对比度及色彩鲜艳程度提高 替传统的基本卷积层以提取图像的浅层特征与深 了，但是在图像中呈现出了暖色调，不是十分的 层特征且使其更好的融合，该编码-解码网络 贴近真实场景。Wang等s认为把水下图像的颜
效果明显提升了。 不同于 WaterGAN，Li 依据大量的不成对的 训练数据提出了一种弱监督水下图像恢复网络， 融合多个损失函数： LGAN(G,DY ,X,Y) = Ey∼pdata (y)[logDY (y)] + Ex∼pdata(x) [log(1− DY (G(x)))] Lcyc(G,F) = Ey∼pdata (y)[∥G(F(y))−y∥1 ] + Ex∼pdata (x)[∥F(G(x))− x∥1 ] LSSIM(x,G(x)) = 1− 1 N ∑N p=1 (SSIM(p)) SSIM(p) = 2µxµy +C1 µ 2 x +µ 2 y +C1 · 2σxy +C2 σ2 x +σ2 y +C2 Lloss = λ1LGAN(G,DY ,X,Y)+λ2Lcyc(G,F) + λ3LSSIM(x,G(x)) 使用 CycleGAN 和 PatchGAN 分别作为生成 器和鉴别器的网络结构，经过多个损失函数的整 合 [47] ，能够准确学习到水下图像域到清晰图像域 的映射。之后，Li 提出了接纳３个输入的 WaterNet 水下图像恢复网络： Ien = RWB ⊙CWB +RHE ⊙CHE +RGC ⊙CGC Ien RWB RHE RGC CWB CHE CGC 式中： 是网络的增强结果； 、 以及 分别 表示经过白平衡算法、直方图均衡算法、伽玛函 数校正算法的图像分量； 、 、 则表示学习 到的置信映射。同时也建立了 UIEB 水下图像增 强基准数据集，解决了该领域存在已久的增强效 果评价没有依据的局面。程宇等[48] 使用编码–解 码网络结构，改变输入为直方图均衡派生图、伽 玛变换派生图、对数变换派生图以及亮通道增强 派生图实现了低照度图像的增强，得出了伽玛变 换与对数变换所造成的影响有相互重叠的部分， 验证了 Li 选择输入的合理性。 Guo 等 [49] 提出在生成器中添加残差多尺度密 集连接模块以提升网络的性能，多尺度、密集连 接和残差学习分别能提升表现、保留更多细节以 及充分利用前层特征，使得增强图像的细节清 晰。同样是残差学习架构，Liu 等 [50] 提出引入超 分辨率模型的残差学习网络 URESNET，融合边缘 差异损失与均方误差损失的多尺度损失函数： EDL = E[∥I c ⊗lap− I g ⊗lap∥2 ] lap = 1 1 1 1 −8 1 1 1 1 根据这两个损失函数，采用异步训练的方式 训练该残差学习网络，该网络在物体的边缘增强 上具有较出色的表现，Han 等 [51] 在编码–解码网 络中使用残差编码、残差解码、残差通道模块代 替传统的基本卷积层以提取图像的浅层特征与深 层特征且使其更好的融合，该编码–解码网络 L1 L2 DS_RD_Net 是深度全监督的学习网络，采用 、 联合损失保证全监督学习模式的生效。不同于 CycleGAN 生成训练数据，该网络使用 UWGAN 生成合成的水下图像，因为其使用全监督模式进 行网络训练，网络的鲁棒性表现一般，在面对数据 集中没有囊括的水体类型的图像时，表现较差。 Wang 等 [52] 在水下图像增强的生成对抗网络 中引入了注意力模块，提出水下图像分级生成对 抗网络 CA-GAN，在此之前，基于学习的水下图像 增强方法没有考虑到水体类型因素对于增强效果 的影响，而 CA-GAN 是多对一的水下图像增强网 络，在生成器中加入了水体编码模块，而且为了 校正由编码器和解码器所产生的误差，引入了并 行通道和空间注意特征融合块，在均方误差损失 和对抗损失存在的情况下，增添特征级损失： LF = 1 CWH ∥F(It)− F(Ien)∥ 2 2 式中： F 代表尺寸为 C 个通道的 W × H 卷积网络输 出特征。由于注意力模块的引入，放大了相关的 特征并且抑制了无关的特征，水下图像能够得到 准确的恢复，王越等[53] 将金字塔注意力机制引入 到用于水下图像增强的生成网络中，在各项指标 上实现了不小的进步，Li 等 [54] 考虑到注意力模块 在图像增强中的作用，提出了监督学习的多尺度 特征级注意力卷积神经网络 UDA-Net，根据多种 信息与协同池化机制可产生通道注意力图像定位 差异较大的区域和像素注意力指导图像像素的自 适应生成： M∗ c = ρc ⊗ Mα c 式中： ρc是特征图 M 的注意力图像，损失函数是逐 个计算像素点的恢复损失和感知损失： lpixel(I, ˆI) = I − ˆI 2 F CHW lρ, j(I, ˆI) = ρJ (i)−ρJ ( ˆI) 2 F CjHjWj 因为其强监督的特性，在面对与训练数据差 距过大的水下图像时，可能会产生较差的效果。 在使用基于像素的损失函数的基础上，针对于水 下图像存在的低对比度、颜色单调及内容模糊问 题，Yang 等 [55] 提出了一个监督学习与无监督学习 相结合的水下图像增强模型，首先输入水下图像 进行有监督的色彩校正，得出色彩校正结果后输 入到无监督细节增强的子网络中得出增强的结 果，虽然增强结果的对比度及色彩鲜艳程度提高 了，但是在图像中呈现出了暖色调，不是十分的 贴近真实场景。Wang 等 [56] 认为把水下图像的颜 第 17 卷 智 能 系 统 学 报 ·866·
·867· 严浙平，等：水下图像增强方法研究综述 第5期 色校正和去雾当作一个整体过程是错误的，当第 该损失函数舍弃了普遍的像素差异损失，鉴 二阶段任务执行时，势必会对第一阶段已经完成 别器的鉴别差异是以Wasserstein距离代表生成图 的任务造成影响。针对于水下无人机器人由于水 像与真实图像的差异。多尺度特征融合能够在进 下图像的颜色扭曲和有雾而无法识别物体的问 行颜色校正的同时，有效地对图像的细节特征进 题，其提出为了防止进行颜色特征提取后对纹理 行保持和加强。 与细节的特征造成损失，在对颜色校正时，每个 Yang等s9也做了相似的尝试，设计了一个多 色彩通道都有相应的网络通道进行单独的校正， 尺度的生成对抗网络以改善水下图像的颜色畸 避免不同通道的相互影响，采用卷积操作额外提 变、不均匀照明、低对比度的状态，其包含的多尺 取了图像的基本特征，方便于后续的融合，最后 度特征提取模块能对图像的多个尺度特征进行提 通过迭代循环网络的方式实现去雾，该方法在近 取，经过特征细化对有效特征进行加强，整体的 距离的物体上效果较好，随着距离的变远与雾变 残差图估计模块保证特征传递不被丢失，而接受 厚，增强效果下降明显。 不同尺寸特征的双鉴别器则能让增强结果无论是 对于无条件的生成模型，数据的生成是不可 在局部还是全局更加逼近真实图像，双鉴别器的 控的。然而通过给模型附件一些信息，就可以引 增加使网络整体能力得到了提升，但是为训练加 导模型生成想要的数据，这也就是条件生成对抗 大了难度。Zong等6o1同样使用全局鉴别器与局 网络。由于附加的条件信息，条件生成对抗网络 部鉴别器作为双鉴别器提升网络生成能力。而晋 相比于普通的生成对抗网络具有更好的稳定性和 玮佩提出将不同水下图像的颜色信息作为Star- 更强的表征映射能力，这两种能力尤其是在图像 GAN的条件信息)，同时生成器也加入了密集 增强及复原任务中展现的更加明显，使得网络能 级联和残差连接以改善梯度消失现象，两个鉴别 够生成更加真实的图像。为了对多种水体及多种 器分别负责颜色类别和图像真假的鉴别任务：损 颜色畸变的图像都能起到增强效果，黄鐄等5刃设 失函数方面在基本对抗损失和结构相似损失的基 计了具有二分类功能鉴别器的生成对抗网络用作 础上加入感知损失Lvcc、总变分损失函数Lv: 图像增强，通过交叉熵函数对输入图像进行分 类，由于训练数据涵盖多种畸变色彩，对于水下 p,a)- LwGa=N 图像颜色的恢复具有一定的鲁棒性。Liu等s提 出了一个针对水下图像颜色畸变的多尺度特征融 Lnv=∑【民1-元}+民n-元门] 合的条件生成对抗网络MLFcGAN,生成器是多 尺度编码器-解码器的结构，首先是提取局部特 式中：中，为第j个卷积层的激活值；N为图像经过 征，再使用全局特征增强局部特征以使网络的训 VGG196后得到的特征图数量，该损失可以约束 练更有效率，假设局部特征f的尺寸为h:×w×c, 增强图像和输入图像的高维特征相似性，使图像 全局特征尺寸则为1×l×cg,定义Fcow、Fepy、Freshape 更符合人眼视觉特性。为当前生成图像，m、n分 Fmcm分别为卷积、复制、重塑以及连接操作，则特 别为图像某点坐标位置，总变分损失是为了解决 征融合过程可由式(8)表示： 感知损失和结构相似损失引入阴影的问题；由于 fs=Fcomv(fs:W) (8) 有颜色类别鉴别器的增加，因此引入颜色损失 其中W代表生成器的学习率，接下来，将f:复制 Leolor_c与Leolor D: hXg:次： Leolor_G=Eie[-1g Deoloe(cl)] f2=Fcopy(fai,num hixw) Lcolot D=Eze[-1g Deolor(c'z)] 将f2重塑尺寸为(h,w,c让 得益于颜色损失，生成图像的颜色可以目标 f3=Freshape(f,size=(hi,wic) 图像的颜色保持一致，该网路通过多尺度和颜色 此时，可将具有相同尺寸的两种特征连接起来： 恢复的结合使增强结果更加逼近地面图像。 fou =Fconcat(fi,fg3) Zhang等6刷也进行了生成对抗网络的双鉴别器研 最后，经过跳跃连接输入到相应的解码器层 究，设置了恢复鉴别器和增强鉴别器以恢复水下 中就完成了两种特征的融合。鉴别器中，利用 图像所遭受的各种衰减。首先，人为地对其他方 WANG-GP损失与L损失作为对抗性损失进行网 法增强后的图像进行清晰与不清晰的标签，恢复 络训练： 鉴别器负责清晰部分的学习，增强鉴别器则负责 LeWANG-GP E[D(x,y)]-E[D(x,G(x))]+ 不清晰部分的学习，最终，该网络可以达到优于 入E:[Gl:D()l2-1)] 所有参考方法的效果
色校正和去雾当作一个整体过程是错误的，当第 二阶段任务执行时，势必会对第一阶段已经完成 的任务造成影响。针对于水下无人机器人由于水 下图像的颜色扭曲和有雾而无法识别物体的问 题，其提出为了防止进行颜色特征提取后对纹理 与细节的特征造成损失，在对颜色校正时，每个 色彩通道都有相应的网络通道进行单独的校正， 避免不同通道的相互影响，采用卷积操作额外提 取了图像的基本特征，方便于后续的融合，最后 通过迭代循环网络的方式实现去雾，该方法在近 距离的物体上效果较好，随着距离的变远与雾变 厚，增强效果下降明显。 fl hi ×wi ×ci 1×1×cg Fconv Fcopy Freshape Fconcat 对于无条件的生成模型，数据的生成是不可 控的。然而通过给模型附件一些信息，就可以引 导模型生成想要的数据，这也就是条件生成对抗 网络。由于附加的条件信息，条件生成对抗网络 相比于普通的生成对抗网络具有更好的稳定性和 更强的表征映射能力，这两种能力尤其是在图像 增强及复原任务中展现的更加明显，使得网络能 够生成更加真实的图像。为了对多种水体及多种 颜色畸变的图像都能起到增强效果，黄鐄等 [57] 设 计了具有二分类功能鉴别器的生成对抗网络用作 图像增强，通过交叉熵函数对输入图像进行分 类，由于训练数据涵盖多种畸变色彩，对于水下 图像颜色的恢复具有一定的鲁棒性。Liu 等 [58] 提 出了一个针对水下图像颜色畸变的多尺度特征融 合的条件生成对抗网络 MLFcGAN，生成器是多 尺度编码器–解码器的结构，首先是提取局部特 征，再使用全局特征增强局部特征以使网络的训 练更有效率，假设局部特征 的尺寸为 ， 全局特征尺寸则为 ，定义 、 、 、 分别为卷积、复制、重塑以及连接操作，则特 征融合过程可由式 (8) 表示： fg1 = Fconv(fg,W) (8) W fg1 hi ×wi 其中 代表生成器的学习率，接下来，将 复制 次： fg2 = Fcopy(fg1,num = hi ×wi) fg2 (hi ,wi 将 重塑尺寸为 , ci)： fg3 = Freshape(fg2,size = (hi ,wi , ci)) 此时，可将具有相同尺寸的两种特征连接起来： fout = Fconcat(fl , fg3) L1 最后，经过跳跃连接输入到相应的解码器层 中就完成了两种特征的融合。鉴别器中，利用 WANG-GP 损失与 损失作为对抗性损失进行网 络训练： LcWANG−GP = Ex,y[D(x, y)]− Ex[D(x,G(x))] + λExˆ[(∥xˆD( ˆx)∥2 −1)2 ] 该损失函数舍弃了普遍的像素差异损失，鉴 别器的鉴别差异是以 Wasserstein 距离代表生成图 像与真实图像的差异。多尺度特征融合能够在进 行颜色校正的同时，有效地对图像的细节特征进 行保持和加强。 LVGG LTV Yang 等 [59] 也做了相似的尝试，设计了一个多 尺度的生成对抗网络以改善水下图像的颜色畸 变、不均匀照明、低对比度的状态，其包含的多尺 度特征提取模块能对图像的多个尺度特征进行提 取，经过特征细化对有效特征进行加强，整体的 残差图估计模块保证特征传递不被丢失，而接受 不同尺寸特征的双鉴别器则能让增强结果无论是 在局部还是全局更加逼近真实图像，双鉴别器的 增加使网络整体能力得到了提升，但是为训练加 大了难度。Zong 等 [60] 同样使用全局鉴别器与局 部鉴别器作为双鉴别器提升网络生成能力。而晋 玮佩提出将不同水下图像的颜色信息作为 StarGAN[44] 的条件信息[61] ，同时生成器也加入了密集 级联和残差连接以改善梯度消失现象，两个鉴别 器分别负责颜色类别和图像真假的鉴别任务：损 失函数方面在基本对抗损失和结构相似损失的基 础上加入感知损失 、总变分损失函数 ： LVGG = 1 N ∑N j=1 ϕj(z)−ϕj( ˜x) 2 LTV = ∑ m,n [( ˜xm,n+1 − x˜m,n) 2 +( ˜xm+1,n − x˜m,n) 2 ] ϕj j N x˜ m n Lcolor_G Lcolor_D 式中： 为第 个卷积层的激活值； 为图像经过 VGG19[62] 后得到的特征图数量，该损失可以约束 增强图像和输入图像的高维特征相似性，使图像 更符合人眼视觉特性。 为当前生成图像， 、 分 别为图像某点坐标位置，总变分损失是为了解决 感知损失和结构相似损失引入阴影的问题；由于 有颜色类别鉴别器的增加，因此引入颜色损失 与 ： Lcolor_G = Ex˜,c[−lgDcolor(c|x˜)] Lcolor_D = Ez,c ′ [−lgDcolor(c ′ |z)] 得益于颜色损失，生成图像的颜色可以目标 图像的颜色保持一致,该网路通过多尺度和颜色 恢复的结合使增强结果更加逼近地面图像。 Zhang 等 [63] 也进行了生成对抗网络的双鉴别器研 究，设置了恢复鉴别器和增强鉴别器以恢复水下 图像所遭受的各种衰减。首先，人为地对其他方 法增强后的图像进行清晰与不清晰的标签，恢复 鉴别器负责清晰部分的学习，增强鉴别器则负责 不清晰部分的学习，最终，该网络可以达到优于 所有参考方法的效果。 ·867· 严浙平，等：水下图像增强方法研究综述 第 5 期
第17卷 智能系统学报 ·868· 4水下图像质量评价体系 像素行为。接着，清晰度评价指标UISM的表达 如式(10)： 截止到目前，针对于水下图像的质量评价还 有很多的空白需要补充，通用的图像质量评价体 UISM= >EME(grayscale_edge.) (10) 系没有考虑水下图像的特有性质，它们的指标对 于水下环境是不适用的，现有的水下图像质量评 EME是被用于测量边缘清晰度的量，并且通 价方法包含主观评价与客观评价。主观评价依靠 常情况下R=0.299、6=0.587、s=0.114是对于水 人眼对于图像的观察；客观评价则是针对图像的 下场景合适的参数值。最后，给出UICONM的 一些参数得出具体计算数值来衡量图像的质量。 表达： UICONM=log AMEE(Intenity) 由于水下图像专用评价标准的缺乏，通用图 像评价指标在水下图像评价上的应用也十分广 AMEE是在传统的嫡增强中引入了类熵算 泛。均方误差MSE、峰值信噪比PSNR、结构相似 法，具体表现为图像局部区域的迈克尔逊对比度。 损失SSM是十分普遍的用于测量图像增强效果 根据上列式子，则UIQM可以表示为 UIQM=G1×UICM+c2×UISM+UICONM 的指标： 1 M N 实验证明，该指标在衡量水下图像质量时有 MSE= MxN (f(i.j)-f(i.D) 效，且应用非常广泛。Yang等的以色度、饱和度 和对比度为测量分量，通过线性的方式将测量分 PSNR 101g 2552 量组合，提出一种量化水下图像的质量评价方法 MSE SSIM(p,q)= (2μ4g+C)2on+C2) UCIQE: r2++C13+σ+C2) UCIQE=c1×o.+c2×con+c3×μ 上述指标都是有参考型指标，在使用合成数 该指标表明了图像的劣化程度，例如由衰 据集测试水下图像增强算法时经常被使用，能够 减、浮动粒子和照明引起的颜色偏差，模糊和噪 明确反映算法的性能。但因为水下环境的特性， 声等造成的图像质量下降。它处理速度块、实时 真实的水下图像不可能获取到清晰的参考图像， 性好。接下来，Li等6提出了一种基于水中颜色 这给图像的评价带来了不小的困难。 的选择性衰减来测量水下图像清晰度的方法，将 受人类视觉系统启发，Panetta等s提出了一 图像转换到lβ空间进行金字塔分解，评价指标则 种非参考的水下图像质量评价度量指标UIQM, 为分解所得到的系数，再对其进行加权线性组合 它是一种融合指标，由UICM、UISM及UICONM 得到评价分数，是一种水下图像的合理质量评测。 融合而成，分别负责测量水下图像的色彩、清晰 色度、对比度、雾化度是水下图像退化的一些特 度及对比度，并且每一个指标都可单独用于对水 性，能够描述水下图像的退化程度，Wag等6以 下图像质量的测量任务。UIQM与人类的视觉系 其为指标，并通过回归模型确定其各自权重系 统有着紧密的联系，可以完整、全面、高效地对水 数。表1给出了近3年来典型的水下图像增强算 下图像进行度量。首先，UICM是由式(9)表达： 法的模型特点、损失函数及使用的评估指标。除 了主观评价与客观物理指标外，还有一些研究人 UICM=-0.026 8H2RG+2+ (9) 员将增强后的水下图像与未经增强的水下图像用 0.1586V2aRG+20RG 作目标监测算法与特征点匹配算法。由此，可得 其中，RG=R-G及YB=Y-B,是非对称的阿尔法 出增强后的水下图像在计算机视觉应用中更加具 修剪平均值，越接近0，意味着图像白平衡的效果 有优势的结论，也可以根据监测出的目标数目或 越好，σ是统计方差，它表示的是每个色彩分量的 匹配上的特征点数目得出定量指标。 表1典型水下图像增强算法质量评估 Table 1 Quality evaluation index of typical underwater image enhancement algorithm 算法 模型特点 损失函数 图像质量评估 2019年Gu04阿 多尺度残差学习密集连接生成对抗网络 对抗损失、L,损失 在鉴别器中使用光谱归一化 与梯度损失 UCIQE、UIQM 2019年Li6网 MSE、PSNR、SSIM、 多输入单输出的门控融合卷积神经网络 感知损失 UCIQE、UIQM
4 水下图像质量评价体系 截止到目前，针对于水下图像的质量评价还 有很多的空白需要补充，通用的图像质量评价体 系没有考虑水下图像的特有性质，它们的指标对 于水下环境是不适用的，现有的水下图像质量评 价方法包含主观评价与客观评价。主观评价依靠 人眼对于图像的观察；客观评价则是针对图像的 一些参数得出具体计算数值来衡量图像的质量。 MSE PSNR SSIM 由于水下图像专用评价标准的缺乏，通用图 像评价指标在水下图像评价上的应用也十分广 泛。均方误差 、峰值信噪比 、结构相似 损失 是十分普遍的用于测量图像增强效果 的指标： MSE = 1 M ×N ∑M i=1 ∑N j=1 (f ′ (i, j)− f(i, j))2 PSNR = 10lg( 2552 MSE) SSIM(p,q) = ( (2µpµq +C1)(2σp +C2) (µ 2 p +µ 2 q +C1)(σ2 p +σ2 q +C2) ) 上述指标都是有参考型指标，在使用合成数 据集测试水下图像增强算法时经常被使用，能够 明确反映算法的性能。但因为水下环境的特性， 真实的水下图像不可能获取到清晰的参考图像， 这给图像的评价带来了不小的困难。 受人类视觉系统启发，Panetta 等 [64] 提出了一 种非参考的水下图像质量评价度量指标 UIQM， 它是一种融合指标，由 UICM、UISM 及 UICONM 融合而成，分别负责测量水下图像的色彩、清晰 度及对比度，并且每一个指标都可单独用于对水 下图像质量的测量任务。UIQM 与人类的视觉系 统有着紧密的联系，可以完整、全面、高效地对水 下图像进行度量。首先，UICM 是由式 (9) 表达： UICM = −0.026 8 √ µ 2 α1RG +µ 2 α1YB + 0.158 6 √ σ2 α1RG +σ2 α1RG (9) RG = R−G YB = Y − B µ σ 2 其中， 及 ， 是非对称的阿尔法 修剪平均值，越接近 0，意味着图像白平衡的效果 越好， 是统计方差，它表示的是每个色彩分量的 像素行为。接着，清晰度评价指标 UISM 的表达 如式 (10)： UISM = ∑3 c=1 λcEME(grayscale_edgec) (10) EME λR = 0.299 λG = 0.587 λB = 0.114 是被用于测量边缘清晰度的量，并且通 常情况下 、 、 是对于水 下场景合适的参数值。最后，给出 UICONM 的 表达： UICONM = logAMEE(Intenity) AMEE 是在传统的熵增强中引入了类熵算 法，具体表现为图像局部区域的迈克尔逊对比度。 根据上列式子，则 UIQM 可以表示为 UIQM = c1 ×UICM+c2 ×UISM+UICONM 实验证明，该指标在衡量水下图像质量时有 效，且应用非常广泛。Yang 等 [65] 以色度、饱和度 和对比度为测量分量，通过线性的方式将测量分 量组合，提出一种量化水下图像的质量评价方法 UCIQE： UCIQE = c1 ×σc +c2 ×conl +c3 ×µs lαβ 该指标表明了图像的劣化程度，例如由衰 减、浮动粒子和照明引起的颜色偏差，模糊和噪 声等造成的图像质量下降。它处理速度块、实时 性好。接下来，Li 等 [66] 提出了一种基于水中颜色 的选择性衰减来测量水下图像清晰度的方法，将 图像转换到 空间进行金字塔分解，评价指标则 为分解所得到的系数，再对其进行加权线性组合 得到评价分数，是一种水下图像的合理质量评测。 色度、对比度、雾化度是水下图像退化的一些特 性，能够描述水下图像的退化程度，Wang 等 [67] 以 其为指标，并通过回归模型确定其各自权重系 数。表 1 给出了近 3 年来典型的水下图像增强算 法的模型特点、损失函数及使用的评估指标。除 了主观评价与客观物理指标外，还有一些研究人 员将增强后的水下图像与未经增强的水下图像用 作目标监测算法与特征点匹配算法。由此，可得 出增强后的水下图像在计算机视觉应用中更加具 有优势的结论，也可以根据监测出的目标数目或 匹配上的特征点数目得出定量指标。 表 1 典型水下图像增强算法质量评估 Table 1 Quality evaluation index of typical underwater image enhancement algorithm 算法 模型特点 损失函数 图像质量评估 2019年Guo[49] 多尺度残差学习密集连接生成对抗网络， 在鉴别器中使用光谱归一化 对抗损失、 L1损失 与梯度损失 UCIQE、UIQM 2019年Li[68] 多输入单输出的门控融合卷积神经网络 感知损失 MSE、PSNR、SSIM、 UCIQE、UIQM 第 17 卷 智 能 系 统 学 报 ·868·
·869· 严浙平，等：水下图像增强方法研究综述 第5期 续表1 算法 模型特点 损失函数 图像质量评估 2019年车Liu50 异步训练的超分辨率重建网络与残差学习 均方误差损失与 PSNR、SSIM、UIQM 卷积神经网络共同作用于水下图像增强。 边缘差异损失。 2019年Lu43 暗通道先验法与多尺度循环生成对抗网络。 对抗损失、循环一致损 失与结构相似性损失。 UIOM 2019年Uplavikar2y 附带水体分类器的编码解码神经网络。 对抗损失、重建 PSNR,SSIM 损失与分类损失。 2019年SumB 应用迁移学习技术带有跳跃连 PSNR、SSIM 接的编码解码神经网络。 均方误差损失。 2019年Ye 用于深度估计的条件生成对抗网络与用于 对抗损失、像素级损失与象征 PSNR、SSIM、UIOM 颜色校正的条件生成对抗网络共同作用。 级损失。 UCIQE 2020年Liu5图 全局特征与局部特征融合的深度多尺 L,损失与WANG-UP损失。 PSNR、MSE、SSIM 度特征融合条件生成对抗网络。 2020年Moghimi27 结合暗通道先验与深度学习的超分辨 率重建实现降低模糊度与细节加强。 方差损失。 PSNR、MSE,SSIM 2020年Wang 带有水体分类器、共同特征通道及空间 对抗损失、均方误差 PSNR、SSIM 注意力融合模块的条件生成对抗网络。 损失与特征损失。 2020年Yang59 带有多尺度生成器及双鉴 对抗损失、均方误差 别器的条件生成对抗网络。 PSNR、SSIM 损失与感知损失。 2020年Zhang 对抗损失、最小二乘损失 多损失融合的生成对抗网络。 SSIM、UIQM 梯度惩罚损失与GDL损失。 2020年Zong0 带有残差学习单元的生成器与 对抗损失、局部损失、域 PSNR,MSE、SSIM、FSIM 双鉴别器结构的生成对抗网络。 迁移损失与质量监督损失。 2021年Han51 使用残差密集连接模块代替卷 PSNR、MSE、RMSE、 积层的深度监督神经网络。 L与L2联合损失。 SSIM,UCIQE、UIQM 2021年L5网 融合通道注意力与像素注意 恢复损失与感知损失。 PSNR、SSIM、UIQM. 力的注意力机制神经网络。 UCIQE、PCQI、BIQI 2021年Wang阿 三通道独立颜色校正与 L损失与感知损失。 PSNR、SSIM,UIQM 迭代去雾卷积神经网络。 2021年L5约 监督学习颜色校正与无监 监督颜色损失、无监督细 PSNR、MSE、SSIM 督学习细节增强网络相结合。 节损失与边缘保持损失。 UIQM、FSM、BIQI 2021年Zhang6 带有增强鉴别器与恢复鉴 对抗损失、内容损 别器的生成对抗神经网络。 失与风格损失。 UIQM、UCIQE,Entropy 水下质量评价体系与水下图像增强算法是相 像模型，利用大量的数据样本进行增强算法的探 互促进的，准确的评价能够推动增强算法的进 索和验证，提升水下图像增强算法的智能化水 步，而好的增强算法也可以作为评价体系的指 平，在未来的工作中需要在以下几个方面进一步 标。水下增强算法需要进步，必须有质量评价体 加强： 系的支撑，因此，应当优先发展水下质量评价体 1)水下图像数据库建设。在长期的海洋观测 系，借助于评价体系的动力，稳步发展水下图像 调查中，我国积累了大量的水下图像数据。但是 增强算法。 由于研究单位分散，涉及不同海域、不同水体类 5结论 型和不同季节、不同温度及成像设备等因素，研 究成果难以对比和共享，建议对现有的水下图像 随着成像技术和计算机视觉水平的提高，我 数据进行统筹规划，建立全国的共享水下图像数 国的水下图像增强技术已经取得了不小的进步， 据库。 但是未来存在的挑战也不容小觑。在人工智能觉 2)现有的水下图像增强方法大多集中于图像 醒发展的有利时期，应该抓住发展机遇不断探 中低对比度、颜色扭曲及有雾的特点，而且适用 索，在现有理论基础上开拓创新，立足于水下成 水域的水质尚可，无大量悬浮颗粒干扰。在水下
续表 1 算法 模型特点 损失函数 图像质量评估 2019年Liu[50] 异步训练的超分辨率重建网络与残差学习 卷积神经网络共同作用于水下图像增强。 均方误差损失与 边缘差异损失。 PSNR、SSIM、UIQM 2019年Lu[43] 暗通道先验法与多尺度循环生成对抗网络。 对抗损失、循环一致损 失与结构相似性损失。 UIQM 2019年Uplavikar[29] 附带水体分类器的编码解码神经网络。 对抗损失、重建 损失与分类损失。 PSNR、SSIM 2019年Sun[38] 应用迁移学习技术带有跳跃连 接的编码解码神经网络。 均方误差损失。 PSNR、SSIM 2019年Ye[46] 用于深度估计的条件生成对抗网络与用于 颜色校正的条件生成对抗网络共同作用。 对抗损失、像素级损失与象征 级损失。 PSNR、SSIM、UIQM、 UCIQE 2020年Liu[58] 全局特征与局部特征融合的深度多尺 度特征融合条件生成对抗网络。 L1损失与WANG-UP损失。 PSNR、MSE、SSIM 2020年Moghimi[27] 结合暗通道先验与深度学习的超分辨 率重建实现降低模糊度与细节加强。 方差损失。 PSNR、MSE、SSIM 2020年Wang[52] 带有水体分类器、共同特征通道及空间 注意力融合模块的条件生成对抗网络。 对抗损失、均方误差 损失与特征损失。 PSNR、SSIM 2020年Yang[59] 带有多尺度生成器及双鉴 别器的条件生成对抗网络。 对抗损失、均方误差 损失与感知损失。 PSNR、SSIM 2020年Zhang[41] 多损失融合的生成对抗网络。 对抗损失、最小二乘损失、 梯度惩罚损失与GDL损失。 SSIM、UIQM 2020年Zong[60] 带有残差学习单元的生成器与 双鉴别器结构的生成对抗网络。 对抗损失、局部损失、域 迁移损失与质量监督损失。 PSNR、MSE、SSIM、FSIM 2021年Han[51] 使用残差密集连接模块代替卷 积层的深度监督神经网络。 L1与 L2联合损失。 PSNR、MSE、RMSE、 SSIM、UCIQE、UIQM 2021年Li[54] 融合通道注意力与像素注意 力的注意力机制神经网络。 恢复损失与感知损失。 PSNR、SSIM、UIQM、 UCIQE、PCQI、BIQI 2021年Wang[56] 三通道独立颜色校正与 迭代去雾卷积神经网络。 L1损失与感知损失。 PSNR、SSIM、UIQM 2021年Li[55] 监督学习颜色校正与无监 督学习细节增强网络相结合。 监督颜色损失、无监督细 节损失与边缘保持损失。 PSNR、MSE、SSIM、 UIQM、FSIM、BIQI 2021年Zhang[63] 带有增强鉴别器与恢复鉴 别器的生成对抗神经网络。 对抗损失、内容损 失与风格损失。 UIQM、UCIQE、Entropy 水下质量评价体系与水下图像增强算法是相 互促进的，准确的评价能够推动增强算法的进 步，而好的增强算法也可以作为评价体系的指 标。水下增强算法需要进步，必须有质量评价体 系的支撑，因此，应当优先发展水下质量评价体 系，借助于评价体系的动力，稳步发展水下图像 增强算法。 5 结论 随着成像技术和计算机视觉水平的提高，我 国的水下图像增强技术已经取得了不小的进步， 但是未来存在的挑战也不容小觑。在人工智能觉 醒发展的有利时期，应该抓住发展机遇不断探 索，在现有理论基础上开拓创新，立足于水下成 像模型，利用大量的数据样本进行增强算法的探 索和验证，提升水下图像增强算法的智能化水 平，在未来的工作中需要在以下几个方面进一步 加强： 1) 水下图像数据库建设。在长期的海洋观测 调查中，我国积累了大量的水下图像数据。但是 由于研究单位分散，涉及不同海域、不同水体类 型和不同季节、不同温度及成像设备等因素，研 究成果难以对比和共享，建议对现有的水下图像 数据进行统筹规划，建立全国的共享水下图像数 据库。 2) 现有的水下图像增强方法大多集中于图像 中低对比度、颜色扭曲及有雾的特点，而且适用 水域的水质尚可，无大量悬浮颗粒干扰。在水下 ·869· 严浙平，等：水下图像增强方法研究综述 第 5 期