第5期 刘帅师，等：深度学习方法研究新进展 ·571· 类等。其中两张图像所对应的特征欧式空间上的点 的数据集上准确率达到47.67%。 之间的距离直接对应着两个图像是否相似。 2.3自然语言处理 FaceNet并没有像DeepFace和DeepID那样需要对 Sashihithlu等eo]采用递归自编码方法(recur- 齐。FaceNet得到最终表示后不用像DeepID那样需 sive auto encoders,RAE)来解决较为复杂的情感分 要再训练模型进行分类，直接计算距离就可以，简单 析问题。Johnson等[6l]提出一种基于卷积神经网络 而有效。在Youtube数据集上测试准确率为95.12%。 直接在词袋模型(BoW)上用做文本分类任务。 目前，传统人脸识别技术主要集中在可见光谱 2015年谷歌的Good等利用深度神经网络开发了字 的范畴，对于跨模态人脸识别问题尚无好的解决方 镜头(word lens)实时视频翻译性能和通话实时翻译 法。2015年Sarfraz等[48]利用深度神经网络，成功 功能。它可以实现拿着手机摄像头对着实物，实物 将红外热图像与可见光图像进行匹配，实现了跨模 中的文字就可被即时识别出，并被翻译成目标语言， 态人脸匹配。该网络可以在短短35ms的时间内，能 目前该技术可支持20多种语言的即时视觉翻译。 够将红外热图像匹配到其可见光图像，可以实现实 更重要的是即使它在不联网的状态下也能进行工 时运行。 作，所有深度学习的庞大计算都是在手机上完成的。 2.2.3表情识别 李婷等[6]利用堆叠去噪自动编码器(stack denoising 目前，大部分研究者把卷积神经网络应用在表 auto encoder,SDAE)识别盲文。 情识别上。例如，2013年Liu等[4提出了构建一个 2.4、医疗应用 新的深层结构(AU-aware deep networks,AUDN),基 Deep Genomics公司开始把基因组和深度学习 于卷积神经网络进行特征提取，连接SVM做表情分 结合起来，Deep Genomics已经推出了他们的第一款 类器。2014年0 uellet等[so0]使用卷积神经网络对电 产品SPIDEX。只需将测试结果和细胞类型导入， 脑前的游戏玩家进行实时表情识别。Somg等[s)]利 SPIDEX便可分析出某一变异对RNA剪切的影响， 用了一种5层卷积神经网络，实现了每幅图像在服 并计算出该变异与疾病之间的关系。Koziol等[] 务器的预测时间为50ms,每个图像的往返时间小 利用一种受限玻尔兹曼机用于肝细胞癌的分类。 于100ms,在智能手机上实现实时表情识别。jia 2015年Fauw等[641利用20多层的卷积神经网络检 等[s2]用Kinect深度传感器得到的图片作为表情识 测糖尿病视网膜病变的眼底图像。 别的对象，并在卷积神经网络进行表情识别取得了 较好的效果。Byeon等s使用3D卷积神经网络去 3模型总结及面临的挑战 识别视频人脸表情。文献[54]证明在实时表情识 3.1深度学习模型 别系统，卷积神经网络比深层神经网络具有更好的 本文对深度学习模型进行分类、概括，在此以模 效果。 型的结构为序，对深度学习模型进行总结如表1~表 还有一部分研究者利用其他深度学习模型进行 3所示。 表情识别。例如，McLaughlin等[s提出一种基于深 1)模型结构。目前，大部分的深度学习模型都 度信念网络的实时表情识别系统，但只能检测4种 是以卷积神经网络、深度信念网络、深度玻尔滋曼 表情。2013年He等[]利用深度玻尔兹曼机对红 机、堆叠自动编码器等几种基本模型为基础演变而 外热图像进行表情识别。 来。除此之外，还有像递归神经网络(recurrentneu- 此外，一些研究者们将多种深度学习模型结合 ral networks,RNN)[、深度凸形网络(deep convex 起来进行表情识别。例如，2014年LYU等s)将深 net,DCN)【]等其他类型的新型深度模型。 度信念网络与自编码器相结合来进行识别。2015 2)训练方式。深度学习模型的训练方式主要 年Jung等s]将卷积神经网络与深度神经网络合起 有有监督学习和无监督学习2种。训练方式因模型 来。Kahou等s9提出一种视频表情识别系统 结构而异，一般以卷积神经网络为核心的模型一般 EmoNets。卷积神经网络捕捉视频信息，检测人脸。 采取有监督训练方式。而以受限制玻尔兹曼机与自 深度信念网络捕捉音频信息，自编码器捕捉人肢体 动编码器为核心的模型，大部分采用无监督学习方 行为。该理论赢得了2013 EmotiW挑战赛，在2014 式预训练，配合有监督微调模式进行参数训练。类等。 其中两张图像所对应的特征欧式空间上的点 之间 的 距 离 直 接 对 应 着 两 个 图 像 是 否 相 似。 ＦａｃｅＮｅｔ 并没有像 ＤｅｅｐＦａｃｅ 和 ＤｅｅｐＩＤ 那样需要对 齐。 ＦａｃｅＮｅｔ 得到最终表示后不用像 ＤｅｅｐＩＤ 那样需 要再训练模型进行分类，直接计算距离就可以，简单 而有效。 在 Ｙｏｕｔｕｂｅ 数据集上测试准确率为９５．１２％。 目前，传统人脸识别技术主要集中在可见光谱 的范畴，对于跨模态人脸识别问题尚无好的解决方 法。 ２０１５ 年 Ｓａｒｆｒａｚ 等［４８］ 利用深度神经网络，成功 将红外热图像与可见光图像进行匹配，实现了跨模 态人脸匹配。 该网络可以在短短３５ ｍｓ的时间内，能 够将红外热图像匹配到其可见光图像，可以实现实 时运行。 ２．２．３ 表情识别 目前，大部分研究者把卷积神经网络应用在表 情识别上。 例如，２０１３ 年 Ｌｉｕ 等［４９］提出了构建一个 新的深层结构（ＡＵ⁃ａｗａｒｅ ｄｅｅｐ ｎｅｔｗｏｒｋｓ，ＡＵＤＮ），基 于卷积神经网络进行特征提取，连接 ＳＶＭ 做表情分 类器。 ２０１４ 年 Ｏｕｅｌｌｅｔ 等［５０］使用卷积神经网络对电 脑前的游戏玩家进行实时表情识别。 Ｓｏｎｇ 等［５１］ 利 用了一种 ５ 层卷积神经网络，实现了每幅图像在服 务器的预测时间为 ５０ ｍｓ，每个图像的往返时间小 于 １００ ｍｓ，在智能手机上实现实时表情识别。 Ｉｊｊｉｎａ 等［５２］用 Ｋｉｎｅｃｔ 深度传感器得到的图片作为表情识 别的对象，并在卷积神经网络进行表情识别取得了 较好的效果。 Ｂｙｅｏｎ 等［５３］ 使用 ３Ｄ 卷积神经网络去 识别视频人脸表情。 文献［５４］ 证明在实时表情识 别系统，卷积神经网络比深层神经网络具有更好的 效果。 还有一部分研究者利用其他深度学习模型进行 表情识别。 例如，ＭｃＬａｕｇｈｌｉｎ 等［５５］ 提出一种基于深 度信念网络的实时表情识别系统，但只能检测 ４ 种 表情。 ２０１３ 年 Ｈｅ 等［５６］ 利用深度玻尔兹曼机对红 外热图像进行表情识别。 此外，一些研究者们将多种深度学习模型结合 起来进行表情识别。 例如，２０１４ 年 ＬＹＵ 等［５７］ 将深 度信念网络与自编码器相结合来进行识别。 ２０１５ 年 Ｊｕｎｇ 等［５８］ 将卷积神经网络与深度神经网络合起 来。 Ｋａｈｏｕ 等［５９］ 提 出 一 种 视 频 表 情 识 别 系 统 ＥｍｏＮｅｔｓ。 卷积神经网络捕捉视频信息，检测人脸。 深度信念网络捕捉音频信息，自编码器捕捉人肢体 行为。 该理论赢得了 ２０１３ ＥｍｏｔｉＷ 挑战赛，在 ２０１４ 的数据集上准确率达到 ４７．６７％。 ２．３ 自然语言处理 Ｓａｓｈｉｈｉｔｈｌｕ 等［６０］ 采用递归自编码方法（ ｒｅｃｕｒ⁃ ｓｉｖｅ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＲＡＥ） 来解决较为复杂的情感分 析问题。 Ｊｏｈｎｓｏｎ 等［６１］提出一种基于卷积神经网络 直接在词袋模型 （ ＢｏＷ） 上用做文 本 分 类 任 务。 ２０１５ 年谷歌的 Ｇｏｏｄ 等利用深度神经网络开发了字 镜头（ｗｏｒｄ ｌｅｎｓ）实时视频翻译性能和通话实时翻译 功能。 它可以实现拿着手机摄像头对着实物，实物 中的文字就可被即时识别出，并被翻译成目标语言， 目前该技术可支持 ２０ 多种语言的即时视觉翻译。 更重要的是即使它在不联网的状态下也能进行工 作，所有深度学习的庞大计算都是在手机上完成的。 李婷等［６２］利用堆叠去噪自动编码器（ｓｔａｃｋ ｄｅｎｏｉｓｉｎｇ ａｕｔｏ ｅｎｃｏｄｅｒ，ＳＤＡＥ）识别盲文。 ２．４ 医疗应用 Ｄｅｅｐ Ｇｅｎｏｍｉｃｓ 公司开始把基因组和深度学习 结合起来，Ｄｅｅｐ Ｇｅｎｏｍｉｃｓ 已经推出了他们的第一款 产品 ＳＰＩＤＥＸ。 只需将测试结果和细胞类型导入， ＳＰＩＤＥＸ 便可分析出某一变异对 ＲＮＡ 剪切的影响， 并计算出该变异与疾病之间的关系。 Ｋｏｚｉｏｌ 等［６３］ 利用一种受限玻尔兹曼机用于肝细胞癌的分类。 ２０１５ 年 Ｆａｕｗ 等［６４］利用 ２０ 多层的卷积神经网络检 测糖尿病视网膜病变的眼底图像。 ３ 模型总结及面临的挑战 ３．１ 深度学习模型 本文对深度学习模型进行分类、概括，在此以模 型的结构为序，对深度学习模型进行总结如表 １～表 ３ 所示。 １）模型结构。 目前，大部分的深度学习模型都 是以卷积神经网络、深度信念网络、深度玻尔兹曼 机、堆叠自动编码器等几种基本模型为基础演变而 来。 除此之外，还有像递归神经网络（ ｒｅｃｕｒｒｅｎｔｎｅｕ⁃ ｒａｌ ｎｅｔｗｏｒｋｓ，ＲＮＮ） ［７４］ 、深度凸形网络（ ｄｅｅｐ ｃｏｎｖｅｘ ｎｅｔ，ＤＣＮ） ［７５］等其他类型的新型深度模型。 ２）训练方式。 深度学习模型的训练方式主要 有有监督学习和无监督学习 ２ 种。 训练方式因模型 结构而异，一般以卷积神经网络为核心的模型一般 采取有监督训练方式。 而以受限制玻尔兹曼机与自 动编码器为核心的模型，大部分采用无监督学习方 式预训练，配合有监督微调模式进行参数训练。 第 ５ 期 刘帅师，等：深度学习方法研究新进展 ·５７１·