第16卷第2期 智能系统学报 Vol.16 No.2 2021年3月 CAAI Transactions on Intelligent Systems Mar.2021 D0:10.11992/tis.201906032 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20200630.1143.008.html 多感知兴趣区域特征融合的图像识别方法 闫涵，张旭秀，张净丹 (大连交通大学电气信息工程学院，辽宁大连116028) 摘要：针对自然图像识别过程中不同深度学习模型关注兴趣区域不同的现象，本文引入深度卷积神经网络融 合机制，结合深度迁移学习方法，给出了一种基于多感知兴趣区域特征融合的图像识别方法。本文将迁移学习 方法引入牛津大学视觉组网络模型(visual geometry group network,.VGGNet)和残差网络模型(residual network, ResNet),通过对单个分类模型进行热力图可视化及特征可视化，得到了不同网络模型关联的特征区域不一样 的结论。然后在此基础上分别设计特征拼接、特征融合加特征拼接及融合投票方法将不同模型特征进行融合， 得到3种新的融合模型。实验结果表明，本文方法在Kaggle数据集上的识别准确率高于VGG-16、VGG-19 ResNet-50、DenseNet-.20l模型。 关键词：深度学习：图像识别：迁移学习：特征融合：集成学习：特征提取：CAM可视化：视觉组网络模型：残差 网络模型 中图分类号：TP311文献标志码：A 文章编号：1673-4785(2021)02-0263-08 中文引用格式：闫涵，张旭秀，张净丹.多感知兴趣区域特征融合的图像识别方法小.智能系统学报，2021,16(2)：263-270. 英文引用格式：YAN Han,ZHANG Xuxiu,ZHANG Jingdan.Image recognition method based on multi-perceptual interest region feature fusion[J].CAAI transactions on intelligent systems,2021,16(2):263-270. Image recognition method based on multi-perceptual interest region feature fusion YAN Han,ZHANG Xuxiu,ZHANG Jingdan (School of Electrical Information Engineering,Dalian Jiaotong University,Dalian 116028,China) Abstract:This paper presents the deep convolution neural network fusion mechanism and proposes an image recogni- tion method based on multi-perceptual interest region feature fusion in combination with the deep-migration learning method.This is to solve the problem of different deep-learning models used on different interest regions when they re- cognize a natural image.The migration learning method is applied to the convolution neural net architectures,namely VGG and ResNet networks.Then,through the visualization of the heat map and the features of single classification model,a conclusion is drawn that the characteristic regions associated with different network models are different. Based on this,the methods of feature splicing,feature fusion and splicing,and fusion voting systems are designed to fuse different model features,obtaining three new fusion models.The experimental results show that the recognition ac- curacy of this method on Kaggle dataset is higher than that of VGG-16,VGG-19,ResNet-50,and DenseNet-201 models. Keywords:deep learning;image recognition;migration learning;feature fusion;integrated learning;feature extraction; CAM visualization:VGGNet;ResNet 图像识别是计算机视觉领域的一个分支刘 从而识别各种不同模式下的目标和对象。图像识 图像识别是指利用计算机对图像进行特征提取， 别在生活中的应用非常广泛，如人脸识别、指纹 收稿日期：2019-06-18.网络出版日期：2020-06-30. 识别、安防监控等各个领域。 基金项目：国家自然科学基金项目(61471080/F010408:国家支 撑计划(2015BAF20B02):国家留学基金委资助计划 图像识别方法可分为传统的图像识别方法与 (201608210308):辽宁省自然科学基金指导计划 基于深度学习的图像识别方法。传统的图像识别 2019-ZD-0108). 通信作者：闫涵.E-mail:1346917459@qq.com, 手段主要建立在特征提取的基础上，首先提取DOI: 10.11992/tis.201906032 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20200630.1143.008.html 多感知兴趣区域特征融合的图像识别方法 闫涵，张旭秀，张净丹 （大连交通大学 电气信息工程学院，辽宁 大连 116028） 摘 要：针对自然图像识别过程中不同深度学习模型关注兴趣区域不同的现象，本文引入深度卷积神经网络融 合机制，结合深度迁移学习方法，给出了一种基于多感知兴趣区域特征融合的图像识别方法。本文将迁移学习 方法引入牛津大学视觉组网络模型 (visual geometry group network，VGGNet) 和残差网络模型 (residual network， ResNet)，通过对单个分类模型进行热力图可视化及特征可视化，得到了不同网络模型关联的特征区域不一样 的结论。然后在此基础上分别设计特征拼接、特征融合加特征拼接及融合投票方法将不同模型特征进行融合， 得到 3 种新的融合模型。实验结果表明，本文方法在 Kaggle 数据集上的识别准确率高于 VGG-16、VGG-19、 ResNet-50、DenseNet-201 模型。 关键词：深度学习；图像识别；迁移学习；特征融合；集成学习；特征提取；CAM 可视化；视觉组网络模型；残差 网络模型 中图分类号：TP311 文献标志码：A 文章编号：1673−4785(2021)02−0263−08 中文引用格式：闫涵, 张旭秀, 张净丹. 多感知兴趣区域特征融合的图像识别方法 [J]. 智能系统学报, 2021, 16(2): 263–270. 英文引用格式：YAN Han, ZHANG Xuxiu, ZHANG Jingdan. Image recognition method based on multi-perceptual interest region feature fusion[J]. CAAI transactions on intelligent systems, 2021, 16(2): 263–270. Image recognition method based on multi-perceptual interest region feature fusion YAN Han，ZHANG Xuxiu，ZHANG Jingdan (School of Electrical Information Engineering, Dalian Jiaotong University, Dalian 116028, China) Abstract: This paper presents the deep convolution neural network fusion mechanism and proposes an image recogni￾tion method based on multi-perceptual interest region feature fusion in combination with the deep-migration learning method. This is to solve the problem of different deep-learning models used on different interest regions when they re￾cognize a natural image. The migration learning method is applied to the convolution neural net architectures, namely VGG and ResNet networks. Then, through the visualization of the heat map and the features of single classification model, a conclusion is drawn that the characteristic regions associated with different network models are different. Based on this, the methods of feature splicing, feature fusion and splicing, and fusion voting systems are designed to fuse different model features, obtaining three new fusion models. The experimental results show that the recognition ac￾curacy of this method on Kaggle dataset is higher than that of VGG-16, VGG-19, ResNet-50, and DenseNet-201 models. Keywords: deep learning; image recognition; migration learning; feature fusion; integrated learning; feature extraction; CAM visualization; VGGNet; ResNet 图像识别是计算机视觉领域的一个分支[1-2] ， 图像识别是指利用计算机对图像进行特征提取， 从而识别各种不同模式下的目标和对象。图像识 别在生活中的应用非常广泛，如人脸识别、指纹 识别、安防监控等各个领域[3]。 图像识别方法可分为传统的图像识别方法与 基于深度学习的图像识别方法。传统的图像识别 手段主要建立在特征提取的基础上[4] ，首先提取 收稿日期：2019−06−18. 网络出版日期：2020−06−30. 基金项目：国家自然科学基金项目 (61471080/F010408)；国家支 撑计划 (2015BAF20B02)；国家留学基金委资助计划 (201608210308)；辽宁省自然科学基金指导计划 (2019-ZD-0108). 通信作者：闫涵. E-mail：1346917459@qq.com. 第 16 卷第 2 期 智 能 系 统 学 报 Vol.16 No.2 2021 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2021