基于群体智能优化的MKL-SVM算法及肺结节识别

工程科学学报 Chinese Journal of Engineering 基于群体智能优化的MKL-SVM算法及肺结节识别 李阳常佳乐王宇阳 MKL-SVM algorithm for pulmonary nodule recognition based on swarm intelligence optimization LI Yang.CHANG Jia-yue,WANG Yu-yang 引用本文： 李阳，常佳乐，王宇阳.基于群体智能优化的MKL-SVM算法及肺结节识别.工程科学学报，2021,43(9%：1157-1165.doi: 10.13374j.issn2095-9389.2021.01.14.004 LI Yang,CHANG Jia-yue,WANG Yu-yang.MKL-SVM algorithm for pulmonary nodule recognition based on swarm intelligence optimization[J].Chinese Journal of Engineering.2021,43(9):1157-1165.doi:10.13374/j.issn2095-9389.2021.01.14.004 在线阅读View online::htps:/ldoi.org10.13374.issn2095-9389.2021.01.14.004 您可能感兴趣的其他文章 Articles you may be interested in 基于多目标支持向量机的ADHD分类 ADHD classification based on a multi-objective support vector machine 工程科学学报.2020,42(4：441 https:/1doi.org10.13374.issn2095-9389.2019.09.12.007 基于全局优化支持向量机的多类别高炉故障诊断 Multi-class fault diagnosis of BF based on global optimization LS-SVM 工程科学学报.2017,391)39 https:ldoi.org/10.13374.issn2095-9389.2017.01.005 基于逐层演化的群体智能算法优化 Optimization for swarm intelligence based on layer-by-layer evolution 工程科学学报.2017,393)462 https::/1doi.org/10.13374j.issn2095-9389.2017.03.020 无数学模型的非线性约束单目标系统优化方法改进 Optimization method improvement for nonlinear constrained single objective system without mathematical models 工程科学学报.2018,40(11：1402htps:oi.org10.13374.issn2095-9389.2018.11.014 基于改进的支持向量回归机算法的磁记忆定量化缺陷反演 Metal magnetic memory quantitative inversion of defects based onoptimized support vector machine regression 工程科学学报.2018,40(9外1123 https:oi.org10.13374j.issn2095-9389.2018.09.014 函数型数据分析与优化极限学习机结合的弹药传输机械臂参数辨识 Parameter identification of a shell transfer arm using FDA and optimized ELM 工程科学学报.2017,39(4：611htps:/doi.org10.13374issn2095-9389.2017.04.017

基于群体智能优化的MKL-SVM算法及肺结节识别 李阳 常佳乐 王宇阳 MKL-SVM algorithm for pulmonary nodule recognition based on swarm intelligence optimization LI Yang, CHANG Jia-yue, WANG Yu-yang 引用本文: 李阳, 常佳乐, 王宇阳. 基于群体智能优化的MKL-SVM算法及肺结节识别[J]. 工程科学学报, 2021, 43(9): 1157-1165. doi: 10.13374/j.issn2095-9389.2021.01.14.004 LI Yang, CHANG Jia-yue, WANG Yu-yang. MKL-SVM algorithm for pulmonary nodule recognition based on swarm intelligence optimization[J]. Chinese Journal of Engineering, 2021, 43(9): 1157-1165. doi: 10.13374/j.issn2095-9389.2021.01.14.004 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.14.004 您可能感兴趣的其他文章 Articles you may be interested in 基于多目标支持向量机的ADHD分类 ADHD classification based on a multi-objective support vector machine 工程科学学报. 2020, 42(4): 441 https://doi.org/10.13374/j.issn2095-9389.2019.09.12.007 基于全局优化支持向量机的多类别高炉故障诊断 Multi-class fault diagnosis of BF based on global optimization LS-SVM 工程科学学报. 2017, 39(1): 39 https://doi.org/10.13374/j.issn2095-9389.2017.01.005 基于逐层演化的群体智能算法优化 Optimization for swarm intelligence based on layer-by-layer evolution 工程科学学报. 2017, 39(3): 462 https://doi.org/10.13374/j.issn2095-9389.2017.03.020 无数学模型的非线性约束单目标系统优化方法改进 Optimization method improvement for nonlinear constrained single objective system without mathematical models 工程科学学报. 2018, 40(11): 1402 https://doi.org/10.13374/j.issn2095-9389.2018.11.014 基于改进的支持向量回归机算法的磁记忆定量化缺陷反演 Metal magnetic memory quantitative inversion of defects based onoptimized support vector machine regression 工程科学学报. 2018, 40(9): 1123 https://doi.org/10.13374/j.issn2095-9389.2018.09.014 函数型数据分析与优化极限学习机结合的弹药传输机械臂参数辨识 Parameter identification of a shell transfer arm using FDA and optimized ELM 工程科学学报. 2017, 39(4): 611 https://doi.org/10.13374/j.issn2095-9389.2017.04.017

工程科学学报.第43卷，第9期：1157-1165.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1157-1165,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.14.004;http://cje.ustb.edu.cn 基于群体智能优化的MKL-SVM算法及肺结节识别 李阳，常佳乐，王宇阳网 长春工业大学计算机科学与工程学院，长春130012 ☒通信作者，E-mail:liyangyaya1979@sina.com 摘要针对单核学习支持向量机无法兼顾学习能力与泛化能力以及多核函数参数寻优问题，提出了一种基于群体智能优 化的多核学习支持向量机算法.首先，研究了五种单核函数对支持向量机分类性能的影响，进一步提出具有全局性质的多项 式核和局部性质的拉普拉斯核凸组合形式的多核学习支持向量机算法；其次，为增加粒子多样性及快速寻优，将粒子群优化 算法引入了遗传算法中的杂交操作，并用此改进的群体智能优化算法对多核学习支持向量机进行参数寻优。最后，分别采用 深度特征与手工特征作为识别算法的输入，研究表明采用深度特征优于手工特征.故本文采用深度特征作为多核学习支持 向量机的输入，以交叉遗传与粒子群混合智能优化算法作为其寻优方式。实验选取合作医院数据集对所提算法进行训练并 初步测试，进一步为了验证所提算法的泛化能力，选取公开数据集LUN16进行测试.实验结果表明，本文算法易于跳出局 部最优解，提升了算法的学习能力与泛化能力，具有较优的分类性能 关键词核函数：支持向量机：交叉遗传：粒子群优化：深度特征 分类号TP391.4 MKL-SVM algorithm for pulmonary nodule recognition based on swarm intelligence optimization LI Yang,CHANG Jia-yue,WANG Yu-yang School of Computer Science and Engineering,Changchun University of Technology,Changchun 130012,China Corresponding author,E-mail:liyangyayal979@sina.com ABSTRACT To solve the problem that a single kernel learning support vector machine (SVM)cannot consider the learning and generalization abilities and parameter optimization of the multiple kemnel function,a multiple kernel learning support vector machine (MKL-SVM)algorithm based on swarm intelligence optimization was proposed.First,the impact of five single kemnel functions on the classification indexes of SVM was discussed.These kernel functions include two global kernel functions-the polynomial and sigmoid kernel functions-and three local kernel functions-the radial basis function,exponential kernel function,and Laplacian kernel function.Next,an MKL-SVM algorithm with a convex combination of a polynomial kernel having global properties and a Laplacian kernel having local properties was proposed.Then,to improve particle diversity to avoid falling into local optimal solutions during the iteration,and to reduce the model's training time,the crossover operation in the genetic algorithm was introduced into the particle swarm optimization(PSO)algorithm.This improved swarm intelligence optimization was used to optimize the parameters of the MKL-SVM. Finally,deep learning features based on the classical model VGG16 and handcrafted features according to doctors'suggestions were used as inputs for the recognition algorithm.In this algorithm,transfer learning was used to extract deep learning features and principal component analysis was used to reduce computational complexity through dimensionality reduction.The results show that using deep 收稿日期：2021-01-14 基金项目：国家自然科学基金资助项目(61806024吉林省教育厅十三五科研规划项目(KH20181041KJ,JJKH20200680KJ):吉林省科技 发展计划项目(20200401103GX)

基于群体智能优化的 MKL-SVM 算法及肺结节识别 李    阳，常佳乐，王宇阳苣 长春工业大学计算机科学与工程学院，长春 130012 苣通信作者，E-mail：liyangyaya1979@sina.com 摘    要    针对单核学习支持向量机无法兼顾学习能力与泛化能力以及多核函数参数寻优问题，提出了一种基于群体智能优 化的多核学习支持向量机算法. 首先，研究了五种单核函数对支持向量机分类性能的影响，进一步提出具有全局性质的多项 式核和局部性质的拉普拉斯核凸组合形式的多核学习支持向量机算法；其次，为增加粒子多样性及快速寻优，将粒子群优化 算法引入了遗传算法中的杂交操作，并用此改进的群体智能优化算法对多核学习支持向量机进行参数寻优. 最后，分别采用 深度特征与手工特征作为识别算法的输入，研究表明采用深度特征优于手工特征. 故本文采用深度特征作为多核学习支持 向量机的输入，以交叉遗传与粒子群混合智能优化算法作为其寻优方式. 实验选取合作医院数据集对所提算法进行训练并 初步测试，进一步为了验证所提算法的泛化能力，选取公开数据集 LUNA16 进行测试. 实验结果表明，本文算法易于跳出局 部最优解，提升了算法的学习能力与泛化能力，具有较优的分类性能. 关键词    核函数；支持向量机；交叉遗传；粒子群优化；深度特征 分类号    TP391.4 MKL-SVM algorithm for pulmonary nodule recognition based on swarm intelligence optimization LI Yang，CHANG Jia-yue，WANG Yu-yang苣 School of Computer Science and Engineering, Changchun University of Technology, Changchun 130012, China 苣 Corresponding author, E-mail: liyangyaya1979@sina.com ABSTRACT    To  solve  the  problem  that  a  single  kernel  learning  support  vector  machine  (SVM)  cannot  consider  the  learning  and generalization abilities and parameter optimization of the multiple kernel function, a multiple kernel learning support vector machine (MKL-SVM) algorithm based on swarm intelligence optimization was proposed. First, the impact of five single kernel functions on the classification indexes of SVM was discussed. These kernel functions include two global kernel functions — the polynomial and sigmoid kernel  functions   —  and  three  local  kernel  functions —the  radial  basis  function,  exponential  kernel  function,  and  Laplacian  kernel function. Next, an MKL-SVM algorithm with a convex combination of a polynomial kernel having global properties and a Laplacian kernel having local properties was proposed. Then, to improve particle diversity to avoid falling into local optimal solutions during the iteration, and to reduce the model’s training time, the crossover operation in the genetic algorithm was introduced into the particle swarm optimization (PSO) algorithm. This improved swarm intelligence optimization was used to optimize the parameters of the MKL-SVM. Finally, deep learning features based on the classical model VGG16 and handcrafted features according to doctors ’ suggestions were used as inputs for the recognition algorithm. In this algorithm, transfer learning was used to extract deep learning features and principal component analysis was used to reduce computational complexity through dimensionality reduction. The results show that using deep 收稿日期: 2021−01−14 基金项目: 国家自然科学基金资助项目 ( 61806024); 吉林省教育厅十三五科研规划项目 (JJKH20181041KJ, JJKH20200680KJ); 吉林省科技 发展计划项目 (20200401103GX) 工程科学学报，第 43 卷，第 9 期：1157−1165，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1157−1165, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.14.004; http://cje.ustb.edu.cn

·1158 工程科学学报，第43卷，第9期 learning features is better than handcrafted features.Therefore,this paper adopts the deep learning features as input for the MKL-SVM algorithm and the hybrid swarm intelligent optimization algorithm of crossover genetic and the PSO algorithm as the optimization method.To verify the generalization ability of the proposed algorithm,the public dataset LUNA16 was selected for testing.The experimental results show that the proposed algorithm is easy to jump out of the local optimal solution,improves the learning ability and generalization ability of the algorithm,and has a better classification performance. KEY WORDS kernel function;support vector machine;crossover genetic;particle swarm optimization:deep learning features 肺癌被认为是一种侵入性疾病，对人类生命健 本文分别采用根据医生建议设计的手工特征 康具有重大威胁，是癌症死亡的主要原因-)计算 和深度网络提取的深度特征作为所提识别算法的 机断层扫描成像(Computed tomography,CT)技术是 输入，以确定最终的特征输入方式.为了提高肺结 检测早期肺癌的重要手段.在CT图像上，早期肺癌 节识别算法的准确度，首先研究了五种单核函数 表现为直径小于30mm的圆形或类圆形致密影，即 对SVM分类性能的影响，进一步为兼顾学习能力 肺结节，因此，肺结节的早期识别可以有效地提高 与泛化能力的提升且避免算法陷入局部最优的情 肺癌患者的生存率，避免错过最佳治疗机会) 况，提出了一种基于群体智能优化的MKL-SVM 机器学习算法被广泛应用于医学图像处理 算法，多核函数加权了具有全局性质的多项式核 中，主要分为传统的机器学习算法及深度学习算 和局部性质的拉普拉斯核，从而达到模型快速寻 法.传统机器学习算法中，包括支持向量机(Support 优、准确识别的目的 vector machine,SVM)算法、随机森林(Random forest, 1MKL-SVM算法 RF)算法等，其中SVM应用最为广泛46核函数 是SVM的必要理论工具，能将原始数据映射到高 L.1SVM算法 维特征空间，实现非线性变换，构造适合给定问题 SVM算法是一种以统计理论为基础的传统机 的核函数可以提升分类器的性能.Shankar等)为 器学习方法，可以最小化结构误差和最大化几何边 解决甲状腺疾病的健康诊断问题，采用线性核和 缘，常用于分类任务和回归分析.SVM以结构风险 高斯核组合形式的多核学习支持向量机(Multiple 最小化为准则，在经验风险最小化的同时，兼顾了期 kernel learning support vector machine,MKL-SVM) 望风险最小化6在二分类情况中，SVM模型的原 法对甲状腺数据进行分类，多核函数较单一使用线 问题可以通过拉格朗日乘子法转化为对偶问题： 性核函数或高斯核函数的结果更优，准确度达到 97.49%.Peng等提出一种线性核、多项式核和高 mia∑∑ (xi,xi)- 斯核混合的MKL-SVM算法识别抑郁症，与单核 (1) s.t. SVM、朴素贝叶斯、决策树等方法相比错误率更 y1=0 低，可降低到16.54%.核函数的改进在一定程度上 0≤≤C,i=1,2.…,l 可以提高SVM的分类性能，但SVM模型参数选 构造决策函数为 择的影响也不容忽视.群体智能优化思想因其效 f(x)=sgn(g(x)); 率高、适应性强等特点被广泛应用于经典机器学 g()= ∑yKx,x)+b (2) 习算法模型的参数寻优.常用的群体智能优化算 法包括粒子群优化算法(Particle swarm optimization,. 偏置b的求解如式(3)所示： PSO)、遗传算法(Genetic algorithm,GA)、人工鱼群 算法(Artificial fish swarm algorithm,AFSA)等) b=y-∑yaK,x) (3) 近年来，深度学习被广泛应用于医学领域☒ i=l 传统的机器学习方法有着深厚的理论基础，但对 式中，和x为第i和j个样本输入的特征变量， 于大规模数据集仍存在挑战.深度学习算法具有 y和y为第i和j个样本对应的标签，a,和a,为拉 更高效的处理能力，但缺乏可解释性，且对于计算 格朗日乘子，K(,x)为核函数，C为正则化系数， 设备的要求较高，因此，对传统机器学习算法的研 描述了对错分样本的惩罚程度.很多情况下，训练 究仍然存有意义，将深度学习算法与传统机器学 数据集是线性不可分的，通过核函数映射至高维 习算法相结合也备受关注 特征空间，转换为高维空间中的线性问题，在这个

learning features is better than handcrafted features. Therefore, this paper adopts the deep learning features as input for the MKL-SVM algorithm  and  the  hybrid  swarm  intelligent  optimization  algorithm  of  crossover  genetic  and  the  PSO  algorithm  as  the  optimization method.  To  verify  the  generalization  ability  of  the  proposed  algorithm,  the  public  dataset  LUNA16  was  selected  for  testing.  The experimental results show that the proposed algorithm is easy to jump out of the local optimal solution, improves the learning ability and generalization ability of the algorithm, and has a better classification performance. KEY WORDS    kernel function；support vector machine；crossover genetic；particle swarm optimization；deep learning features 肺癌被认为是一种侵入性疾病，对人类生命健 康具有重大威胁，是癌症死亡的主要原因[1–2] . 计算 机断层扫描成像 (Computed tomography, CT) 技术是 检测早期肺癌的重要手段. 在 CT 图像上，早期肺癌 表现为直径小于 30 mm 的圆形或类圆形致密影，即 肺结节. 因此，肺结节的早期识别可以有效地提高 肺癌患者的生存率，避免错过最佳治疗机会[3] . 机器学习算法被广泛应用于医学图像处理 中，主要分为传统的机器学习算法及深度学习算 法. 传统机器学习算法中，包括支持向量机 (Support vector machine, SVM) 算法、随机森林 (Random forest, RF) 算法等，其中 SVM 应用最为广泛[4–6] . 核函数 是 SVM 的必要理论工具，能将原始数据映射到高 维特征空间，实现非线性变换，构造适合给定问题 的核函数可以提升分类器的性能. Shankar 等[7] 为 解决甲状腺疾病的健康诊断问题，采用线性核和 高斯核组合形式的多核学习支持向量机 (Multiple kernel learning support vector machine, MKL-SVM) 算 法对甲状腺数据进行分类，多核函数较单一使用线 性核函数或高斯核函数的结果更优，准确度达到 97.49%. Peng 等[8] 提出一种线性核、多项式核和高 斯核混合的 MKL-SVM 算法识别抑郁症，与单核 SVM、朴素贝叶斯、决策树等方法相比错误率更 低，可降低到 16.54%. 核函数的改进在一定程度上 可以提高 SVM 的分类性能，但 SVM 模型参数选 择的影响也不容忽视. 群体智能优化思想因其效 率高、适应性强等特点被广泛应用于经典机器学 习算法模型的参数寻优. 常用的群体智能优化算 法包括粒子群优化算法 (Particle swarm optimization, PSO)、遗传算法 (Genetic algorithm, GA)、人工鱼群 算法 (Artificial fish swarm algorithm, AFSA) 等[9–11] . 近年来，深度学习被广泛应用于医学领域[12] . 传统的机器学习方法有着深厚的理论基础，但对 于大规模数据集仍存在挑战. 深度学习算法具有 更高效的处理能力，但缺乏可解释性，且对于计算 设备的要求较高. 因此，对传统机器学习算法的研 究仍然存有意义，将深度学习算法与传统机器学 习算法相结合也备受关注[13–15] . 本文分别采用根据医生建议设计的手工特征 和深度网络提取的深度特征作为所提识别算法的 输入，以确定最终的特征输入方式. 为了提高肺结 节识别算法的准确度，首先研究了五种单核函数 对 SVM 分类性能的影响，进一步为兼顾学习能力 与泛化能力的提升且避免算法陷入局部最优的情 况，提出了一种基于群体智能优化的 MKL-SVM 算法，多核函数加权了具有全局性质的多项式核 和局部性质的拉普拉斯核，从而达到模型快速寻 优、准确识别的目的. 1    MKL-SVM 算法 1.1    SVM 算法 SVM 算法是一种以统计理论为基础的传统机 器学习方法，可以最小化结构误差和最大化几何边 缘，常用于分类任务和回归分析. SVM 以结构风险 最小化为准则，在经验风险最小化的同时，兼顾了期 望风险最小化[16] . 在二分类情况中，SVM 模型的原 问题可以通过拉格朗日乘子法转化为对偶问题： min α 1 2 ∑ l i=1 ∑ l j=1 yiyjαiαjK(xi , xj)− ∑ l j=1 αj ; s.t. ∑ l i=1 yiαi = 0; 0 ⩽ αi ⩽ C,i = 1,2,··· ,l. （1） 构造决策函数为 f (x) = sgn(g(x)); g(x) = ∑ l i=1 αiyiK(xi , xj)+b （2） 偏置 b 的求解如式（3）所示： b = yj − ∑ l i=1 yiαiK(xi , xj) （3） K(xi , xj) 式中，xi 和 xj 为第 i 和 j 个样本输入的特征变量， yi 和 yj 为第 i 和 j 个样本对应的标签，αi 和 αj 为拉 格朗日乘子， 为核函数，C 为正则化系数， 描述了对错分样本的惩罚程度. 很多情况下，训练 数据集是线性不可分的，通过核函数映射至高维 特征空间，转换为高维空间中的线性问题，在这个 · 1158 · 工程科学学报，第 43 卷，第 9 期

李阳等：基于群体智能优化的MKL-SVM算法及肺结节识别 1159 高维空间中寻找最优分类面 超过此范围，数据的作用就会减弱.RBF核是一种 1.2核函数 经典的径向基核，也称为高斯核(Gaussian kernel), 核函数直接决定了特征空间的结构，核函数 取值仅依赖于特定点距离. 的选择是SVM的关键.核函数有诸多形式，但必 (4)指数核(Exponential kernel). 须满足Mercer定理.核函数分为线性核和非线性 Kexponent (x,)=exp -l 2g2 (8) 核，线性核一般应用于线性可分的情况，其特征空 间到输入空间的维度是一致的，如式(4)所示： 指数核也是一种径向基核，将向量之间的 K(x,x）=(x,x) (4) L2距离调整为L1距离，降低了对参数的依赖性， 实际问题大多是非线性的，故非线性核更为 但是适用范围较小 常用，包括多项式核函数、感知机核函数和径向基核 (5)拉普拉斯核(Laplacian kernel) 函数等，本文讨论的几种单核函数的具体表示如下： KLaplacian (x)=expg (-x (9) (1)多项式核(Polynomial kernel). Kpoly(x.x)=((x,x)+1)d (5) 拉普拉斯核也是一种径向基核，与指数核相类似 图1给出不同核函数全局性与局部性分析的 式中，d为多项式阶数，取大于1的正整数，随着参数 d的增大，泛化能力增强，但是当特征空间维数很高 仿真曲线.局部性核函数仅对样本中心点附近的 点有较大影响，影响会随距离的增大而减弱，具有 时，d值会很大，使得计算量激增，甚至对某些情况无 较好的拟合效果与较强的学习能力：全局性核函 法得到正确结果.故实际应用中d一般取值2~3. 数对与样本中心点距离较远的点也产生影响，有 (2)感知机核(Sigmoid kernel). 较好的泛化能力.如图1所示，图中横轴X表示 Ksigmoid(x,x)=tanh(a(x,x)+r) (6) x-x,纵轴Y表示K(x,x),当x→X时，K(,x)→1 式中，a为斜率，r为截距常数.Sigmoid核来源于 即x与x越接近，核函数的作用越明显.通过仿真 神经网络，常用作深度学习中的激活函数，使用 结果分析，多项式核是一种经典的全局性核函数， Sigmoid核的SVM相当于一个两层的感知机网络. 允许对多项式级的特征连接进行建模.Sigmoid核 (3)径向基核函数(Radial basis function,RBF). 也是一种全局性核函数.RBF核、指数核与拉普 Krbr(x,x')=exp Ix-xI2 (7) 拉斯核均为径向基核函数，是典型的局部性核函 2g2 数.与全局性核函数相比，局部性核函数学习能力 式中，g为RBF核的宽度，决定了函数作用范围， 较强，而泛化能力较弱. 2.5 0.4 (a) (b) 2.0 0.2 1.5 0 --0.2 1.0 -0.4 0.5 a03 -3 -0.6 a=0.5 0X0 0.5 0 0.5 10 -0.8 .0 -0.5 0 0.5 1.0 1.0 1.0 =0.2 1.0 (c) (d) =0.2 (e) =02 0.8 =05 0.8 0.8 0.6 0.6 0.6 0.4 0.4 0.4 02 0.2 0.2 0 -0.5 0.5 1.0 -1.0 -0.5 0 0.5 1.0 -1.0 0.5 0 0.5 1.0 图1不同核函数的全局性与局部性分析.(a)多项式核：(b)感知机核；(c)高斯核：(d)指数核：(e)拉普拉斯核 Fig.1 Global and local analyses of various kemel functions:(a)polynomial kernel;(b)sigmoid kemel;(c)Gaussian kernel;(d)exponential kernel; (e)Laplacian kemel

高维空间中寻找最优分类面. 1.2    核函数 核函数直接决定了特征空间的结构，核函数 的选择是 SVM 的关键. 核函数有诸多形式，但必 须满足 Mercer 定理. 核函数分为线性核和非线性 核，线性核一般应用于线性可分的情况，其特征空 间到输入空间的维度是一致的，如式（4）所示： K(x, x ′ ) = (x, x ′ ) （4） 实际问题大多是非线性的，故非线性核更为 常用，包括多项式核函数、感知机核函数和径向基核 函数等，本文讨论的几种单核函数的具体表示如下： （1）多项式核 (Polynomial kernel). Kpoly ( x, x ′ ) = ((x, x ′ ) + 1 )d （5） 式中，d 为多项式阶数，取大于 1 的正整数，随着参数 d 的增大，泛化能力增强，但是当特征空间维数很高 时，d 值会很大，使得计算量激增，甚至对某些情况无 法得到正确结果. 故实际应用中 d 一般取值 2～3. （2）感知机核 (Sigmoid kernel). Ksigmoid ( x, x ′ ) = tanh( a ( x, x ′ ) +r ) （6） 式中，a 为斜率，r 为截距常数. Sigmoid 核来源于 神经网络，常用作深度学习中的激活函数，使用 Sigmoid 核的 SVM 相当于一个两层的感知机网络. （3）径向基核函数 (Radial basis function, RBF). Krbf ( x, x ′ ) = exp( − ||x− x ′ ||2 2g 2 ) （7） 式中，g 为 RBF 核的宽度，决定了函数作用范围， 超过此范围，数据的作用就会减弱. RBF 核是一种 经典的径向基核，也称为高斯核 (Gaussian kernel)， 取值仅依赖于特定点距离. （4）指数核 (Exponential kernel). Kexponent( x, x ′ ) = exp( − ||x− x ′ || 2g 2 ) （8） 指数核也是一种径向基核 ，将向量之间 的 L2 距离调整为 L1 距离，降低了对参数的依赖性， 但是适用范围较小. （5）拉普拉斯核 (Laplacian kernel). KLaplacian ( x, x ′ ) = exp( − ||x− x ′ || g ) （9） 拉普拉斯核也是一种径向基核，与指数核相类似. x− x ′ K(x, x ′ ) x → x ′ K(x, x ′ ) → 1 x ′ 图 1 给出不同核函数全局性与局部性分析的 仿真曲线. 局部性核函数仅对样本中心点附近的 点有较大影响，影响会随距离的增大而减弱，具有 较好的拟合效果与较强的学习能力；全局性核函 数对与样本中心点距离较远的点也产生影响，有 较好的泛化能力. 如图 1 所示，图中横轴 X 表示 ，纵轴 Y 表示 ，当 时 ， ， 即 x 与 越接近，核函数的作用越明显. 通过仿真 结果分析，多项式核是一种经典的全局性核函数， 允许对多项式级的特征连接进行建模. Sigmoid 核 也是一种全局性核函数. RBF 核、指数核与拉普 拉斯核均为径向基核函数，是典型的局部性核函 数. 与全局性核函数相比，局部性核函数学习能力 较强，而泛化能力较弱. 2.5 2.0 1.5 1.0 0.5 0 d=1 d=2 d=3 a=0.2 a=0.3 a=0.5 g=0.2 g=0.3 g=0.5 g=0.2 g=0.3 g=0.5 g=0.2 g=0.3 g=0.5 −1.0 −0.5 0 0.5 1.0 X −1.0 −0.5 0 0.5 1.0 X −1.0 −0.5 0 0.5 1.0 X Y Y Y 0.4 0.2 0 −0.2 −0.4 −0.6 −0.8 1.0 0.8 0.6 0.4 0.2 0 −1.0 −0.5 0 0.5 1.0 X Y 1.0 0.8 0.6 0.4 0.2 0 −1.0 −0.5 0 0.5 1.0 X Y 1.0 0.8 0.6 0.4 0.2 0 (a) (b) (c) (d) (e) 图 1    不同核函数的全局性与局部性分析. （a）多项式核；（b）感知机核；（c）高斯核；（d）指数核；（e）拉普拉斯核 Fig.1     Global  and  local  analyses  of  various  kernel  functions:  (a)  polynomial  kernel;  (b)  sigmoid  kernel;  (c)  Gaussian  kernel;  (d)  exponential  kernel; (e) Laplacian kernel 李    阳等： 基于群体智能优化的 MKL-SVM 算法及肺结节识别 · 1159 ·

.1160 工程科学学报，第43卷，第9期 1.3MKL-SVM算法 究了PSO和GA的混合算法，利用GA算法中的遗 MKL-SVM通过选择合适的核函数或不同单 传变异算子来避免粒子出现早熟收敛现象，实验 核函数的加权组合形式，能够充分利用单个核函 结果表明混合算法在最优解、均值、计算时间等 数的特性.经证明核函数的加权凸组合形式满足 指标上均表现优异.Koessler等pu为提高算法的 Mercer定理，仍为核函数，可用于SVM模型，如 鲁棒性，提出了模式搜索和PSO混合的优化算法， 式(10)所示： 先运行PSO寻求最佳位置后，再利用模式搜索方 法以进一步最小化适应度函数，实验结果表明混 Kmultiple(x,x= ∑mKa(kx 合算法在提高精度和鲁棒性方面取得了成功， =1 (10) 之m=l0<m%<1,a=1,…,W 本文借鉴GA算法中的杂交操作，以增加PSO 算法中粒子的多样性，即在PSO算法每次迭代过 程中根据杂交概率选取一定数量的粒子放入杂交 式中，m是每种基本内核在多核函数中所占的权 重，多核函数共采用N种基本内核函数，其权重之 池，用两两杂交产生相同数目的子代粒子替换亲 和取为1 代粒子.子代粒子的位置和速度计算公式如式 (11)所示： 2基于群体智能优化的MKL-SVM识别 Cx=BP1(x)+(1-B)·P2(x) 算法 P1(v)+P2(v (11) Cy= P1(v川 IP1(v)+P2(v)川 2.1群体智能优化算法 式中，C代表子代粒子的位置，C代表子代粒子的 群体智能优化是一种启发式算法，主要模拟 速度，P和P2代表亲代粒子，x代表粒子位置， 自然界中各种生物的生活行为，如昆虫、鱼群、鸟 v代表粒子速度，B为0到1之间的随机数，代表杂 群等，它们通过一种合作的方式觅食，群体中的各 交概率.提出的基于交叉遗传与粒子群混合的群 个生物通过累积经验不断更新搜索方向刀群体 体智能优化(GAPSO)算法的过程如图2所示 智能优化算法灵活、高效、适应性强且易于实现， 广泛应用于各种问题 GA算法由Holland于1975年提出，是一种借 Start Find individual extremum and group extremum 鉴生物界自然选择与进化机制而发展的全局优化 算法.GA算法随机产生初始解，通过一定的选 Initialize the particle Generate offspring particles velocity and position according to the probability of 择、交叉、变异操作，逐步迭代产生解.GA算法的 crossover to replace parent The calculation of fitness particles 适应性广泛，不依赖于问题的具体领域，隐含并行 value 搜索特性，减少了陷入局部最优解的情况.PSO算 The calculation of fitness value Update the particle 法最早由Kennedy和Eberhart于I955年提出，从 velocity and position 鸟群觅食行为特征中得到启发，并应用于求解优 Update individlual extremum and group extremum 化问题中，算法中每个粒子代表问题的一个潜在 Yes Within the scope 解，且对应于一个适应度值，粒子的速度决定其移 No of limits? 动方向和距离，速度随粒子的变换经验进行调整， The maximum number of iterations? 从而达到寻优的目的.与网格搜索算法相比， No Replace with the PSO算法无需遍历所有组合参数，能节约模型的 maximum or minimum Yes value 训练时间：PSO算法与GA算法相比，无需进行选 End 择、交叉、变异的操作，通过粒子在解空间追踪最 优的粒子进行搜索.虽然PSO算法能够更快地得 图2 GAPSO的算法流程图 Fig.2 Flowchart of the GAPSO algorithm 到最优解，但其缺点是随着迭代次数的增加，种群 多样性减少，易引起粒子早熟现象，从而易陷入局 2.2群体智能优化的MKL-SVM算法 部最优，为提高PSO算法的整体性能，可以从参 本文进一步提出了一种改进的MKL-SVM算 数设置、收敛性及与其他算法结合等方面进行改 法，基本内核采用具有较强泛化能力的多项式核 进Choudhary等I2oI为声表面波工艺参数优化研 函数和具有较强学习能力的拉普拉斯核函数进行

1.3    MKL-SVM 算法 MKL-SVM 通过选择合适的核函数或不同单 核函数的加权组合形式，能够充分利用单个核函 数的特性. 经证明核函数的加权凸组合形式满足 Mercer 定理，仍为核函数，可用于 SVM 模型[4] ，如 式（10）所示： Kmultiple (x, x ′ ) = ∑ N α=1 mαKα ( x, x ′ ) ; ∑ N α=1 mα = 1, 0 < mα < 1, α = 1,··· ,N （10） 式中，mα是每种基本内核在多核函数中所占的权 重，多核函数共采用 N 种基本内核函数，其权重之 和取为 1. 2    基于群体智能优化的 MKL-SVM 识别 算法 2.1    群体智能优化算法 群体智能优化是一种启发式算法，主要模拟 自然界中各种生物的生活行为，如昆虫、鱼群、鸟 群等，它们通过一种合作的方式觅食，群体中的各 个生物通过累积经验不断更新搜索方向[17] . 群体 智能优化算法灵活、高效、适应性强且易于实现， 广泛应用于各种问题. GA 算法由 Holland 于 1975 年提出，是一种借 鉴生物界自然选择与进化机制而发展的全局优化 算法. GA 算法随机产生初始解，通过一定的选 择、交叉、变异操作，逐步迭代产生解. GA 算法的 适应性广泛，不依赖于问题的具体领域，隐含并行 搜索特性，减少了陷入局部最优解的情况. PSO 算 法最早由 Kennedy 和 Eberhart 于 1955 年提出，从 鸟群觅食行为特征中得到启发，并应用于求解优 化问题中. 算法中每个粒子代表问题的一个潜在 解，且对应于一个适应度值，粒子的速度决定其移 动方向和距离，速度随粒子的变换经验进行调整， 从而达到寻优的目的. 与网格搜索算法相比 ， PSO 算法无需遍历所有组合参数，能节约模型的 训练时间；PSO 算法与 GA 算法相比，无需进行选 择、交叉、变异的操作，通过粒子在解空间追踪最 优的粒子进行搜索. 虽然 PSO 算法能够更快地得 到最优解，但其缺点是随着迭代次数的增加，种群 多样性减少，易引起粒子早熟现象，从而易陷入局 部最优[18] . 为提高 PSO 算法的整体性能，可以从参 数设置、收敛性及与其他算法结合等方面进行改 进[19] . Choudhary 等[20] 为声表面波工艺参数优化研 究了 PSO 和 GA 的混合算法，利用 GA 算法中的遗 传变异算子来避免粒子出现早熟收敛现象，实验 结果表明混合算法在最优解、均值、计算时间等 指标上均表现优异. Koessler 等[21] 为提高算法的 鲁棒性，提出了模式搜索和 PSO 混合的优化算法， 先运行 PSO 寻求最佳位置后，再利用模式搜索方 法以进一步最小化适应度函数，实验结果表明混 合算法在提高精度和鲁棒性方面取得了成功. 本文借鉴 GA 算法中的杂交操作，以增加 PSO 算法中粒子的多样性，即在 PSO 算法每次迭代过 程中根据杂交概率选取一定数量的粒子放入杂交 池，用两两杂交产生相同数目的子代粒子替换亲 代粒子. 子代粒子的位置和速度计算公式如式 （11）所示： Cx = β · P1(x)+(1−β)· P2(x) Cv = P1(v)+ P2(v) |P1(v)+ P2(v)| · |P1(v)| （11） Cx Cv β 式中， 代表子代粒子的位置， 代表子代粒子的 速度 ， P1 和 P2 代表亲代粒子 ， x 代表粒子位置 ， v 代表粒子速度， 为 0 到 1 之间的随机数，代表杂 交概率. 提出的基于交叉遗传与粒子群混合的群 体智能优化 (GAPSO) 算法的过程如图 2 所示. Start Initialize the particle velocity and position The calculation of fitness value Update the particle velocity and position Yes Within the scope of limits? No Replace with the maximum or minimum value Find individual extremum and group extremum Generate offspring particles according to the probability of crossover to replace parent particles The calculation of fitness value Update individlual extremum and group extremum No The maximum number of iterations? Yes End 图 2    GAPSO 的算法流程图 Fig.2    Flowchart of the GAPSO algorithm 2.2    群体智能优化的 MKL-SVM 算法 本文进一步提出了一种改进的 MKL-SVM 算 法，基本内核采用具有较强泛化能力的多项式核 函数和具有较强学习能力的拉普拉斯核函数进行 · 1160 · 工程科学学报，第 43 卷，第 9 期

李阳等：基于群体智能优化的MKL-SVM算法及肺结节识别 1161 线性凸组合，可以更好地兼顾样本的全局特征与 TN SPE= (15 局部特征，提高学习能力与泛化能力.多核函数的 TN+FP 具体构成如式(12)所示： TP PRE=TP+FP (16) K(xx)=AKpoly (x)+(1-A)KLaplacian (x,x)(12) 式中，能够自由调节不同的内核在多核函数中的 F1-score 2·SEN·PRE (17) SEN+PRE 权重，范围取(0,1) TP.TN-FP.FN 基于上述群体智能优化思想，本文最终使用 MCC= V(TP+FP)(TP+FN)(TN+FP)(TN+FN) 提出的GAPSO算法作为MKL-SVM的惩罚参数 (18) C、权重d、核函数参数d和g的寻优方法.将5折 式中，PRE表示模型对负样本的区分能力，F1-score 交叉验证下的ACC作为GAPSO优化算法的适应 表示PRE和SEN的调和平均评估指标，MCC表示 度函数值，最终达到准确分类的目的，ACC定义如 预测分类与实际分类结果之间的相关系数 式(13)所示： 31手工特征实验 TP+TN ACC= (13) 手工特征为根据医生建议设计的特征，与文 TP+TN+FP+FN 献[4]相同，将7个形态学特征、2个灰度特征以 式中，TP为识别出的真阳性结节，TN为识别出的 及4个纹理特征共计13维手工特征作为提出识别 真阴性，即非结节，FP为假阳性结节，FN为假阴性 算法的输入.其中选取的7个形态学特征为：面 结节 积、直径、周长、矩形度、扁度、圆形度和细长度 3实验数据及结果分析 灰度特征采用灰度均值和灰度方差.纹理特征采 用灰度共生矩阵的能量、对比度、嫡和逆差矩.为 实验数据采用吉林省某大型三甲专科医院的 保证实验的有效性，每组实验重复进行10次，实 20组病例共约700幅图像，一部分用于模型训练， 验结果取统计均值.测试阶段的受试者操作特征 一部分用于模型测试.识别的前期准备，包括图像 曲线(Receiver operating curve,.ROC)与查准率-查 预处理、肺结节感兴趣区域(Region of interests,. 全率曲线(Precision-recall curve,PR)如图3所 RO)获取和ROI特征提取等，具体步骤与文献[4] 示.表1列出了在合作医院测试数据集上，前述五 相同，共提取出270个肺结节候选ROI(80个结节， 种单核函数SVM算法在所提GAPSO寻优方式下 190个非结节)，每个ROI分别提取13维手工特征 的结果和本文MKL-SVM算法不同寻优方式下的 和降至49维的深度特征作为所提识别算法的输 入数据.这些数据经过随机打散后分为170个训 识别结果.其中，ACC mean为平均准确度，ACC_max 练样本与100个测试样本，并进行归一化处理.进 代表最大ACC,ACC max相应的SEN和SPE分别 一步，为了验证模型的泛化能力，采用公开数据集 用MASEN和MASPE表示，AUC代表ROC曲线 LUNA16作为测试集2四实验平台采用MATLAB, 下的面积，AP代表PR曲线下的面积.ROC曲线 利用1 ibsvm工具箱进行仿真实验 代表真阳率与假阳率的比例，左上顶点越接近于 在实验参数选取中，设置种群粒子数为20，最 (O,I)点，代表分类器性能越佳.PR曲线代表 大迭代次数为200，粒子维度为3，分别代表权值 PRE与SEN的关系，更易受到样本分布的影响，右 A、正则化系数C和多核函数中拉普拉斯核的参 上顶点越接近于(1，)点，针对不均衡样本的分类 数g,其中取值范围为0,1，速度为[-0.6,0.6]； 器性能越佳.由表1可知，仅采用GAPSO算法对 参数C取值范围为[29,21，速度为[-2”×0.6,2× 单核SVM寻优时，全局性质的多项式核函数的 0.6:参数g取值范围为[27,2]，速度为[-2×0.6， ACC和SEN均高于Sigmoid核，性能较优.局部性 2×0.6:杂交概率设置为0.6，多项式核函数的阶数 质的拉普拉斯核函数的ACC_mean为90.60%，高 选取2及3.实验采用ACC、SEN、SPE三个评价 于其他四种核函数，其ACC_max为91.00%，MASEN 指标，分别代表总体识别正确率、结节的检出率和 为92.59%，MASPE为90.41%，性能均较优.故本 非结节识别正确率，进一步采用PRE、F1-score、MCC 文算法采用多项式核函数和拉普拉斯核函数凸 综合指标，表达式分别如下所示： 组合的多核函数.如图3所示，本文算法的ROC TP SEN(Recall)=TP+FN 曲线左上顶点更趋近于(O,1)点，PR曲线右上顶点 (14) 更趋近于(L,1)点，AUC与AP值均更接近于1，具

线性凸组合，可以更好地兼顾样本的全局特征与 局部特征，提高学习能力与泛化能力. 多核函数的 具体构成如式（12）所示： K ( x, x ′ ) = λKpoly ( x, x ′ ) +(1−λ)KLaplacian ( x, x ′ ) （12） 式中， λ 能够自由调节不同的内核在多核函数中的 权重，范围取 (0,1). λ 基于上述群体智能优化思想，本文最终使用 提出的 GAPSO 算法作为 MKL-SVM 的惩罚参数 C、权重 、核函数参数 d 和 g 的寻优方法. 将 5 折 交叉验证下的 ACC 作为 GAPSO 优化算法的适应 度函数值，最终达到准确分类的目的，ACC 定义如 式（13）所示: ACC = TP+TN TP+TN+FP+FN （13） 式中，TP 为识别出的真阳性结节，TN 为识别出的 真阴性，即非结节，FP 为假阳性结节，FN 为假阴性 结节. 3    实验数据及结果分析 实验数据采用吉林省某大型三甲专科医院的 20 组病例共约 700 幅图像，一部分用于模型训练， 一部分用于模型测试. 识别的前期准备，包括图像 预处理 、肺结节感兴趣区 域 (Region  of  interests, ROI) 获取和 ROI 特征提取等，具体步骤与文献 [4] 相同，共提取出 270 个肺结节候选 ROI（80 个结节， 190 个非结节），每个 ROI 分别提取 13 维手工特征 和降至 49 维的深度特征作为所提识别算法的输 入数据. 这些数据经过随机打散后分为 170 个训 练样本与 100 个测试样本，并进行归一化处理. 进 一步，为了验证模型的泛化能力，采用公开数据集 LUNA16 作为测试集[22] . 实验平台采用 MATLAB， 利用 libsvm 工具箱进行仿真实验. λ λ 在实验参数选取中，设置种群粒子数为 20，最 大迭代次数为 200，粒子维度为 3，分别代表权值 、正则化系数 C 和多核函数中拉普拉斯核的参 数 g，其中 取值范围为 [0, 1]，速度为 [–0.6,0.6]； 参数 C 取值范围为 [2–9,29 ]，速度为 [ –29×0.6, 29× 0.6]；参数 g 取值范围为 [2–7,27 ]，速度为 [–27×0.6, 2 7×0.6]；杂交概率设置为 0.6，多项式核函数的阶数 选取 2 及 3. 实验采用 ACC、SEN、SPE 三个评价 指标，分别代表总体识别正确率、结节的检出率和 非结节识别正确率，进一步采用 PRE、F1 -score、MCC 综合指标，表达式分别如下所示： SEN(Recall) = TP TP+FN （14） SPE = TN TN+FP （15） PRE = TP TP+FP （16） F1 −score = 2 ·SEN·PRE SEN+PRE （17） MCC = TP·TN−FP·FN √ (TP+FP)(TP+FN)(TN+FP)(TN+FN) （18） 式中，PRE 表示模型对负样本的区分能力，F1 -score 表示 PRE 和 SEN 的调和平均评估指标，MCC 表示 预测分类与实际分类结果之间的相关系数. 3.1    手工特征实验 手工特征为根据医生建议设计的特征，与文 献 [4] 相同，将 7 个形态学特征、2 个灰度特征以 及 4 个纹理特征共计 13 维手工特征作为提出识别 算法的输入. 其中选取的 7 个形态学特征为：面 积、直径、周长、矩形度、扁度、圆形度和细长度. 灰度特征采用灰度均值和灰度方差. 纹理特征采 用灰度共生矩阵的能量、对比度、熵和逆差矩. 为 保证实验的有效性，每组实验重复进行 10 次，实 验结果取统计均值. 测试阶段的受试者操作特征 曲线 (Receiver operating curve, ROC) 与查准率–查 全率曲 线 (Precision –recall curve, PR) 如 图 3 所 示. 表 1 列出了在合作医院测试数据集上，前述五 种单核函数 SVM 算法在所提 GAPSO 寻优方式下 的结果和本文 MKL-SVM 算法不同寻优方式下的 识别结果. 其中，ACC_mean 为平均准确度，ACC_max 代表最大 ACC，ACC_max 相应的 SEN 和 SPE 分别 用 MASEN 和 MASPE 表示， AUC 代表 ROC 曲线 下的面积，AP 代表 PR 曲线下的面积. ROC 曲线 代表真阳率与假阳率的比例，左上顶点越接近于 (0,1) 点 ， 代 表 分 类 器 性 能 越 佳 . PR 曲 线 代 表 PRE 与 SEN 的关系，更易受到样本分布的影响，右 上顶点越接近于 (1,1) 点，针对不均衡样本的分类 器性能越佳. 由表 1 可知，仅采用 GAPSO 算法对 单核 SVM 寻优时，全局性质的多项式核函数的 ACC 和 SEN 均高于 Sigmoid 核，性能较优. 局部性 质的拉普拉斯核函数的 ACC_mean 为 90.60%，高 于其他四种核函数，其 ACC_max 为 91.00%，MASEN 为 92.59%，MASPE 为 90.41%，性能均较优. 故本 文算法采用多项式核函数和拉普拉斯核函数凸 组合的多核函数. 如图 3 所示，本文算法的 ROC 曲线左上顶点更趋近于 (0,1) 点，PR 曲线右上顶点 更趋近于 (1,1) 点，AUC 与 AP 值均更接近于 1，具 李    阳等： 基于群体智能优化的 MKL-SVM 算法及肺结节识别 · 1161 ·

.1162 工程科学学报，第43卷，第9期 有较优分类性能.综合比较，本文算法的ACC 独使用多项式核函数和拉普拉斯核函数的实验结 mean、F1-score、MCC及AP均为其中最大值，比单 果更优 1.0 10 (a) (b) 0.9 0.8 0.8 0.6 0.7 夏o4 0.6 RBF+GAPSO 0.5 RBF+GAPSO Sigmoid+GAPSO Sigmoid+GAPSO Polynomial+GAPSO 0.4 Polynomial+GAPSO 0.2 +GAPSO MKL-SVM+GAPSO (Proposed work) 0.3 GAPSO MKL-SVM+GAPSO (Proposed work) 0 0.2 0.2 0.4 0.6 0.8 1.0 0.2 04 0.6 0.8 1.0 False positive rate/% Recall of positive/ 1.0 (c) 1.0 (d) 0.9 0.8 Op 0.6 01 06 0.4 0.5 MKL-SVM+PSO 0.4 0.2 MKL-SVM+PSO GA MKL-SVM+GAPSO (Proposed work) 0.3 十A MKL-SVM+GAPSO(Proposed work) 0 0. 0.2 0.40.6 0.8 1.0 0 0.2 0.40.6 0.8 1.0 False positive rate/% Recall of positive/% 图3不同算法的ROC曲线图及PR曲线图.(a)不同核函数SVM算法的ROC曲线：(b)不同核函数SVM算法的PR曲线：(c)不同寻优方式 MKL-SVM算法的ROC曲线：(d)不同寻优方式MKL-SVM算法的PR曲线 Fig.3 ROC and PR curves of various algorithms:(a)ROC curves of SVM algorithms with various kernel functions;(b)PR curves of SVM algorithms with various kernel functions;(c)ROC curves of the MKL-SVM algorithm with various optimization algorithms;(d)PR curves of the MKL-SVM algorithm with various optimization algorithms 表1不同核函数的实验结果 Table 1 Experimental results of various kernel functions Algorithm ACC_mean/% ACC max/% MASEN/% MASPE/% F score/% MCC/% AUC AP Polynomial kernel+GAPSO 90.00 90.00 85.19 91.78 82.14 75.30 0.95840.8506 Sigmoid kernel +GAPSO 89.00 89.00 77.78 93.15 8126 74.35 0.94820.7990 RBF kernel GAPSO 90.50 91.00 88.89 91.78 82.85 76.39 0.94980.8022 Exponential kernel GAPSO 90.40 91.00 92.59 90.41 83.71 77.60 0.96040.8470 Laplacian kernel GAPSO 90.60 91.00 92.59 90.41 84.18 78.23 0.9655 0.8464 MKL-SVM+PSO 90.80 92.00 88.89 93.15 83.68 77.44 0.96090.8726 MKL-SVM+GA 89.50 90.00 92.59 89.04 82.50 75.93 0.96190.8830 MKL-SVM+GAPSO 91.10 92.00 88.89 93.15 84.30 78.29 0.96500.8984 采用GA、PSO和GAPSO对MKL-SVM算法进 4.11%.综合比较，GAPSO算法的总体识别准确度更 行参数寻优，采用所提GAPSO算法的ACC mean 高，但敏感度略低，这可能由于适应度函数选为ACC 为91.10%，高于GA算法和PS0算法：GAPSO算法 导致的.图4为训练阶段本文算法的适应度曲线. 和PS0算法的ACC max均为92.00%，高于GA算法 由图4可见，本文算法学习能力较优，能够使 2%,MASEN低于GA算法3.7%，MASPE高于GA算法 得粒子跳出局部最优，更易寻求全局最优解，10次

有较优分类性能. 综合比较，本文算法的 ACC_ mean、F1 -score、MCC 及 AP 均为其中最大值，比单 独使用多项式核函数和拉普拉斯核函数的实验结 果更优. True positive rate/ % True positive rate/ % Precision of positive/ % Precision of positive/ % 1.0 1.0 0.8 0.8 0.6 0.6 0.4 0.4 False positive rate/% 0.2 0.2 0 0 0.4 0.6 0.8 1.0 Recall of positive/% 0 0.2 0.4 0.6 0.8 1.0 False positive rate/% 0 0.2 0.4 0.6 0.8 1.0 Recall of positive/% 0 0.2 1.0 0.8 0.6 0.4 0.2 0 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 RBF+GAPSO Sigmoid+GAPSO Polynomial+GAPSO Exponential Kernel+GAPSO Laplacian+GAPSO MKL-SVM+GAPSO (Proposed work) RBF+GAPSO Sigmoid+GAPSO Polynomial+GAPSO Exponential Kernel+GAPSO Laplacian+GAPSO MKL-SVM+GAPSO (Proposed work) MKL-SVM+PSO MKL-SVM+GA MKL-SVM+GAPSO (Proposed work) MKL-SVM+PSO MKL-SVM+GA MKL-SVM+GAPSO (Proposed work) (a) (b) (c) (d) 图 3    不同算法的 ROC 曲线图及 PR 曲线图. （a）不同核函数 SVM 算法的 ROC 曲线；（b）不同核函数 SVM 算法的 PR 曲线；（c）不同寻优方式 MKL-SVM 算法的 ROC 曲线；（d）不同寻优方式 MKL-SVM 算法的 PR 曲线 Fig.3    ROC and PR curves of various algorithms: (a) ROC curves of SVM algorithms with various kernel functions; (b) PR curves of SVM algorithms with  various  kernel  functions;  (c)  ROC  curves  of  the  MKL-SVM  algorithm  with  various  optimization  algorithms;  (d)  PR  curves  of  the  MKL-SVM algorithm with various optimization algorithms 表 1 不同核函数的实验结果 Table 1   Experimental results of various kernel functions Algorithm ACC_mean/% ACC_max/% MASEN/% MASPE/% F1_score/% MCC/% AUC AP Polynomial kernel + GAPSO 90.00 90.00 85.19 91.78 82.14 75.30 0.9584 0.8506 Sigmoid kernel + GAPSO 89.00 89.00 77.78 93.15 81.26 74.35 0.9482 0.7990 RBF kernel + GAPSO 90.50 91.00 88.89 91.78 82.85 76.39 0.9498 0.8022 Exponential kernel + GAPSO 90.40 91.00 92.59 90.41 83.71 77.60 0.9604 0.8470 Laplacian kernel + GAPSO 90.60 91.00 92.59 90.41 84.18 78.23 0.9655 0.8464 MKL-SVM + PSO 90.80 92.00 88.89 93.15 83.68 77.44 0.9609 0.8726 MKL-SVM + GA 89.50 90.00 92.59 89.04 82.50 75.93 0.9619 0.8830 MKL-SVM + GAPSO 91.10 92.00 88.89 93.15 84.30 78.29 0.9650 0.8984 采用 GA、PSO 和 GAPSO 对 MKL-SVM 算法进 行参数寻优，采用所提 GAPSO 算法的 ACC_mean 为 91.10%，高于 GA 算法和 PSO 算法；GAPSO 算法 和 PSO 算法的 ACC_max 均为 92.00%，高于 GA 算法 2%，MASEN 低于GA 算法3.7%，MASPE 高于GA 算法 4.11%. 综合比较，GAPSO 算法的总体识别准确度更 高，但敏感度略低，这可能由于适应度函数选为 ACC 导致的. 图 4 为训练阶段本文算法的适应度曲线. 由图 4 可见，本文算法学习能力较优，能够使 得粒子跳出局部最优，更易寻求全局最优解，10 次 · 1162 · 工程科学学报，第 43 卷，第 9 期

李阳等：基于群体智能优化的MKL-SVM算法及肺结节识别 ·1163 0.95 作医院数据集提取深度特征.VGG16模型的低层 是由卷积层和最大池化层交替组成，高层是全连 0.94 接层，利用CNN特征提取的核心是卷积层和池化 0.93 层，将提取得到的特征图作为全连接层的输入，包 SS. 含肺结节最丰富的语义信息，可以更全面地描述 0.92 特征.因此，本文采用原始的VGG16模型，模型共 0.91 分为6部分，前5部分为卷积网络，最后为全连接 米-Best fitness -Mean fitness 网络，具体结构见文献23)，本文将预训练的 0.90 50 100 150 200 VGG16第一个完全连接层前的权重，迁移到目标 Evolution generation 网络中进行特征提取，从而得到7×7×512=25088 图4本文算法的适应度曲线 维深度特征.为避免产生维数灾难并且降低计算 Fig.4 Fitness curve of the proposed algorithm 量，采用主成分分析(Principal component analysis, 训练结果的均值为94.06%. PCA)方法将深度特征进行降维.根据累计方差贡 3.2深度特征实验 献率及VGG16模型的结构，同时降低计算复杂 深度结构模型可以获取更丰富的特征信息， 度，最终选取了7×7=49维的深度特征与本文提 故本文进一步采用深度网络模型VGG162]对合 出的算法结合，实验结果如表2所示 表2深度特征结合本文算法的实验结果 Table 2 Results of the proposed algorithm combined with deep leaming features Algorithm ACC_mean/%ACC_max/%MASEN/%MASPE/%F_score/%MCC/%AUC AP Handcrafted features MKL-SVM+GAPSO 91.10 92.00 88.89 93.15 84.30 78.290.96500.8984 Deep learning features MKL-SVM GA 88.00 88.00 81.82 91.04 81.82 72.860.90380.8755 Deep leaming features+MKL-SVM+PSO 89.80 91.00 75.76 97.01 82.57 76.810.94840.9038 Deep learning features MKL-SVM+GAPSO 91.50 94.00 81.82 100 85.81 80.69 0.95880.9043 (Proposed work) 由表2可知，采用深度特征作为本文算法的输入 0.90 向量，ACC mean为91.50%，ACC max为94.00%，均 高于GA及PSO寻优方式.与手工特征相比，ACC_max 0.85 比手工特征提高2%，MASPE可达100%，但MASEN 仅为81.82%.深度特征与本文算法结合的ACC mean、 0.80 F1-score、MCC及AP均为其中最大值，在ACC和 SPE有明显提升，但SEN检出率较低.图5为本文 0.75 算法采用深度特征在训练阶段的适应度曲线， 米-Best fitness -eMean fitness 10次适应度函数的均值为86.35%，但测试阶段的 0.70 50 100 150 200 10次平均准确度为91.50%，泛化能力有所提升 Evolution generation 综上所述，本文提出基于GAPSO的MKL-SVM 图5深度特征结合本文算法的适应度曲线 算法进行参数寻优，易于跳出局部最优解，提升了 Fig.5 Fitness curve combining deep learning features with the proposed 学习能力与泛化能力，达到模型快速寻优、准确识 algorithm 别的目的.进一步.本文将深度特征作为所提识别 计划(Lung image database consortium and image 算法的输人，能够提升识别准确度，作为最终的肺 database resource initiative,LIDC-IDRI)的子集，包 结节识别模式. 括888组低剂量肺部CT影像，其中至少3名放射 3.3公开数据集验证模型泛化能力实验 科专家标注的总共1186个结节.经本文的图像预 为了评估模型的有效性和泛化性，进一步采 处理方法后，共选取1140个肺结节ROI(650个结 用了LUNA16数据集2进行验证实验.该数据集 节，490个非结节)，并用VGG16模型提取49维深 是公开的肺图像数据库联盟与图像数据库资源 度特征作为提出算法的输入，以验证模型推广能

训练结果的均值为 94.06%. 3.2    深度特征实验 深度结构模型可以获取更丰富的特征信息， 故本文进一步采用深度网络模型 VGG16[23] 对合 作医院数据集提取深度特征. VGG16 模型的低层 是由卷积层和最大池化层交替组成，高层是全连 接层，利用 CNN 特征提取的核心是卷积层和池化 层，将提取得到的特征图作为全连接层的输入，包 含肺结节最丰富的语义信息，可以更全面地描述 特征. 因此，本文采用原始的 VGG16 模型，模型共 分为 6 部分，前 5 部分为卷积网络，最后为全连接 网络 ，具体结构见文 献 [23]. 本文将预训练 的 VGG16 第一个完全连接层前的权重，迁移到目标 网络中进行特征提取，从而得到 7×7×512 = 25088 维深度特征. 为避免产生维数灾难并且降低计算 量，采用主成分分析 (Principal component analysis, PCA) 方法将深度特征进行降维. 根据累计方差贡 献率及 VGG16 模型的结构，同时降低计算复杂 度，最终选取了 7×7 = 49 维的深度特征与本文提 出的算法结合，实验结果如表 2 所示. 表 2 深度特征结合本文算法的实验结果 Table 2   Results of the proposed algorithm combined with deep learning features Algorithm ACC_mean/% ACC_max/% MASEN/% MASPE/% F1_score/% MCC/% AUC AP Handcrafted features + MKL-SVM + GAPSO 91.10 92.00 88.89 93.15 84.30 78.29 0.9650 0.8984 Deep learning features + MKL-SVM + GA 88.00 88.00 81.82 91.04 81.82 72.86 0.9038 0.8755 Deep learning features + MKL-SVM + PSO 89.80 91.00 75.76 97.01 82.57 76.81 0.9484 0.9038 Deep learning features + MKL-SVM + GAPSO (Proposed work) 91.50 94.00 81.82 100 85.81 80.69 0.9588 0.9043 由表 2 可知，采用深度特征作为本文算法的输入 向量，ACC_mean 为 91.50%，ACC_max 为 94.00%，均 高于GA 及PSO 寻优方式. 与手工特征相比，ACC_max 比手工特征提高 2%，MASPE 可达 100%，但 MASEN 仅为81.82%. 深度特征与本文算法结合的ACC_mean、 F1 -score、MCC 及 AP 均为其中最大值，在 ACC 和 SPE 有明显提升，但 SEN 检出率较低. 图 5 为本文 算法采用深度特征在训练阶段的适应度曲线 ， 10 次适应度函数的均值为 86.35%，但测试阶段的 10 次平均准确度为 91.50%，泛化能力有所提升. 综上所述，本文提出基于 GAPSO 的 MKL-SVM 算法进行参数寻优，易于跳出局部最优解，提升了 学习能力与泛化能力，达到模型快速寻优、准确识 别的目的. 进一步，本文将深度特征作为所提识别 算法的输入，能够提升识别准确度，作为最终的肺 结节识别模式. 3.3    公开数据集验证模型泛化能力实验 为了评估模型的有效性和泛化性，进一步采 用了 LUNA16 数据集[22] 进行验证实验. 该数据集 是公开的肺图像数据库联盟与图像数据库资源 计 划 （ Lung  image  database  consortium  and  image database resource initiative, LIDC-IDRI）的子集 ，包 括 888 组低剂量肺部 CT 影像，其中至少 3 名放射 科专家标注的总共 1186 个结节. 经本文的图像预 处理方法后，共选取 1140 个肺结节 ROI（650 个结 节，490 个非结节），并用 VGG16 模型提取 49 维深 度特征作为提出算法的输入，以验证模型推广能 Fitness value 0.95 0.94 0.93 0.92 0.91 0.90 0 50 100 150 200 Evolution generation Best fitness Mean fitness 图 4    本文算法的适应度曲线 Fig.4    Fitness curve of the proposed algorithm Fitness value 0 50 100 150 200 Evolution generation Best fitness Mean fitness 0.90 0.85 0.80 0.75 0.70 图 5    深度特征结合本文算法的适应度曲线 Fig.5    Fitness curve combining deep learning features with the proposed algorithm 李    阳等： 基于群体智能优化的 MKL-SVM 算法及肺结节识别 · 1163 ·

1164 工程科学学报，第43卷，第9期 力，表3列出了本文算法与近年来当前主流算法 络用于肺结节检测，实验结果表明提出模型的灵 在LIDC-IDRI和LUNAI6的实验结果.当前，深度 敏度与分类精度均较高.Mastouri等将双线性 学习方式备受关注，Zhao等2利用迁移学习方式 深度学习网络与SVM算法相结合以实现肺结节 对ResNet等模型进行微调，以达到肺结节分类的 分类，结果表明将深度网络与传统机器学习方式 目的.Masood等提出基于多维区域的全卷积网 相结合能够提升分类准确度 表3所提算法与当前主流算法的性能比较 Table 3 Performance comparison of the proposed algorithm with current state-of-the-art methods References Year Datasets Methods ACC/%SEN/%SPE/%AUC Zhao et al.[24]2019 LIDC-IDRI (743 images) Transfer learning CNNs 85.0094.00 0.94 Masood et al.[25]2020 LIDC-IDRI (892 images) Enhanced multidimensional region-based fully CNN 97.9198.193.20.9813 Mastouri et al.[14]2020 LUNA16(3186 images) Bilinear CNN SVM 91.9991.8592.270.959 Proposed work 2021 LUNA16(1140 images) Deep learning features+Improved MKL-SVM 95.2994.8595.890.9803 由表3可知，所提算法的AUC能够达到0.9803， 参考文献 进一步验证了本文算法的泛化能力.与文献[24] [1]Shen W,Zhou M,Yang F,et al.Multi-crop Convolutional Neural 和文献[14纠相比，本文算法的评价指标均较高， Networks for lung nodule malignancy suspiciousness ACC与SEN有所提升，具有较佳的分类性能.本 classification.Pattern Recognit,2017,61:663 [2]Ferlay J.Colombet M.Soerjomataram I,et al.Cancer incidence 文算法较文献25]性能略低，但计算复杂度小于 and mortality patterns in Europe:Estimates for 40 countries and 25 文献[25]中所提方法，能够节约时间成本，后续可 major cancers in 2018.Eur JCancer,018,103:356 以通过增加标准数据库扩充训练样本，以达到提 [3] Siegel R L,Miller K D,Jemal A.Cancer statistics,2018.C4:4 升分类性能的目的， Cancer JClin,2018,68(1):7 [4]Li Y,Zhu Z,Hou A,et al.Pulmonary nodule recognition based on 4结论 multiple kernel learning support vector machine-PSO.Compu 针对单一核函数无法兼顾学习能力和泛化 Math Methods Med,.2018,2018:1461470 [5] 能力以及模型参数寻优的问题，提出了基于群 Renita D B,Christopher C S.Novel real time content based medical image retrieval scheme with GWO-SVM.Multimed Tools 体智能优化的MKL-SVM识别算法.分别采用手 4ppl,2020,79(23-24):17227 工特征与深度特征作为输入，验证提出算法的有 [6]Jia D Y,Li Z Y,Zhang C W.Detection of cervical cancer cells 效性，实现了肺结节准确识别的目的.具体创新 based on strong feature CNN-SVM network.Neurocomputing, 如下： 2020,411:112 (1)采用多项式核与拉普拉斯核的加权组合 [7]Shankar K,Lakshmanaprabu S K,Gupta D,et al.Optimal feature- 形式作为MKL-SVM的核函数，提出的算法兼顾 based multi-kernel SVM approach for thyroid disease 了学习能力与泛化能力. classification.JSupercompul,2020,76(2):1128 (2)为解决PSO算法迭代后期易缺乏粒子多 [8]Peng Z C,Hu Q H,Dang J W.Multi-kemel SVM based depression recognition using social media data.Int J Mach Learn Cybern, 样性的问题，提出GAPSO混合智能算法进行参数 2019,10(1):43 寻优，更易寻求全局最优解 [9] Valdez F.A review of optimization swarm intelligence-inspired (3)采用深度特征与提出算法相结合，能够提 algorithms with type-2 fuzzy logic parameter adaptation.Sof 高模型的分类性能. Comput,2020,24(1):215 在未来的研究中，针对敏感度略低的问题，将 [10]Zhou T,Lu H L.Hu F Y,et al.A model of high-dimensional 进一步探讨多评价指标兼顾，以保证识别准确度 feature reduction based on variable precision rough set and genetic 和敏感度的进一步提升，避免结节漏检.同时改进 algorithm in medical image.Math Probl Eng,2020,2020:1 [11]Gao Y K,Xie L B,Zhang Z D,et al.Twin support vector machine 深度卷积神经网络进行特征提取并融合手工特 based on improved artificial fish swarm algorithm with application 征，以保留完整的特征信息，提升识别指标.此外， to flame recognition.Appl Intell,2020,50(8):2312 通过增加标准数据库扩充训练样本，可以达到提 [12]Litjens G,Kooi T,Bejnordi B E,et al.A survey on deep learning 升分类性能的目的. in medical image analysis.Med Image Anal,2017,42:60

力. 表 3 列出了本文算法与近年来当前主流算法 在 LIDC-IDRI 和 LUNA16 的实验结果. 当前，深度 学习方式备受关注，Zhao 等[24] 利用迁移学习方式 对 ResNet 等模型进行微调，以达到肺结节分类的 目的. Masood 等[25] 提出基于多维区域的全卷积网 络用于肺结节检测，实验结果表明提出模型的灵 敏度与分类精度均较高. Mastouri 等[14] 将双线性 深度学习网络与 SVM 算法相结合以实现肺结节 分类，结果表明将深度网络与传统机器学习方式 相结合能够提升分类准确度. 表 3 所提算法与当前主流算法的性能比较 Table 3   Performance comparison of the proposed algorithm with current state-of-the-art methods References Year Datasets Methods ACC/% SEN/% SPE/% AUC Zhao et al. [24] 2019 LIDC-IDRI (743 images) Transfer learning CNNs 85.00 94.00 — 0.94 Masood et al. [25] 2020 LIDC-IDRI (892 images) Enhanced multidimensional region-based fully CNN 97.91 98.1 93.2 0.9813 Mastouri et al. [14] 2020 LUNA16 (3186 images) Bilinear CNN + SVM 91.99 91.85 92.27 0.959 Proposed work 2021 LUNA16 (1140 images) Deep learning features+ Improved MKL-SVM 95.29 94.85 95.89 0.9803 由表 3 可知，所提算法的 AUC 能够达到 0.9803， 进一步验证了本文算法的泛化能力. 与文献 [24] 和文献 [14] 相比，本文算法的评价指标均较高， ACC 与 SEN 有所提升，具有较佳的分类性能. 本 文算法较文献 [25] 性能略低，但计算复杂度小于 文献 [25] 中所提方法，能够节约时间成本，后续可 以通过增加标准数据库扩充训练样本，以达到提 升分类性能的目的. 4    结论 针对单一核函数无法兼顾学习能力和泛化 能力以及模型参数寻优的问题，提出了基于群 体智能优化的 MKL-SVM 识别算法. 分别采用手 工特征与深度特征作为输入，验证提出算法的有 效性，实现了肺结节准确识别的目的. 具体创新 如下： （1）采用多项式核与拉普拉斯核的加权组合 形式作为 MKL-SVM 的核函数，提出的算法兼顾 了学习能力与泛化能力. （2）为解决 PSO 算法迭代后期易缺乏粒子多 样性的问题，提出 GAPSO 混合智能算法进行参数 寻优，更易寻求全局最优解. （3）采用深度特征与提出算法相结合，能够提 高模型的分类性能. 在未来的研究中，针对敏感度略低的问题，将 进一步探讨多评价指标兼顾，以保证识别准确度 和敏感度的进一步提升，避免结节漏检. 同时改进 深度卷积神经网络进行特征提取并融合手工特 征，以保留完整的特征信息，提升识别指标. 此外， 通过增加标准数据库扩充训练样本，可以达到提 升分类性能的目的. 参    考    文    献 Shen W, Zhou M, Yang F, et al. Multi-crop Convolutional Neural Networks  for  lung  nodule  malignancy  suspiciousness classification. Pattern Recognit, 2017, 61: 663 [1] Ferlay  J,  Colombet  M,  Soerjomataram  I,  et  al.  Cancer  incidence and mortality patterns in Europe: Estimates for 40 countries and 25 major cancers in 2018. Eur J Cancer, 2018, 103: 356 [2] Siegel  R  L,  Miller  K  D,  Jemal  A.  Cancer  statistics,  2018. CA:A Cancer J Clin, 2018, 68（1）: 7 [3] Li Y, Zhu Z, Hou A, et al. Pulmonary nodule recognition based on multiple  kernel  learning  support  vector  machine-PSO. Comput Math Methods Med, 2018, 2018: 1461470 [4] Renita  D  B,  Christopher  C  S.  Novel  real  time  content  based medical image retrieval scheme with GWO-SVM. Multimed Tools Appl, 2020, 79（23-24）: 17227 [5] Jia  D  Y,  Li  Z  Y,  Zhang  C  W.  Detection  of  cervical  cancer  cells based  on  strong  feature  CNN-SVM  network. Neurocomputing, 2020, 411: 112 [6] Shankar K, Lakshmanaprabu S K, Gupta D, et al. Optimal feature￾based  multi-kernel  SVM  approach  for  thyroid  disease classification. J Supercomput, 2020, 76（2）: 1128 [7] Peng Z C, Hu Q H, Dang J W. Multi-kernel SVM based depression recognition  using  social  media  data. Int J Mach Learn Cybern, 2019, 10（1）: 43 [8] Valdez  F.  A  review  of  optimization  swarm  intelligence-inspired algorithms  with  type-2  fuzzy  logic  parameter  adaptation. Soft Comput, 2020, 24（1）: 215 [9] Zhou  T,  Lu  H  L,  Hu  F  Y,  et  al.  A  model  of  high-dimensional feature reduction based on variable precision rough set and genetic algorithm in medical image. Math Probl Eng, 2020, 2020: 1 [10] Gao Y K, Xie L B, Zhang Z D, et al. Twin support vector machine based on improved artificial fish swarm algorithm with application to flame recognition. Appl Intell, 2020, 50（8）: 2312 [11] Litjens G, Kooi T, Bejnordi B E, et al. A survey on deep learning in medical image analysis. Med Image Anal, 2017, 42: 60 [12] · 1164 · 工程科学学报，第 43 卷，第 9 期

李阳等：基于群体智能优化的MKL-SVM算法及肺结节识别 ·1165· [13]Zhang B H,Qi S L,Monkam P,et al.Ensemble learners of [20]Choudhary A,Kumar M,Gupta M K,et al.Mathematical multiple deep CNNs for pulmonary nodules classification using modeling and intelligent optimization of submerged arc welding CT images.IEEE Access,2019,7:110358 process parameters using hybrid PSO-GA evolutionary algorithms. [14]Mastouri R,Khlifa N,Neji H,et al.A bilinear convolutional neural Neural Comput Appl,2020,32(10):5761 network for lung nodules classification on CT images.Int J [21]Koessler E,Almomani A.Hybrid particle swarm optimization and Comput Assist Radiol Surg,2021,16(1):91 pattern search algorithm.Optim Eng,2020:1 [15]Ozyurt F,Sert E,Avci E,et al.Brain tumor detection based on [22]Setio AAA,Traverso A,Bel T,et al.Validation,comparison,and Convolutional Neural Network with neutrosophic expert maximum combination of algorithms for automatic detection of pulmonary fuzzy sure entropy.Measurement,2019,147:106830 nodules in computed tomography images:The LUNA16 challenge. [16]Hao P Y.Dual possibilistic regression analysis using support Med Image Anal,2017,42:1 vector networks.Fzy Sets Syst,2020,387:1 [17]Yan B L,Zhao Z,Zhou Y C,et al.A particle swarm optimization [23]Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition//Proceedings of 2015 International algorithm with random learning mechanism and Levy flight for optimization of atomic clusters.Comput Phys Commun,2017,219: Conference on Learning Representations.Califomia,2015:1 79 [24]Zhao X,Qi S,Zhang B,et al.Deep CNN models for pulmonary [18]Wu Z,Zhang S,Wang T.A cooperative particle swarm nodule classification:Model modification,model integration,and optimization with constriction factor based on simulated annealing. transfer leaming.J Xray Sci Technol,2019,27(4):615 Computing,2018,100(8):861 [25]Masood A,Sheng B,Yang P,et al.Automated decision support [19]Freitas D,Lopes L G,Morgado-Dias F.Particle swarm system for lung cancer detection and classification via enhanced optimisation:A historical review up to the current developments. RFCN with multilayer fusion RPN.IEEE Trans Ind Inform,2020, Entropy,.2020,22(31:362 16(12):7791

Zhang  B  H,  Qi  S  L,  Monkam  P,  et  al.  Ensemble  learners  of multiple  deep  CNNs  for  pulmonary  nodules  classification  using CT images. IEEE Access, 2019, 7: 110358 [13] Mastouri R, Khlifa N, Neji H, et al. A bilinear convolutional neural network  for  lung  nodules  classification  on  CT  images. Int J Comput Assist Radiol Surg, 2021, 16（1）: 91 [14] Özyurt  F,  Sert  E,  Avci  E,  et  al.  Brain  tumor  detection  based  on Convolutional Neural Network with neutrosophic expert maximum fuzzy sure entropy. Measurement, 2019, 147: 106830 [15] Hao  P  Y.  Dual  possibilistic  regression  analysis  using  support vector networks. Fuzzy Sets Syst, 2020, 387: 1 [16] Yan B L, Zhao Z, Zhou Y C, et al. A particle swarm optimization algorithm  with  random  learning  mechanism  and  Levy  flight  for optimization of atomic clusters. Comput Phys Commun, 2017, 219: 79 [17] Wu  Z,  Zhang  S,  Wang  T.  A  cooperative  particle  swarm optimization with constriction factor based on simulated annealing. Computing, 2018, 100（8）: 861 [18] Freitas  D,  Lopes  L  G,  Morgado-Dias  F.  Particle  swarm optimisation: A historical review up to the current developments. Entropy, 2020, 22（3）: 362 [19] Choudhary  A,  Kumar  M,  Gupta  M  K,  et  al.  Mathematical modeling  and  intelligent  optimization  of  submerged  arc  welding process parameters using hybrid PSO-GA evolutionary algorithms. Neural Comput Appl, 2020, 32（10）: 5761 [20] Koessler E, Almomani A. Hybrid particle swarm optimization and pattern search algorithm. Optim Eng, 2020: 1 [21] Setio A A A, Traverso A, Bel T, et al. Validation, comparison, and combination  of  algorithms  for  automatic  detection  of  pulmonary nodules in computed tomography images: The LUNA16 challenge. Med Image Anal, 2017, 42: 1 [22] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale  image  recognition//Proceedings of 2015 International Conference on Learning Representations. California, 2015: 1 [23] Zhao X, Qi S, Zhang B, et al. Deep CNN models for pulmonary nodule classification: Model modification, model integration, and transfer learning. J Xray Sci Technol, 2019, 27（4）: 615 [24] Masood  A,  Sheng  B,  Yang  P,  et  al.  Automated  decision  support system  for  lung  cancer  detection  and  classification via enhanced RFCN with multilayer fusion RPN. IEEE Trans Ind Inform, 2020, 16（12）: 7791 [25] 李    阳等： 基于群体智能优化的 MKL-SVM 算法及肺结节识别 · 1165 ·