·526· 智能系统学报 第15卷 表4多类分类实验结果 Table 4 Experimental results of the multi-class classification 训练样本 初始训练 每次新增 数据集 算法 几何平均数 初始训练 时间s 几何平均数 隐含层节点数 样本数 训练样本数 IOSELM 0.7877 8.2234 0.86 20 1000 10 WELM 0.6453 0.2106 20 1000 10 IFELM-SMOTE DNA 0.8243 1731.5929 0.86 20 1000 10 OSELM-SMOTE 0.6561 0.0468 20 1000 10 EWOSELM- 0.6571 2.3835 20 1000 10 SMOTE IOSELM 0.8848 16.3140 0.9 20 3000 10 WELM 0.8553 2.5489 20 3000 10 IFELM-SMOTE 0.8639 14529.9046 0.9 20 Satimage 3000 10 OSELM-SMOTE 0.8556 0.0851 20 3000 10 EWOSELM- 0.8451 1.6812 20 3000 10 SMOTE IOSELM 0.8956 118.8984 0.9 20 6000 10 WELM 0.7755 8.1634 20 6000 10 IFELM-SMOTE 0.7272 99448.9593 0.9 20 USPS 6000 10 OSELM-SMOTE 0.7968 0.2265 20 6000 10 EWOSELM- 0.7864 6.3085 20 6000 10 SMOTE 4结束语 [3]LI Shuai,YOU Zhuhong,GUO Hongliang,et al.Inverse- free extreme learning machine with optimal information 本文针对类别不平衡环境下的增量学习问 updating[J].IEEE transactions on cybernetics,2016,46(5): 题，提出了面对类别不平衡的增量在线极限学习 1229-1241. 机算法，即IOS-ELM算法。ISO-ELM算法利用 [4]HUANG Shan.WANG Botao,CHEN Yuemei,et al.An Schur complement公式增加隐含层节点获得连接 efficient parallel method for batched OS-ELM training us- 权重的最优解。再引入在线学习思想，使训练样 ing MapReduce[J].Memetic computing,2017,9(3): 本可以逐个或多个地加人到训练模型中。最后调 183-197 节惩罚因子的大小使其适用于类别不平衡环境下 [5]KIM Y,TOH K A,TEOH A B J,et al.An online learning 的学习。针对隐含层节点数小于或大于训练样本 network for biometric scores fusion[J].Neurocomputing, 2013.102:65-77. 数两种情况，本文分别给出了理论推理。实验证 明，与对比算法相比IOS-ELM算法具有较好的泛 [6]LIANG Nanying,HUANG Guangbin,SAR- ATCHANDRAN P,et al.A fast and accurate online se- 化性能和在线预测能力。 quential learning algorithm for feedforward networks[J]. 参考文献 IEEE transactions on neural networks,2006,17(6): 1411-1423. [1]HUANG Guangbin,ZHU Qinyu,SIEW C K.Extreme [7]张明洋，闻英友，杨晓陶，等.一种基于增量加权平均的 learning machine:theory and applications[J].Neurocom- 在线序贯极限学习机算法).控制与决策，2017,32(10)： puting,2006,70(1/2/3):489-501. 1887-1893 [2]HUANG Guangbin,CHEN Lei,SIEW C K.Universal ap- ZHANG Mingyang,WEN Yingyou,YANG Xiaotao,et al. proximation using incremental constructive feedforward An incremental weighted average based online sequential networks with random hidden nodes[J].IEEE transactions extreme learning machine algorithm[J].Control and de- on neural networks,2006,17(4):879-892. cision,2017,32(10):1887-1893.4 结束语 本文针对类别不平衡环境下的增量学习问 题，提出了面对类别不平衡的增量在线极限学习 机算法，即 IOS-ELM 算法。ISO-ELM 算法利用 Schur complement 公式增加隐含层节点获得连接 权重的最优解。再引入在线学习思想，使训练样 本可以逐个或多个地加入到训练模型中。最后调 节惩罚因子的大小使其适用于类别不平衡环境下 的学习。针对隐含层节点数小于或大于训练样本 数两种情况，本文分别给出了理论推理。实验证 明，与对比算法相比 IOS-ELM 算法具有较好的泛 化性能和在线预测能力。 参考文献： HUANG Guangbin, ZHU Qinyu, SIEW C K. Extreme learning machine: theory and applications[J]. Neurocom￾puting, 2006, 70(1/2/3): 489–501. [1] HUANG Guangbin, CHEN Lei, SIEW C K. Universal ap￾proximation using incremental constructive feedforward networks with random hidden nodes[J]. IEEE transactions on neural networks, 2006, 17(4): 879–892. [2] LI Shuai, YOU Zhuhong, GUO Hongliang, et al. Inverse￾free extreme learning machine with optimal information updating[J]. IEEE transactions on cybernetics, 2016, 46(5): 1229–1241. [3] HUANG Shan, WANG Botao, CHEN Yuemei, et al. An efficient parallel method for batched OS-ELM training us￾ing MapReduce[J]. Memetic computing, 2017, 9(3): 183–197. [4] KIM Y, TOH K A, TEOH A B J, et al. An online learning network for biometric scores fusion[J]. Neurocomputing, 2013, 102: 65–77. [5] LIANG Nanying, HUANG Guangbin, SAR￾ATCHANDRAN P, et al. A fast and accurate online se￾quential learning algorithm for feedforward networks[J]. IEEE transactions on neural networks, 2006, 17(6): 1411–1423. [6] 张明洋, 闻英友, 杨晓陶, 等. 一种基于增量加权平均的 在线序贯极限学习机算法 [J]. 控制与决策, 2017, 32(10): 1887–1893. ZHANG Mingyang, WEN Yingyou, YANG Xiaotao, et al. An incremental weighted average based online sequential extreme learning machine algorithm[J]. Control and de￾cision, 2017, 32(10): 1887–1893. [7] 表 4 多类分类实验结果 Table 4 Experimental results of the multi-class classification 数据集 算法 几何平均数 时间/s 训练样本 几何平均数 初始训练 隐含层节点数 初始训练 样本数 每次新增 训练样本数 DNA IOSELM 0.787 7 8.223 4 0.86 20 1 000 10 WELM 0.645 3 0.210 6 — 20 1 000 10 IFELM-SMOTE 0.824 3 1 731.592 9 0.86 20 1 000 10 OSELM-SMOTE 0.656 1 0.046 8 — 20 1 000 10 EWOSELM￾SMOTE 0.657 1 2.383 5 — 20 1 000 10 Satimage IOSELM 0.884 8 16.314 0 0.9 20 3 000 10 WELM 0.855 3 2.548 9 — 20 3 000 10 IFELM-SMOTE 0.863 9 14 529.904 6 0.9 20 3 000 10 OSELM-SMOTE 0.855 6 0.085 1 — 20 3 000 10 EWOSELM￾SMOTE 0.845 1 1.681 2 — 20 3 000 10 USPS IOSELM 0.895 6 118.898 4 0.9 20 6 000 10 WELM 0.775 5 8.163 4 — 20 6 000 10 IFELM-SMOTE 0.727 2 99 448.959 3 0.9 20 6 000 10 OSELM-SMOTE 0.796 8 0.226 5 — 20 6 000 10 EWOSELM￾SMOTE 0.786 4 6.308 5 — 20 6 000 10 ·526· 智 能 系 统 学 报 第 15 卷