第3期 左鹏玉，等：面对类别不平衡的增量在线序列极限学习机 ·521· 数的标准ELM求得的输出权重结果不同。文 能。ELM是批量学习算法，训练样本数是固定 献[3]提出了不同的增量式策略，根据分块矩 的。2006年，Huang等W正式提出极限学习机的 阵的广义逆矩阵分析确定输出权重，且其具有 理论及应用。 ELM的最优性。以上所述均为批量学习算法，只 能将数据一次性输入给训练模型。而现实生活 yi= Bg(w,ex),j=1,2,…,i (1) 中，很多数据都不是一次性获得的。数据依次加 1 入到训练模型中，批量学习算法需将旧的数据和 式中：y是第j个训练样本的输出值；w,为第i个 新的数据一起重新训练，需要花费大量的时间。 隐含层节点的输入权重；e,为第i个隐含层节点 文献[6]提出了在线序列极限学习机(online se-. 的偏差；x为第j个输入节点。由式(1)可推出输 quence extreme learning machine,.OS-ELM),可以将 出权重B为 训练数据逐个或多个地加入到训练模型中，丢掉 HT(HH)Y,样本数隐<节点数 B= 已经训练过的数据以减少空间消耗。文献[7]提 (HH)HY,隐节点数<样本数 出了一种基于增量平均加权的在线序贯极限学习 ELM没有迭代调整的过程，相对于传统的前 机算法(incremental weighted average based online 馈神经网络极大地提高了学习速度。 sequential extreme learning machine,IWOS-ELM), 1.2在线序列极限学习机 利用原始数据来弱化增量数据的波动，使在线学 OS-ELM是ELM增加训练样本而得的一种 习机具有良好的稳定性。然而，现实生活中存在 在线学习算法，具有ELM所有的优点。OS-ELM 着大量的不平衡数据，例如生物医学应用和网络 包括一个初始的ELM批量学习过程和在线序列 入侵等，ELM并不适用于此类不平衡数据。在不 学习过程。在初始化阶段，根据广义逆矩阵的公 平衡数据中，分为多数类和少数类，一般学习算 式，初始的输出权重B的计算公式为 法中大多数类将分离边界推向少数类，以期望获 得更好的自身分类效果1。文献[11]提出了应 Bo=KoHo Yo 式中：Ho是隐含层输出矩阵；K。=HgHo。当增加 用于不平衡数据的W-ELM算法。此算法增加了 一个训练样本后，隐含层输出矩阵H1和训练样 权数，使得数据具有新的平衡程度。对于在线学 习，文献[12]在OS-ELM的基础上提出了加权在 本的期望输出值Y1分别为 线序列极限学习机(weighted online sequential ex- H44= H .Y= Y, y41 treme learning machine,.WOS-ELM),设置适当的权 重，使得不平衡分类的学习性能更好。但是这些 式中：h1为新增节点的隐含层输出矩阵；y1为新 在线学习算法有着和ELM一样的问题一如何 增训练样本的期望输出向量。当第+1块数据集 寻找最优隐含层节点数。 加入到训练样本时，输出矩阵可由第1块数据集 本文提出了针对类别不平衡问题的增量在线 加入到训练样本后的输出矩阵分析求得，计算公 序列极限学习机(incremental and online sequence 式为 extreme learning machine for class imbalance learn- B41=B,+Kh,(Y41-h+iB) ing,IOS-ELM)。首先根据类别不平衡比率调整平 K=K-Kh(I+hKh)hK 衡因子，增大少数类样本的平衡因子使得分离超 1.3 无逆矩阵极限学习机 平面靠近多类样本。再根据分类误差大小决定是 在极限学习机的模型中，训练误差随着隐含 否增加隐节点数，通常情况下隐节点数小于训练 层节点数的增加而减小。但在实验中，考虑到 样本，利用Schur complement公式增加隐节点；当 计算复杂度，应尽量减少隐含层节点数。为了 隐节点数较大时利用Sherman-Morrison公式增加 平衡训练误差与计算复杂度这两个因素，寻找 隐节点。寻找到最优隐节点数后，可逐个或多个 隐含层节点数的最优值成为迫切需要解决的问 地加入新训练样本获得更好的训练模型。 题。无逆矩阵极限学习机(F-ELM)应运而生。 1相关工作 该算法采用了隐节点增加策略，具有+1个隐含 层节点的输出权重可由原I个隐含层节点的输 1.1极限学习机 出权重求出，而不需要重新计算所有的隐含层 ELM随机产生隐含层参数且不需要进行调 节点输出权重。 整，通过最小二乘法直接确定隐含层的输出权 当增加一个隐含层节点时，输入权重W和 重，极大地提高了运行速度且具有良好的泛化性 偏值E更新为如下形式：数的标准 ELM 求得的输出权重结果不同。文 献 [3] 提出了不同的增量式策略，根据分块矩 阵的广义逆矩阵分析确定输出权重，且其具有 ELM 的最优性。以上所述均为批量学习算法，只 能将数据一次性输入给训练模型。而现实生活 中，很多数据都不是一次性获得的。数据依次加 入到训练模型中，批量学习算法需将旧的数据和 新的数据一起重新训练，需要花费大量的时间[4-5]。 文献 [6] 提出了在线序列极限学习机 (online se￾quence extreme learning machine, OS-ELM)，可以将 训练数据逐个或多个地加入到训练模型中，丢掉 已经训练过的数据以减少空间消耗。文献 [7] 提 出了一种基于增量平均加权的在线序贯极限学习 机算法 (incremental weighted average based online sequential extreme learning machine, IWOS-ELM)， 利用原始数据来弱化增量数据的波动，使在线学 习机具有良好的稳定性。然而，现实生活中存在 着大量的不平衡数据，例如生物医学应用和网络 入侵等，ELM 并不适用于此类不平衡数据。在不 平衡数据中，分为多数类和少数类，一般学习算 法中大多数类将分离边界推向少数类，以期望获 得更好的自身分类效果[8-10]。文献 [11]提出了应 用于不平衡数据的 W-ELM 算法。此算法增加了 权数，使得数据具有新的平衡程度。对于在线学 习，文献 [12] 在 OS-ELM 的基础上提出了加权在 线序列极限学习机 (weighted online sequential ex￾treme learning machine, WOS-ELM)，设置适当的权 重，使得不平衡分类的学习性能更好。但是这些 在线学习算法有着和 ELM 一样的问题−如何 寻找最优隐含层节点数。 本文提出了针对类别不平衡问题的增量在线 序列极限学习机 (incremental and online sequence extreme learning machine for class imbalance learn￾ing，IOS-ELM)。首先根据类别不平衡比率调整平 衡因子，增大少数类样本的平衡因子使得分离超 平面靠近多类样本。再根据分类误差大小决定是 否增加隐节点数，通常情况下隐节点数小于训练 样本，利用 Schur complement 公式增加隐节点；当 隐节点数较大时利用 Sherman-Morrison 公式增加 隐节点。寻找到最优隐节点数后，可逐个或多个 地加入新训练样本获得更好的训练模型。 1 相关工作 1.1 极限学习机 ELM 随机产生隐含层参数且不需要进行调 整，通过最小二乘法直接确定隐含层的输出权 重，极大地提高了运行速度且具有良好的泛化性 能 [13]。ELM 是批量学习算法，训练样本数是固定 的。2006 年，Huang 等 [1] 正式提出极限学习机的 理论及应用。 yj = ∑l i=1 βig ( wi , ei , xj ) , j = 1,2,··· ,t (1) β 式中：yj 是第 j 个训练样本的输出值；wi 为第 i 个 隐含层节点的输入权重；ei 为第 i 个隐含层节点 的偏差；xj 为第 j 个输入节点。由式 (1) 可推出输 出权重 为 β = { HT ( HHT )−1 Y, 样本数隐 < 节点数 ( HTH )−1HTY, 隐节点数 < 样本数 ELM 没有迭代调整的过程，相对于传统的前 馈神经网络极大地提高了学习速度。 1.2 在线序列极限学习机 β0 OS-ELM 是 ELM 增加训练样本而得的一种 在线学习算法，具有 ELM 所有的优点。OS-ELM 包括一个初始的 ELM 批量学习过程和在线序列 学习过程。在初始化阶段，根据广义逆矩阵的公 式，初始的输出权重 的计算公式为 β0 = K −1 0 H T 0Y0 K0 = HT 式中：H0 是隐含层输出矩阵； 0 H0。当增加 一个训练样本后，隐含层输出矩阵 Ht+1 和训练样 本的期望输出值 Yt+1 分别为 Ht+1 = [ Ht ht+1 ] , Yt+1= [ Yt yt+1 ] 式中：ht+1 为新增节点的隐含层输出矩阵；yt+1 为新 增训练样本的期望输出向量。当第 t+1 块数据集 加入到训练样本时，输出矩阵可由第 t 块数据集 加入到训练样本后的输出矩阵分析求得，计算公 式为 βt+1 = βt + K −1 t+1h T t+1 (Yt+1 − ht+1βt) K −1 t+1 = K −1 t − K −1 t h T t+1 (I+ ht+1K −1 t ht+1 T ) −1ht+1K −1 t 1.3 无逆矩阵极限学习机 在极限学习机的模型中，训练误差随着隐含 层节点数的增加而减小。但在实验中，考虑到 计算复杂度，应尽量减少隐含层节点数。为了 平衡训练误差与计算复杂度这两个因素，寻找 隐含层节点数的最优值成为迫切需要解决的问 题。无逆矩阵极限学习机 (IF-ELM) 应运而生。 该算法采用了隐节点增加策略，具有 l+1 个隐含 层节点的输出权重可由原 l 个隐含层节点的输 出权重求出，而不需要重新计算所有的隐含层 节点输出权重。 当增加一个隐含层节点时，输入权重 W l+1 和 偏值 E l+1 更新为如下形式： 第 3 期 左鹏玉，等：面对类别不平衡的增量在线序列极限学习机 ·521·