第8期 王玲等：一种基于聚类的支持向量机增量学习算法 .857 为D,=1,2,,M,M是根据D得到的相连的元 本算法采用Visual C#,net语言在LIBSV M[8] 素集合的数目，每一个相连的元素集合都可以看作 的基础上改写而成，在训练本文提出的增量算法和 为一个簇（聚类） SVR中，核函数为高斯径向基核，首先选取1000 步骤2对每个聚类子集建立支持向量机模 个样本作为训练集，对训练样本采用最近邻聚类方 型，得到支持向量集 法进行聚类，最终形成了六个聚类子集S1、S2、S3、 步骤3聚类新增数据 S4、S5和S6,样本个数分别为388、148、133、64、147 (1)计算样本x与所有子集D:(1≤≤M)的 和120，测试样本集个数分别为50、100、150和200. 聚类中心c:(1≤i≤M)的距离d:=‖x-c‖，并 图1和图2给出了分别采用基于本文的增量算 求出最小值k=argmini d,d2,, dw,将样本x 法和SVR的预报模型在150个样本上的预测结果. 加入子集d中，这里c:= N,N;是第i个 从图1和图2可以看出，采用基于聚类的支持向量 机增量学习算法建立的预报模型在样本区间内拟合 聚类中数据的个数， 实际值要比SVR好，基于SVR的预报模型的预测 (②)若新样本x对所有的子集d:都满足‖x一 曲线偏离实际值的波动幅度较大，通过进行仿真研 c‖≥6，那么为新样本x建立一个新的子集，即 究发现，将训练样本聚类后分别进行训练是提高建 M=M十1；同时增加一个支持向量子模型，并用该 模精度的有效方法， 样本训练新增的模型（δ为一阈值，在后面的实验中 600 8的取值为3) 500 步骤4计算新增样本和聚类后形成的支持向 量集样本之间的欧氏距离的倒数，用下式描述： 200 期望值 一预测值 100 残差值 x,z∈Rn =1 -100 式中的x指新增样本，而z是聚类集k中获取的第 50 100 1s0 样本数 i个标准支持向量 步骤5对聚类集内的每一个支持向量样本赋以 图1基于聚类的支持向量机的增量学习算法的预报模型 权重P,然后建立预估模型 Fig.1 Prediction model for SVM incremental learning algorithm based on clustering 步骤6随着系统中新增样本的到来，返回到 步骤3， 600 3应用研究 500 400 应用研究是对某大型钢铁厂生产的热轧产品建 300 一期望值 200 预测值 立钢材力学性能)预报系统，由于该系统是时变 100 残差值 的，随着系统的运行，系统的状态在不断地变化，同 -100 时新的输入输出数据不断得到，为了使模型能准确 50 100 150 样本数 地反应系统的当前状态，本文利用上述基于聚类的 支持向量机结构的增量学习算法建立预报系统，该 图2基于SVR的预报模型 系统采用Q235B带钢不同批次的生产数据，考虑到 Fig-2 Prediction model for SVR method 原始化学成分和热轧生产工艺参数是影响成品最终 为验证基于聚类的支持向量机增量学习算法在 力学性能的主要因素，输入值主要包括原始化学成 不同规模测试集上的性能，分别在不同的测试集上 分和生产工艺参数，原始化学成分除了常规的五项 比较本文的算法和SVR算法的预测误差，引入如 化学成分C、Mn、P、S、Si,还包括了Cr、Ni、Cu、Mo 下评价指标ASE(渐进标准误差平方和)： 等多种合金元素，以及H、N、0三种气体成分，生产 工艺参数主要包括精轧开轧温度、终轧温度、卷取温 AsE祥养个费 度和压下率，需要预报的性能对于热轧带钢来说主 A$E越小，说明回归拟合程度越高，结果如表1 要是屈服强度、抗拉强度和延伸率，这里以预报抗 所示 拉强度为例为 Di‚i＝1‚2‚…‚M‚M 是根据 D 得到的相连的元 素集合的数目．每一个相连的元素集合都可以看作 为一个簇（聚类）． 步骤2 对每个聚类子集建立支持向量机模 型‚得到支持向量集． 步骤3 聚类新增数据． （1） 计算样本 x 与所有子集 Di（1≤ i≤ M）的 聚类中心 ci（1≤ i≤ M）的距离 di＝‖ x－ ci‖‚并 求出最小值 k＝argmin｛d1‚d2‚…‚dM｝‚将样本 x 加入子集 dk 中．这里 ci＝ ∑x∈ Di x Ni‚Ni 是第 i 个 聚类中数据的个数． （2） 若新样本 x 对所有的子集 di 都满足‖x－ ci‖≥δ‚那么为新样本 x 建立一个新的子集‚即 M＝ M＋1；同时增加一个支持向量子模型‚并用该 样本训练新增的模型（δ为一阈值‚在后面的实验中 δ的取值为3）． 步骤4 计算新增样本和聚类后形成的支持向 量集样本之间的欧氏距离的倒数‚用下式描述： pi＝1 ∑ l i＝1 （ x－ z k i ） 2 x‚z k i∈R n 式中的 x 指新增样本‚而 z k i 是聚类集 k 中获取的第 i 个标准支持向量． 步骤5对聚类集内的每一个支持向量样本赋以 权重 pi‚然后建立预估模型． 步骤6 随着系统中新增样本的到来‚返回到 步骤3． 3 应用研究 应用研究是对某大型钢铁厂生产的热轧产品建 立钢材力学性能［7］ 预报系统．由于该系统是时变 的‚随着系统的运行‚系统的状态在不断地变化‚同 时新的输入输出数据不断得到．为了使模型能准确 地反应系统的当前状态‚本文利用上述基于聚类的 支持向量机结构的增量学习算法建立预报系统．该 系统采用 Q235B 带钢不同批次的生产数据‚考虑到 原始化学成分和热轧生产工艺参数是影响成品最终 力学性能的主要因素‚输入值主要包括原始化学成 分和生产工艺参数．原始化学成分除了常规的五项 化学成分 C、Mn、P、S、Si‚还包括了 Cr、Ni、Cu、Mo 等多种合金元素‚以及 H、N、O 三种气体成分．生产 工艺参数主要包括精轧开轧温度、终轧温度、卷取温 度和压下率‚需要预报的性能对于热轧带钢来说主 要是屈服强度、抗拉强度和延伸率．这里以预报抗 拉强度为例． 本算法采用 Visual C＃．net 语言在 LIBSVM ［8］ 的基础上改写而成‚在训练本文提出的增量算法和 SVR 中‚核函数为高斯径向基核．首先选取1000 个样本作为训练集‚对训练样本采用最近邻聚类方 法进行聚类‚最终形成了六个聚类子集 S1、S2、S3、 S4、S5 和 S6‚样本个数分别为388、148、133、64、147 和120‚测试样本集个数分别为50、100、150和200． 图1和图2给出了分别采用基于本文的增量算 法和 SVR 的预报模型在150个样本上的预测结果． 从图1和图2可以看出‚采用基于聚类的支持向量 机增量学习算法建立的预报模型在样本区间内拟合 实际值要比 SVR 好‚基于 SVR 的预报模型的预测 曲线偏离实际值的波动幅度较大．通过进行仿真研 究发现‚将训练样本聚类后分别进行训练是提高建 模精度的有效方法． 图1 基于聚类的支持向量机的增量学习算法的预报模型 Fig．1 Prediction model for SVM incremental learning algorithm based on clustering 图2 基于 SVR 的预报模型 Fig．2 Prediction model for SVR method 为验证基于聚类的支持向量机增量学习算法在 不同规模测试集上的性能‚分别在不同的测试集上 比较本文的算法和 SVR 算法的预测误差．引入如 下评价指标 ASE（渐进标准误差平方和）： ASE＝ 误差平方和 样本总个数 ‚ ASE 越小‚说明回归拟合程度越高．结果如表1 所示． 第8期 王 玲等： 一种基于聚类的支持向量机增量学习算法 ·857·