D0I:10.13374/i.issn1001-053x.2005.04.003 第27卷第4期 北京科技大学学报 Vol.27 No.4 2005年8月 Journal of University of Science and Technology Beijing Aug.2005 软岩工程支护的双层SVM的智能设计方法 滕文彦)乔春生》胡宇庭) 1)北京交通大学土木建筑工程学院,北京1000442)石家庄铁路职业技术学院土木工程系,石家庄050041 摘要将一种机器学习算法一支持向量机引入到软岩工程支护设计领域,并根据问题需 要提出了一种支持向量机回归算法且编制了相应的计算程序.工程算例证明,这种算法在学 习样本数量很少的情况下就可以得到很高的预测精度,且具有推广性能好的优点,避免了人 工神经元由于存在过学习问题而带来的网络参数难以确定的弊病,为类似工程的支护设计提 供了一种新的途径. 关键词软岩工程:支护设计:支持向量机:机器学习:回归预测 分类号TD350.1;TP391.4 软岩是一种在特定环境下具有显著塑性变 1支持向量机回归算法 形的复杂力学介质,其力学性质主要表现为非线 性大变形.专家学者在软岩巷道的施工及支护方 支持向量机(简称sVM)是Vapnik与其同事 面进行了大量的理论和工程实践的研究,各种解 合作提出的一种创新性学习算法,其理论基础是 析和数值方法也都被运用于软岩工程的开挖支 统计学习理论,下面简要阐述支持向量机回归 护上,取得了不少研究成果四.但由于软岩本身具 (SVR)算法6. 有的构造及其力学行为的高度复杂性,传统的数 对回归问题,线性函数设为: 学和物理模型都是在一定程度上的近似,很难准 fx)=w.x+b (1) 确地对软岩工程进行模拟.同时已有的许多软岩 式中,w为权值向量,b为偏差. 工程支护的成功实例又没有被很好的利用来指 考虑到允许拟合误差的情况,引入松弛因子 导现在的工程实践,这无疑是巨大的资源浪费, ≥0,≥0,优化问题是最小化 人工智能擅于从有限的数据样本中,通过机 R(w.s)-lwl+C+) (2) 器学习提炼出普遍规律,特别是在描述高度非线 其中,常数C>0.C表示了对超出误差ε的样本的惩 性和不确定性关系方面具有其他确定性方法难 罚程度.约束条件为 以比拟的优势,非常适用于岩土工程领域.专家 fx)-y≤+e 系统、案例设计和人工神经元网络被广泛的运用 y-f(x)ss+e (3) 于各类岩土工程,取得了令人满意的成果).但 5,后≥0 这些方法也存在着缺点:专家系统的专家知识获 引入Lagrange函数: 取非常困难:案例设计的类比推理实现也有很大 Lw.b.5Ga.d7Y)-w.w+C()- 难度:人工神经元网络作为一种大样本机器学习 三a5+eyte】-含oI-e-2+5 算法,存在局部寻优、外推性能差的缺点.近年来 式中,a,a为Lagrange乘子,a,i20,,i20,i=1,…,k. 兴起的一种小样本通用机器学习算法一支持 对上式进行偏微分,并令各式等于零,得 向量机恰好弥补了人工神经元网络的不足,具有 2(a-a)=0 小样本、推广性能好、全局优化的优势.本文试图 将这种算法应用于巷道支护方式的选择之中. w-(a-a)x. (4) 收稿日期:200403-18修回日期:2004-10-10 C-a-y-0 基金项目:因家自然科学基金资助项目No.50078002)和中国 C-a;-y;=0 铁道建筑总公司科技研究开发资助项目QNo.G02-10A) 将式(4)代入Lagrange函数中,即得优化问题 作者简介:滕文彦(1972一),男,副教投,博士研究生 的对偶形式,最大化函数:
第 2 7 卷 第 4 期 2 0 0 5 年 8 月 北 京 科 技 大 学 学 报 OJ u r n a l o f U n iv e sr iyt o f s c i e n e e a n d l 尧c h n o le gy B e ij in g 、 、〕1 . 2 7 N o . 4 A u g . 2 0 0 5 软岩工程支护的双层 S V M 的智 能设计方法 滕 文彦 ’ , 2) 乔春 生 ` , 胡 宇庭 ” l) 北 京交通 大学 土木 建筑工程 学院 , 北京 10 0 4 2) 石 家庄 铁路 职业 技术 学院土 木工 程系 , 石 家庄 0 5 0 0引 摘 要 将 一种 机器 学 习 算法— 支 持 向量机 引入 到 软岩 工程 支护 设计 领域 , 并根据 问题需 要 提 出 了一 种支 持 向量机 回 归算法 且编 制 了相应 的 计算程 序 . 工程 算例 证 明 , 这种算 法 在学 习 样本 数量 很少 的情 况 下就 可 以得到 很高 的预 测精 度 , 且 具有 推广 性 能好 的优 点 , 避 免 了人 工 神经 元 由于 存在 过学 习 问题 而 带来 的网 络 参数难 以确 定 的弊病 , 为类似 工程 的支 护设 计提 供 了一 种新 的途 径 . 关键 词 软岩 工程 ; 支 护设 计 : 支 持 向量机 : 机 器学 习 ; 回归 预测 分 类号 T D 3 5 0 . l : T P3 9 1 . 4 软岩 是一 种 在 特 定 环 境 下 具 有 显 著 塑 性 变 形 的复杂 力 学介质 , 其 力 学性 质主 要 表现 为 非线 性大 变形 . 专 家 学者在 软 岩巷 道 的施 工及 支护 方 面进行 了大量 的理 论 和工程 实 践 的研 究 , 各种 解 析和 数值 方法 也 都 被 运用 于 软岩 工 程 的 开挖 支 护 上 , 取得 了不 少研 究成 果`1] . 但 由于软 岩本 身 具 有 的构造 及 其力 学行 为 的高度 复 杂性 , 传 统 的数 学和 物理 模 型都 是在 一 定程度 上 的近 似 , 很难 准 确地 对软 岩工 程 进行 模拟 . 同时 已有 的许 多 软岩 工程 支 护 的成 功 实例 又 没 有 被 很好 的利 用 来 指 导现 在 的工 程 实践 , 这 无疑 是 巨大 的资源 浪 费 . 人 工智 能 擅 于从 有 限的数 据 样本 中 , 通 过 机 二器学 习 提炼 出普 遍 规律 , 特 别 是在 描述 高度 非 线 性 和 不确 定性 关 系 方 面 具 有其 他 确 定 性 方 法难 以比拟 的 优势 , 非 常适 用 于 岩土 工 程领 域 . 专 家 系统 、 案 例 设计和 人 工神 经元 网络被 广泛 的运 用 于各 类 岩土 工程 , 取 得 了令人 满 意 的成 果 夕,3] . 但 这 些 方法 也存在 着 缺 点 : 专 家 系统 的专 家 知识 获 取 非 常 困难 ; 案 例 设计 的类 比 推理 实现 也有 很 大 难度 ; 人工 神经 元 网 络 作为 一种 大 样本机 器 学 习 算法 , 存 在局 部 寻优 、 外 推性 能差 的缺 点 . 近 年来 兴起 的 一种 小 样 本 通 用 机 器 学 习 算 法 — 支 持 向量 机恰 好 弥补 了人 工神 经元 网络 的不足 , 具 有 小样本 、 推 广性 能好 、 全局 优化 的优 势 . 本 文试 图 将 这 种算 法 应用 于 巷道 支 护 方式 的选择 之 中 . 收稿 日期 : 2 00 今刁 3 一 ls 修 回 日期 : 20 0 -4 1-0 10 基金项 目 : 国家 自然科 学基 金 资助项 目困.0 5 0 0 7 80 0 2) 和 中 国 铁 道建筑 总 公司 科 技研 究开 发资助 项 目 (N .o G o Z 一 10)A 作 者简介 : 滕文彦 ( 19 72一 ) , 男 , 副教 授 , 博士 研究 生 1 支 持 向量 机 回 归 算法 支 持 向量 机 (简 称 S V M ) 是 确p献 与 其 同事 合 作提 出的一 种创 新性 学 习 算法 , 其 理 论基 础是 统 计 学 习 理论 , 下 面 简要 阐述 支 持 向量机 回归 ( S V R )算 法 问 . 对 回归 问题 , 线 性 函 数 设为 : . 冷) = w 优十云 ( l) 式 中 , w 为权值 向量 , b 为偏 差 . 考 虑 到允 许拟 合 误差 的情 况 , 引入 松弛 因子 吞全 0, 若之 0 , 优 化 问题 是 最 小化 * ( w ,氛。 · ) 一 令一l w ` }} 2+ C 艺(吞+ 乙) ( 2 ) 其 中 , 常 数凸0 . C 表示 了对 超 出误差: 的样本 的惩 罚程 度 . 约 束条 件 为 ( 3 ) 引入 L a g r a n g e 函 数 : : ( W , 。 , ; ; · , a , a · , , , 、 卜 告 w · 、 C会、 卜 蓦 “ 汇扭一+j 令。卜蓦` 〔`协 一 fx( 〕〕一 蓦(御汁; 户 · 式 中 , a 。, a : 为 L a g r a n g e 乘 子 , a ` , a 泽 0 小, , 少泛 o , =1 1 , … , .k 对 上 式进 行 偏微 分 , 并令 各 式等 于 零 , 得 艺a( ,一 a : ) = 0 二艺(a , 一 :a x), (4 ) C一 氏一 护 0 C一 试一 必二 O 将 式 (4 )代 入 L a g r a n g e 函 数 中 , 即得 优 化 问题 的对 偶 形 式 , 最 大 化 函 数 : DOI: 10. 13374 /j . issn1001 -053x. 2005. 04. 003
·396· 北京科技大学学报 2005年第4期 a,a=- 克(a-a(a-ax 21 帮移近量和顶底板移近量这两个指标.对同一个 2a-ay-((a+ae. 软岩巷道采用不同的支护方式,这两个指标的数 约束条件为: 值也不一样,能使这两个指标最小的支护方式无 吃(a-a)-0 疑就是最佳的支护方式.本文的支持向量机模型 1 (5) 的输入变量即为影响软岩巷道稳定性的9个因 0≤a,aj3C 素,输出变量即为两帮移近量和顶底板移近量这 w可由式(4)得到,由y以wx+b)户1和a∈(0,C)对应的 两个指标.采用表1所示的样本数据,为了计算 样本计算出b值. 的需要,在此对围岩节理裂隙发育程度这个影响 在高维特征空间用核函数来代替线性问题 因素取如下计算输入值:较发育,1:中等发育,2; 中的内积运算.经过与上面相同的推导,最后得 很发育,3.支护方式取值如表1下标注所示,得到 到的支持向量机拟合函数为: 如表1所示的样本集. fx-Σ(a,-a)Kx,x+b (6) 经典的支持向量机回归算法只考虑一个输 令B=a-G,则训练样本中B,为零的样本就是支持 出参数,对本文这种多参数输出问题目前国内外 向量. 尚没有这方面的研究,人脑在考虑此类问题时, 首先通过输入参数考虑得出第一个输出参数,然 2软岩巷道支护方式的支持向量 后将得到的这个参数连同输入参数一并考虑得 机模型 到第二个输出参数,依次类推直到得到所有的输 出参数.支持向量机作为人工智能的一种方法, 文献[1,3]的研究表明,影响软岩巷道稳定性 对多参数输出问题也可以采用同样的思路来解 的因素主要有:(1)岩石单轴抗压强度;(2)岩层自 决.下面给出了这种改进的支持向量机回归算法 重应力:(③)围岩节理裂隙发育程度:(4)岩块干燥 的实现步骤. 饱和吸水率:(⑤)蒙脱石和伊利石含量:(⑥岩石粘 2.1拟合算法 聚力:(7)岩石内摩擦角:(8)巷道断面面积:(9)支 (1)以学习样本的输入参数X(9个影响因素) 护方式.衡量软岩巷道支护方式成功与否就看两 作为网络的训练输入,第一个输出参数(两帮移 表1支持向量机模型样本集 Table 1 Samples of the SVM model 样岩石单轴抗岩层自重裂隙发岩块于燥饱蒙脱石和伊粘聚岩石内摩巷道断面支护两帮移近量/mm顶底板移近量/mm 本压强度MP阳应力MP阳育程度和吸水率%利石含量%力MPa擦角()面积m2方式样本值拟合值样本值拟合值 1 12.6 8.1 1 63 43 0.6828.6 63 3359352.6 413 434.7 14.8 83 2 49 0.78 30.0 5.8 3 257 243.7 225 225.0 8.9 10.5 1 3 46 0.47 28.1 5.4 2 656 656.0 806 806.0 143 9.2 64 % 0.75 28.4 5.6 1 507 501.6 615 615.0 14.3 2 0.75 28.4 5.6 3 364 364.0 426 442.1 6 7.7 47 0.45 27.5 4.9 3 327 387.4 281 315.3 15.9 8.7 35 0.81 31.8 6.5 4 219 219.0 166 135.3 16.2 85 42 10 1.21 32.3 2 482 395.2 348 369.8 9 12.0 7.3 65 45 0.83 29. 244 265.6 306 3060 10 16.2 8.5 10 1.21 32. 198 237.6 150 129.8 9.2 8.6 3 59 24 0.48 28.2 5.8 2 550 550.0 614 609.4 12.0 7.3 1 45 0.83 29.6 6.1 1 472 472.0 586 576.6 13 13.7 7.6 2 哈 12 1.02 30.2 4.8 2 505 453.7 380 380.0 14 10.8 8.6 1 48 36 0.41 27.2 63 4 269 285 11.1 88 53 48 0.51 28.6 5.5 3 397 461 16 17.1 9.0 2 45 21 1.1031.9 7.2 218 164 17 14.6 7.8 2 46 16 0.7629.0 68 419 457 注:表中支护方式取值代表含义:1一砌碹支护:2一砌墙架梁支护:3一封闭式可缩性U型钢支架:4一锚喷网支护
一 3 9 6 · 北 京 科 技 大 学 学 报 2 0 0 5 年 第 4 期 吩 ,a ,)一兹 a(t 一 :a) a(, 一 、 x(t Xj ) + 艺 a( ,一试卜一 艺 ( a 汁试) 二 约束 条件 为 : } 艺 ( ia 一 礴) = O 0 ` a 、 , a : ` C ( 5 ) w 可 由式科) 得到 , 由以w i,x +b )司 和氏任 (0, )C 对应 的 样本 计算 出 b值 . 在 高维 特 征 空 间用 核 函 数 来 代 替 线 性 问题 中 的 内积 运算 . 经 过与 上 面相 同的推 导 , 最 后得 到的 支持 向量 机 拟合 函数 为 : 令刀尸“ i一 成 , 向量 `4] . fx() 一蓦( a , 一 a :次伙声 。 ) + b ( 6 ) 则 训练样 本 中尽为零 的样本 就 是支 持 2 软 岩 巷 道 支 护 方 式 的支 持 向 量 机 模 型 文献 〔1 , 3] 的研 究 表 明 , 影 响软 岩巷 道 稳定 性 的因素 主要 有 : ( l) 岩 石单 轴抗 压 强度 ; (2) 岩 层 自 重应 力 ; ( 3) 围岩节 理 裂 隙发育 程度 ; (4) 岩块 干燥 饱和 吸 水率 ; (5 )蒙 脱 石和 伊利 石含 量 ; (6 )岩 石粘 聚力 ; (7) 岩石 内摩 擦 角 ; (8) 巷道 断面面 积 ; (9) 支 护方 式 . 衡 量软 岩巷 道支 护 方式成 功与 否就 看两 帮移 近 量和顶 底板 移近 量这 两个 指标 . 对 同一个 软岩 巷道 采用 不 同的支护 方式 , 这两个 指标 的数 值 也 不一样 , 能使这 两个 指标 最 小的支 护方 式无 疑 就 是最佳 的支 护方 式 . 本文 的支 持 向量机模 型 的输 入变 量 即 为影 响 软岩 巷 道稳 定 性 的 9 个 因 素 , 输 出变量 即为两帮 移近 量和 顶底板 移近 量这 两个 指 标 . 采用 表 1 所示 的样 本 数据 , 为 了计算 的需 要 , 在此对 围岩节理 裂 隙发育 程度 这个 影响 因素 取如下 计 算输 入值 : 较 发育 , 1 ; 中等 发育 , 2 ; 很 发育 , 3 . 支护 方式取值如 表 1 下标注 所 示 ,得 到 如 表 1 所 示 的样 本集 . 经 典 的支 持 向量 机 回 归算 法 只 考 虑 一 个输 出参 数 , 对本 文这 种 多参数 输 出 问题 目前 国 内外 尚没 有 这方 面 的研 究 . 人脑 在 考虑 此类 问题 时 , 首先通 过输 入参 数考 虑得 出第 一个输 出参数 , 然 后 将 得 到 的这 个 参数 连 同输入 参 数 一 并考 虑 得 到 第二个 输 出参数 , 依次类 推直 到得 到所 有 的输 出参数 . 支持 向量 机 作 为人 工智 能 的一 种方 法 , 对 多参 数 输 出 问题 也 可 以采 用 同 样 的思 路来 解 决 . 下面 给 出了这种 改 进 的支持 向量机 回 归算 法 的 实现步 骤 . .2 1 拟合 算法 ( l) 以 学 习 样本 的输 入参 数X( 9 个 影 响 因素 ) 作 为 网 络 的训 练输 入 , 第 一个 输 出 参 数 ( 两帮 移 表 1 支持向量 机模型 样本集 aT b l e 1 S a m P俪 o f 比e S V M 口 o d cl 样 岩石 单轴抗 岩层 自重 裂 隙发 岩块 干燥饱 蒙脱 石和伊 粘 聚 岩 石 内摩 巷 道断 面 支护 两帮移近 量/m m 顶底 板移近 量 /浏 刀 本 压 强度 产依公 , a 应力 J伽尸a 育程度 和 吸水率玛 利 石含 量%/ 力 /M p a 擦角 o(/ ) 面积 m/ , 方式 样本 值 拟合值 样本 值 拟 合值 48250750693218435927603643272198 30614285304614574132580642621348506 飞飞,儿l 凡飞ù、 J 络,`呼峙内乙月J x 山月峥, é,、 4- 几npJ : 孟、U工J :6 名石注4.53 28307319 尹民à八O n O0 闷` 7 八`ó3 4 目 飞 l ù 9 产04 , 矛气甘亡ó1 4 工 J J t产 恤呜. 咔月一 卜八尹CUon 、 ù星J 目 .1 12 . 6 14 r 8 8 . 9 14 . 3 14 3 9 5 1 5 . 9 16 . 2 12 . 0 16 2 9 , 2 12 . 0 13 . 7 1 0 . 8 1 1 . 1 1 7 . 1 14 . 6 8 3 2 10 乃 l ù 60户 : 、J1ù1 一,2 : n,9 哎月ōJ、.二j , … 6 ù有óùI 19 l 0 0 . 8 1 1 2 1 3 5 2 , 6 2 4 3 . 7 6 5 6刀 5 0 1 . 6 3 64 . 0 3 87 . 4 2 19 . 0 3 9 5 . 2 2 6 5 . 6 2 3 7 6 5 5 0 . 0 4 7 2 0 4 5 3 一 7 4 34 7 22 5 . 0 80 6 . 0 6 15 . 0 4 4 2 . 1 3 15 . 3 13 5 . 3 3 6 9 . 8 3 0 6 . 0 12 9 8 6 0 9 . 4 5 7 6 ` 6 3 8 0 0 飞一一、 : 0,户 . . R中. ùh4 , J26 ù,ù . . … 八` O 9 C11 内j2 门`J, 魂ú、 , . 入傀n内乙J ō 只 . ,`峥é月R 、勺, 04 ; n U 02 ó“1 八曰 1 . 10 0 一 76 2 8 . 6 5 . 5 3 1 . 9 7 . 2 2 9 . 0 6 . 8 452836216102 647352659634853573 l 0 I l `ōU, ù ` : 7 奋 , zR 08 2 : 0 2 7 l 2 l 3 1 4 1 5 1 6 l 7 注 : 表 中支护方 式取值 代表 含义 : 1一砌谴 支护 ; 2一砌墙架 梁支 护 ; 3一封 闭式可 缩性 U 型 钢支架 ; 4一锚喷 网 支护
Vol.27 No.4 滕文彦等:软岩工程支护的双层SVM的智能设计方法 ·397· 近量)的样本值作为网络的训练输出,经机器学 评价SVM网络学习与预测精度的目标函数: 习得出第一个输出参数的拟合值: 0-w (8) (2)以Xy为网络的训练输入,第二个输出参 式中,N为输出变量的个数(此处N=2). 数(顶底板移近量)的样本值作为网络的训练输 经网络训练,得到能使式(⑧)达到最小的网络 出,经机器学习得出第二个输出参数的拟合值. 参数为:多项式核函数,核参数d=1,C-197,ε- 2.2预测算法 2.611,该网络对后两个样本的预测情况见表4, (1)用拟合算法训练得来的网络,以检验样本 设计结果见表5. 的X作为网络预测的输入参数,经网络的外推预 表2支持向量机模型的预测结果(13个学习样本) 测得第一个输出参数(两帮移近量)的预测值y. Table 2 Predicted results of the SVM model with 13 learning sam- (2)X和y作为网络预测的输入参数,经网络 ples 的外推预测得到第二个输出参数(顶底板移近 序两帮移近量mm 顶底板移近量/mm 量)的预测值 号样本值预测值相对误差%样本值预测值相对误差% (3)按同样道理重复上一步,直到得到所有 14269290.96 8.16 285310.26 8.86 输出参数的预测值 15397367.117.53 461413.01 10.41 16218 238.629.46 164177.76 8.39 3建模与计算结果分析 17419 434.453.69 457432.54 5.35 支持向量机建模的影响因素有3个:(1)C值; 表3不同支护方式的SVM模型预测变形量(13个学习样本) Table 3 Predicted deformation using the SVM model in various (2)E值:(3)核函数类型及核参数取值四.与人工神 supporting patterns with 13 learning samples 经元网络不同的是支持向量机基于结构风险最 支护方式 两帮移近量/mm顶底板移近量mm 小化原理,所以支持向量机算法不存在过学习的 砌碓支护 389 407 问题,由训练得来的最优模型参数也必然是最优 砌墙架梁支护 320 322 的预测模型参数,由于本文提出的改进SVR算法 封闭式可缩U型钢支架 252 238 是一种循序递进的算法,所以在寻找最优SVM 锚喷网支护 186 164 网络时,只需在训练第一个输出参数时找到训练 表4支持向量机模型的预测结果(15个学习样本) 误差最小的网络参数,这个网络参数也应该是第 Table 4 Predicted results of the SVM model with 15 learning sam- 二个输出参数的最优网络参数, ples 以表1所示的前13个样本为学习样本,后4 序 两帮移近量/mm 顶底板移近量mm 个样本为检验模型外推预测能力的测试样本,采 号样本值预测值相对误差%样本值预测值相对误差% 15397419.4 用MATLAB语言编程可,以如下函数来衡量网络 5.64 461440.694.41 16218209.63.85 164176.257.47 学习与预测精度的优劣: s-Li-y (7) n it 从表2可见,仅仅采用13个学习样本就能得 式中,n为学习样本的个数,,分别表示机器学 到预测精度非常高的支持向量机模型,预测最大 习时样本的样本值和拟合值.经过对学习样本的 相对误差不超过10.5%,两帮移近量预测平均相 机器学习,发现采用多项式核函数,核参数d=1, 对误差为7.21%,顶底板预测平均相对误差为 C-12.5,ε=0.001时式(7)的取值最小,即训练误差 8.25%,可以满足工程上的需要.如果采用15个学 最小,拟合结果见表1的后4列.采用此网络参数 习样本,从表4可见,预测误差进一步降低,两帮 对测试样本进行预测,预测结果见表2.文献[3)] 移近量预测平均相对误差降为4.75%,顶底板预 给出了梅田3矿南8采区±25m瓦斯抽放巷的支 测平均相对误差降为5.94%,对比文献[3]的预测 护设计来验证所建立的人工神经网络(ANN)模 结果,这两个数值分别为4.2%,7.31%,预测结果 型的可靠性,在此对同一实例用本文建立的较文献[3]得到改进.从表3和表5来看,该巷道 SVM模型来计算,结果如表3所示. 应选用锚喷网支护,这与文献]的结论是一致 采用文献[3]中表1的前15个作为学习样本, 的,而且采用13个学习样本的SVM网络较采用 后两个作为检验样本,以输出变量的总方差作为 15个学习样本的SVM网络的预测精度要低.这
匕 1 V . 7 o2 N . 4 滕 文彦 等 : 软 岩 工程 支护 的双 层 S M的V智 能设 计方 法 · 3 97 - 近 量 )的样 本值少, 作为 网络 的训 练输 出 , 经机 器 学 习 得 出第 一个 输 出参数 的拟 合值杯 ; (2 ) 以戈少, 为 网 络 的 训练 输 入 , 第 二个 输 出参 数 ( 顶底 板移 近量 ) 的样本 值〕、作 为 网 络 的训 练输 出 , 经机 器 学 习得 出第 二个 输 出参 数 的拟合 值少; . .2 2 预 测 算法 ( l) 用拟 合 算法 训练 得来 的网络 , 以检验 样本 的刃作 为 网络 预 测 的输 入参 数 , 经 网络 的外 推预 测 得第 一个 输 出参数 (两 帮 移近 量 ) 的预测 值厂 . (2 W 和少1 , 作 为 网络预 测 的输入 参数 , 经 网 络 的外 推 预测 得 到 第 二个 输 出参 数 (顶 底 板 移 近 量 ) 的预 测 值对 , (3 ) 按 同样 道 理重 复 上 一步 , 直 到得 到所 有 输 出参 数 的预 测值 . 评 价 S V M 网 络 学 习 与预 测 精度 的 目标 函 数 : 介摊; 、 丁 ( 8 ) 式 中 , N 为输 出变量 的个 数 (此 处N 一 2 ) , 经 网 络 训练 , 得 到能 使式 ( 8) 达 到最小 的网 络 参 数 为 : 多项 式 核 函 数 , 核参 数 d =l , =C 19 7 , : = .2 6 11 , 该 网络 对后 两 个样 本 的预测 情 况见 表 4, 设 计 结果 见表 5 . 3 建 模 与计 算 结 果 分析 支 持 向量机 建模 的影 响 因素有 3个 : ( 1) C值 ; (2 s) 值 ; (3 )核 函 数类 型 及核 参 数 取值 『7] . 与 人工 神 经元 网 络 不 同 的 是支 持 向量 机 基 于 结构 风 险最 小化 原理 , 所 以支 持 向量 机算 法 不存在 过 学 习 的 问题 , 由训练 得来 的最 优 模型 参数 也 必然 是最 优 的预测 模 型参 数 . 由于本 文提 出的改进 SV R 算 法 是 一种 循 序 递进 的算法 , 所 以在 寻 找 最优 S V M 网 络 时 , 只 需 在训 练第 一个 输 出参 数 时找 到训练 误 差最 小 的 网络 参 数 , 这个 网 络参 数也 应 该是第 二 个输 出参 数 的最优 网络 参 数 . 以表 1 所 示 的前 13 个 样 本 为学 习 样 本 , 后 4 个 样本 为检 验模 型外 推 预测 能力 的测 试 样本 , 采 用 M A T L A B 语 言 编 程口, , 以如下 函 数 来衡 量 网 络 学 习 与 预测 精 度 的优 劣 : 表 2 支持 向量机 模型 的预 测结 果( 13 个 学 习样 本 ) aT b卜 2 P er d i c t e d 代 s u l朽 o f t h e S V M m o d el w i t b l 3 lae r n认g s a m - p l e s 序 两 帮移近 量 / ~ 顶底 板移 近量 /m m 号 样本值 预测 值 相 对误 差%/ 样 本值 预 测值 相对 误差 o/ 14 2 69 2 9 0 9 6 8 . 16 2 8 5 3 10 . 2 6 8 . 86 15 3 97 3 6 7 . 11 7 . 5 3 4 6 1 4 13 . 0 1 1 0 . 4 1 16 2 18 2 3 8 . 6 2 9 . 4 6 16 4 17 7 . 7 6 8 3 9 17 4 19 4 3 4 . 4 5 3 . 6 9 4 5 7 4 3 2 5 4 5 . 3 5 表 3 不 同支护 方式 的 S V M 模型 预测 变形 量( 13 个 学习 样 本 ) 介 b l e 3 P比d i e t c d d e fo r m a iot n u s i n g ht e S V西改 m o d e l i n v a r i o u s s u P P o r七n g P a ct nr s w i th 13 l e a r n i n g s a m P l e s 支 护方 式 两帮移 近量加m 顶 底板 移近 量加 m 砌 破 支护 3 8 9 4 0 7 砌 墙 架梁 支护 3 20 3 2 封 闭式可缩 U 型钢 支架 2 52 2 38 锚 喷 网支护 18 6 16 4 表 4 支持 向量 机模 型的预 测 结果 ( 15 个 学 习 样本 ) aT b l e 4 P碑d ic t e d 比s u l t s o f t卜e S V M m o d e l 币t h 1 5 l e a r n in g s a m - P肠 s 序 两 帮移 近量加m 顶 底板 移近量加 m 号 样本 值 预测值 相对 误差%/ 样本 值 预测 值 相对误 差%/ 1 5 3 9 7 4 1 9 . 4 5石4 4 6 1 4 4 0 . 6 9 4 . 4 1 1 6 2 1 8 2 0 9 . 6 3 名5 16 4 17 6 . 2 5 7 . 4 7 叶蓦价斌 ( 7 ) 式 中 , n 为学 习 样 本 的 个数 , 兄 升分 别 表 示机 器 学 习 时样 本 的样 本值 和拟 合值 . 经过 对 学 习 样本 的 机器 学 习 , 发 现采 用 多 项式 核 函 数 , 核 参 数 d 月 , =C 12 . 5 , 。 = .0 0 1 时式 (7 ) 的取值 最 小 , 即训 练 误 差 最小 , 拟合 结 果见表 1 的后 4 列 . 采 用此 网络 参 数 . 对测试 样 本进 行 预测 , 预测 结 果 见表 2 . 文献 3[ 〕 给 出 了梅 田 3 矿 南 8 采 区上25 m 瓦 斯抽 放 巷 的支 护 设计 来验 证 所建 立 的人 工神 经 网 络 (A N N ) 模 型 的 可 靠 性 , 在 此 对 同 一 实 例 用 本 文 建 立 的 SV M 模 型 来计 算 , 结果 如表 3 所 示 . 采 用文 献 3[ 」中表 1 的前 巧 个 作 为学 习 样 本 , 后 两个 作 为检验 样 本 , 以输 出变 量 的 总方差 作 为 从 表 2 可 见 , 仅仅 采用 13 个 学 习 样 本就 能得 到 预测 精 度非 常高 的支 持 向量机 模 型 , 预测 最大 相 对误 差 不 超 过 1.0 5% , 两 帮移 近 量 预测 平均 相 对 误 差 为 .7 21 % , 顶 底 板 预 测 平 均 相 对 误 差 为 .8 25 % , 可 以满 足工 程上 的需要 . 如 果采 用 巧 个 学 习 样本 , 从表 4 可 见 , 预 测误 差进 一步 降低 , 两 帮 移近 量 预 测平 均 相对 误 差 降 为 .4 75 % , 顶底 板 预 测平 均 相对 误 差 降 为 5 . 94 % , 对 比文 献 3[ 1的预 测 结果 , 这两 个 数值 分 别 为 .4 2% , .7 31 % , 预测 结果 较 文 献 3[ ] 得 到改 进 . 从 表 3 和表 5 来 看 , 该 巷道 应 选 用锚 喷 网 支护 , 这 与文 献 [3] 的 结论 是 一致 的 , 而 且采 用 13 个 学 习 样 本 的 S V M 网 络 较采 用 巧 个 学 习 样本 的 S V M 网 络 的预 测精 度 要低 . 这
398 北京科技大学学报 2005年第4期 表5不同支护方式的SVM模型预测变形量(15个学习样本) 的误差,可以充分考虑各种影响设计效果的因素, Table 5 Predicted deformation using the SVM model in various supporting patterns with 15 learning samples 降低设计误差.但由于人工神经元网络存在“过 支护方式 两帮移近量mm项底板移近量/mm 学习”的弊病,这给用户在寻找最优神经元网络 砌殖支护 464 481.5 时带来了极大的不便.而支持向量机恰巧可以弥 砌墙架梁支护 372 373.0 补这个不足,从算法理论上来说,训练误差最小的 封闭式可缩U型钢支架 280 265.0 支持向量机网络必定是预测误差最小的网络,由 错喷网支护 208 177.0 于其本质是求解一个凸二次规划(QP)问题,能够 保证求得的解必是全局最优解,且只需数量很少 是由于第二种网络的学习样本更多,网络能够学 的样本就能达到极高的精度.本文的计算结果验 到更多的知识,而且相应的精度更高, 证了支持向量机的这些优点,无疑这为类似工程 本文提出的这种改进的支持向量回归算法 提供了借鉴, 采用了逐个回归,循次优化的思路,只考虑前面 的输出变量对下一个输出变量的影响,没有更多 参考文献 地考虑各个输出变量之间的交互作用,即不能解 []何满湖,景海河,孙晓明.软岩工程地质的研究进展,工程 决并行处理的困难,所以很难避免误差积累的缺 地质学报,2000,8(1:46 陷,造成随着输出变量的增多,预测误差越来越 [2]刁心宏,王泳嘉,冯夏庭,等.用人工神经网络方法辨识岩 体力学参数.东北大学学报(自然科学版),2002,231):60 大的情况,但只要网络优化方法得当,也可以取 3】朱川曲,缨协兴,谢东海.款岩巷道支护方式优化的神经 得相当满意的结果,本文的第二种优化方法就验 网络模型.岩土工程学报,2001,236:708 证了这一点. [4]Vapnik N V.The Nature of Statistical Learning Theory.NY: Springer-Verlag,1995 4结束语 [5]Cristianini N,Shawe-Taylor J.An Introduction to Support Ve- ctor Machines and other Kemel-based learning methods.Cam- bridge University Press,2000 软岩工程的支护设计是一项非常困难的工 [6]赵洪波,冯夏庭.支持向量机函数拟合在边坡稳定性估计 作,传统的任何方法都难以取得令人满意的结果, 中的应用.岩石力学与工程学报,2003,22(2):241 将人工神经元网络引入软岩工程的支护设计之 [7]Gunn S R.Support Vector Machines for Classification and Re- 中,可以避免由于物理和数学模型不精确而带来 gression.Technical Report.University of Southampton,1998 Intelligent design method for soft rock engineering supporting based on tow layer support vector machines TENG Wenyan2,OIAO Chunsheng",HU Yuting" 1)School of Civil Enginecring and Architecture,Beijing Jiaotong University,Beijing 100044,China 2)Department of Civil Engineering,Shijiazhuang Institute of Railway Engineering,Shijiazhuang 050041,China ABSTRACT A machine learning algorithm-Support Vector Machines(SVM)was introduced into the field of soft rock engineering supporting design.An improved Support Vector Machines Regression(SVR)algorithm was presented to meet the needs of this problem and the corresponding calculation code was programmed.It is concluded that a high degree of prediction accuracy and a very good generalization can be obtained with small quantity of learning samples using this algorithm from the calculated results of an engineering instance.It can avoid the over- fitting problem of artificial neural network(ANN)which brings the difficulty in determining the parameters of ANN.It facilitates users to a great extent and provides a new way in the supporting design of similar engineering. KEY WORDS soft rock engineering;supporting design;support vector machine;machine learning;regression and prediction
一 3 9 8 - 北 京 科 技 大 学 学 报 2 0 0 5 年 第 4 期 表 5 不 同支护 方式 的 S V西理模 型预 测变形 量 (1 5 个学 习 样本 ) Ta b lc S P比 d i e t e d d e fo r m a五o n u s i n g t h e S V M m o d le i n v a ri o u s s u P P o rt 加 9 p a讹 r . s w i t h 15 l e a rn i n g s a m p l e s 支护方式 两帮 移近量 /曲 n 顶底板 移近量加 m 砌暄 支护 砌 墙架 梁支护 封 闭式可 缩 U 型钢 支架 锚喷 网 支 护 4 8 1 . 5 37 3 . 0 2 6 5 . 0 17 7 0 的误 差 , 可 以充 分考虑 各种 影 响设计 效果 的因素 , 降低 设 计误 差 . 但 由于人 工 神经 元 网络 存 在 “ 过 学 习 ” 的弊 病 , 这 给 用户 在寻 找 最优 神经 元 网 络 时带来 了极 大 的不便 . 而支 持 向量机 恰 巧可 以弥 补 这个 不足 , 从算法 理论 上来 说 ,训练 误差 最小 的 支 持 向量机 网络 必 定 是预测 误 差最 小 的 网络 , 由 于其 本质是 求解 一 个 凸二 次规 划 (QP ) 问题 , 能够 保 证 求 得 的解 必 是全 局 最优 解 , 且只 需数 量很 少 的样本 就 能达 到极 高的精 度 . 本文 的计 算结果 验 证 了支 持 向量 机 的这些 优 点 , 无 疑这 为类 似工程 提 供 了借 鉴 . 2803746 是 由于第 二种 网络 的学 习 样本 更 多 , 网络 能够 学 到更 多 的知 识 , 而且 相 应 的精度 更 高 . 本 文 提 出 的这 种 改进 的支 持 向量 回 归算 法 采 用 了逐 个 回归 , 循 次 优化 的思路 , 只 考 虑 前面 的输 出变 量对 下 一个 输 出变 量 的影 响 , 没 有更 多 地考 虑各 个输 出变 量之 间 的交互 作用 , 即不 能解 决并 行处 理 的困难 , 所 以很 难避 免误 差积 累 的缺 陷 , 造 成 随着输 出变 量 的增 多 , 预测 误 差越 来越 大 的情况 , 但只 要 网络 优化 方 法得 当 , 也可 以取 得 相 当满意 的结 果 , 本文 的第 二种优 化 方法 就验 证 了 这一 点 . 4 结 束 语 软岩 工 程 的 支 护 设计 是 一 项 非 常 困难 的工 作 , 传统 的任 何 方法都 难 以取得令 人满 意 的结果 , 将人 工 神经 元 网 络 引入 软 岩 工程 的支 护 设计 之 中 ,可 以避 免 由于 物理 和 数学 模 型不精 确 而 带来 参 考 文 献 「1] 何满潮 , 景海 河 , 孙 晓 明 , 软岩工 程地质 的研 究进展 . 工程 地质 学报 , 2 00 0 , 8 ( l ) : 4 6 2[] 刁 心宏 , 王泳嘉 , 冯 夏 庭 , 等 . 用人 工神经 网络方 法辨 识岩 体力 学参数 东 北大学 学报 (自然科 学版 ) , 2 0 02 , 2 3( :l) 60 口] 朱 川 曲 , 缪协兴 , 谢东海 . 软岩 巷道 支护方 式优化 的神经 网络模 型 · 岩 1 1 程学报 , 2 0 0 1 , 2 3 ( 6 ) : 70 5 4[ ] 猫p砒 N V 刀 飞e N a n叮 e o f s iat st i c al L e an u n g hT e o 取 N Y : S P ir n g -er 、 七r l ag, 1 9 5 [ 5 ] C r i s tl叨 i n 1N , Sh a w e j b y lor J . nA I n tr o du ct ion ot s 即P o rt 决 - ct or M 台e 丘泊e s 即d o ht e r K ~ 卜b as de le 出刀 m g m e ht o ds . C aln - b ir dg e U 苗 v ers ity P r e s s , 2 0 0 0 6[ ] 赵 洪波 , 冯夏庭 . 支持 向量机 函 数拟 合在 边坡稳 定性 估计 中 的应 用 . 岩 石 力学 与工 程学 报 , 2 0 03 , 2 2( 2 ) : 2 41 「7 ] G u n 5 R . S u P P ort 、 飞c t o r M a e h i n e s of r C als s饭 c iat o n 曲d eR - 罗e s s i o n . eT e腼 e al R e p ort . U n i v ers ity o f s o u ht 剐 旧p ot n , 1 9 9 8 ntI e l li g e nt d e s ign m e ht o d fo r s o ft r o c k e ng i n e e r in g s uP P o rt i n g b a s e d o n ot w lay e r s uP P o rt v e e t o r m a e h in e s 几卿G 冼毋 口刀 1 , , ), QIA O hC u n s h e双9 1 ), H U uY it n犷 , 1) S e h o o l o f C VI i l nE g ien e inr g an d iA e h i t e c执犷 e , B e ij ing Jiao t 0 n g U n i v esr iyt, B e ij in g l 0 0 04 4 , C h ina 2 ) D e P别由叮 e n t o f C i v il E n g in e e r i n g , S hij l` 山 u an g l n s tlut t e o f R卫 ilw ay E n g in e e r in g , S h ij i山土u an g 0 5 0 0 4 1 , C h i n a A B S T R A C T A m a e h i n e l e a r n i n g al g o ir t hj m一S uP P ort Ve e t o r M a e h i n e s ( SV M ) w a s in tr o d u e e d int o ht e if e l d o f s o ft r o e k en g ine e r i n g s u P P ort ign d e s ign . nA lm P r o v e d S uP P o rt Ve ct or M a c h i n e s eR gr e s s ion ( S V R ) a lgo ir t h m w a s p r e s e nt e d ot m e et hte n e e d s o f iht s P or b l em an d ht e e o r e s P o n di n g c al cul iat on e o de w a s P r o g r a m m e d . ft 1 5 e o cn ldu e d ht a t a ih gh d e gr e e o f P r e d i e it o n ac e aur e y an d a v e ry g o o d g en e r a il z a t lon c an b e o b t a i n e d w ith s m al l q u a n t ity o f l e a r n i n g s 印m P l e s us ign itl s al g o ir t ln fr o m t h e e al cul at e d re s ult s o f an e n g l n e e r i n g in s t a n e e . tI c an va o i d ht e vo e r - ift ign P or b l e m o f 翻rt iif e i al n e aur l n e 卜刀 o r k (A N N ) w h i e h b ir n g s hte id if e u lty in d e t e n 力 I n in g hte P ar am et r s o f A N N . tI af e ilit at e s u s er s t o a gre at e xte nt an d P or v ide s a new w ay in hte s u P P o rt in g de s i助 o f s im i lar e n g l n e e r i n g . K E Y WO R D S s o fl or e k en g ine e n n g ; s u P P o rt i n g de s ign ; s u PPOrt ve ct o r m a e h i n e : m a e h l n e l e 田刀 I gn : r e gr e s s i o n 助 d rP e d i ict o n