D0I:10.13374/j.issnl001-053x.1994.05.013 第16卷第5期 北京科技大学学报 Vol.16 No.5 1994年10月 Journal of University of Science and Technology Beijing 0ct1994 神经网络在梯度功能材料制备中的应用 徐雪艳)穆志纯) 汪朝霞2) 郭丽斌2) )北京科技大学自动化信息工程学院,北京1000832)北京科技大学材料科学与工程系 摘要针对梯度功能材料(FGM)制备过程的复杂性,提出了利用神经网络信息处理机制进行制备 材料的特性预估.实例分析表明,这一方法是有效的.同时,针对BP学习算法速度较慢,易陷 入局部极小的缺点,改用函数型连接网络来提高学习速度.试验表明学习速度提高显著, 关键词神经网络/梯度功能材料,BP算法,函数型连接网络 中图分类号TP18,TF125.3 Application of Neural Network to the Process of Functionally Gradient Materials Fabrication Xu Xueyan Mu Zhichun)Wang Zhaoxia?Guo Libin 1)Automation and Information Engineering College,USTB,Beijng 100083,PRC 2)Department of Material Science Engineering ABSTRACT Taking account of complecities of the Functionally Gradient Materials (FGM)fabrication process,a neural network based expert system which estimates the properities of the material is presented.The experimental results show that this method is ef- fective.To improve the learning speed of the system and reduce the possibility of lo- cal minimum,a functional-linked net is introduced.The application indicates that both learning speed and accuracy of the estimation are satisfactory. KEY WORDS neural networks/functionally gradient materials,BP algorithm functional- linked net FGM基本思想是:根据具体要求,选择使用两种具有不同性质的材料,使其合成材料的要 素(组成、结构等)沿厚度方向由一侧向另一侧呈连续变化,从而使材料性质和功能呈梯度变 化.其制备过程综合了计算机辅助材料设计和先进的材料复合技术四. FGM的设计是一个非常复杂的过程,即使很有经验的材料专家在多数情况下也不可避 免地难以解决设计精度低、研制周期长、效率低等问题.因而人们将目光转向了专家系统方法回. 由于传统专家系统知识表达及推理机制的局限性,使其缺乏自学习能力,不能适应FGM 这一全新的材料设计过程,神经网络的迅速发展为我们解决这个问题开辟了一条新途径, 1994-02-23收稿第一作者女25岁硕士 ·“863“青年科学基金资助项日
第 卷 第 期 北 京 科 技 大 学 学 报 望月 年 月 。 。 沈 望月 神经 网络在梯度功 能材料制备 中的应用 ‘ 徐 雪艳 飞 穆 志纯 , 汪 朝 霞 郭丽 斌 北京科 技大 学 自动化信息 工 程 学 院 , 北 京 幻 北京 科技大学 材 料 科 学 与 工程系 摘要 针对梯度功能材料 制备过程的复杂性 , 提出了利用神经网络信息处理机制进行制备 材 料 的 特 性 预 估 实 例 分 析 表 明 , 这 一 方 法 是有效 的 同时 , 针对 学 习 算法 速度较慢 , 易 陷 入局部极小 的缺点 , 改 用 函 数型 连接 网络来提 高学 习速度 试验表 明学 习速度提高显著 关键词 神经 网络 梯度 功 能材料 , 算法 , 函 数型 连接 网络 中图分类号 开 , 即 , “ 肠 刀 翻 。 五 邵 民 , , 〕 , 欠 叭 把 优 叨 面 伍 以 璐 , 此 玲 丘℃ “ 对 ℃ 以 而 , 一 比 以沮 比 , , 允 基本 思想是 根 据具 体要 求 , 选 择使 用 两种 具有 不 同性 质 的材料 , 使其合成 材 料 的要 素 组 成 、 结构 等 沿 厚度 方 向 由一 侧 向另 一 侧呈 连 续 变 化 , 从而 使 材 料 性 质 和 功 能 呈 梯 度 变 化 其制 备过 程 综 合 了计 算机辅助 材 料设计和 先进 的材料 复合技 术 的设计是 一 个 非 常复 杂 的过程 , 即使 很 有 经 验 的材 料 专 家 在 多 数 情 况 下 也 不 可 避 免地难 以解决设计精度低 、 研制周期长 、 效率低等 问题 因而人们将 目光转 向了专家系统方法吼 由于传 统专家系 统知 识 表 达及 推 理 机 制 的 局 限性 , 使 其缺 乏 自学 习 能 力 , 不 能 适 应 这一 全新 的材料 设计过 程 神 经 网络 的迅 速 发展 为我们解 决这个 问题开辟 了一 条新途 径 夕〕 一 一 收稿 第 一 作 者 女 岁 硕士 “ ” 青年科 学 基 金 资助 项 目 DOI :10.13374/j .issn1001-053x.1994.05.013
Vol.16 No.5 徐雪艳等:神经网络在梯度功能材料制备中的应用 465. 1基于神经网络的FGM特性预估(BP算法) 1.1用神经网络预估FGM特性的可解性 神经网络是一种模仿人类神经系统的数学模型,由多个非常简单的处理单元(神经元)大 规模互连而成,当这众多神经元连接成一个网络并动态运行时,则构成一个非线性动力学 系统,这样的系统可以用来对梯度功能材料的特性进行估计,根据本问题的性质及特点 可以把问题描述为: 设X∈R(i=1,…,n)对应于影响FGM特性的各个因素;Y∈Rm(U=1,…,m)对应于 FGM的各种特性.那么本预估问题就是求解F:R→R";Y=F(x)的映射问题.相应理论已 证明,对于上述问题可由基于误差反向传播算法的前馈网络以任意精度的均方误差来接近, 因此,对于FGM特性预估的问题,如果输人的选择能够包括所有影响FGM特性的因 素,那么网络总可以通过对训练样本的自适应学习来获得一定的预估能力. 1.2FGM特性预估神经网络的结构及算法 根据自蔓燃法合成FGM的工艺特点和目前具备的实验检测条件,对实验数据进行了 分析选择,剔除不合理数据和对FGM性能影响不大的因素,从而确定了将原材料配比(如 Ti、B.C1的含量比)、粒度、,素坯密度、实验温度和反应压力等作为输人特征矢量,将主要的FGM 特性,如成品致密度、成品粒度作为网络的输出.采用当前应用最广泛的前馈网络,得到如 图1所示的网络结构. 致密度 粒度 输出层 图1FGM特性预估神经网络结构 Fig.1 Structure of neural network for 隐戴层 the FGM property estimation ○输入层 Ti B Cu B C 粒 含 整 应压 度 力 网络的学习算法选用基于前馈网络的标准学习算法-BP算法(Back Propogation algorithm).学习偏差E定义为: E=克22I-0J 2n气台 其中,m为输出节点个数;n为学习样本数;T,为网络各输出单元的期望输出,即实验
、 徐雪艳等 神经 网络在梯度功能材料制备 中的应用 基于神经网络 的 特性预估 算法 用神经 网络预估 特性的可解性 神经网络是一种模仿人类神经系统的数学模型 , 由多 个非 常简单 的处理 单元 神 经元 大 规模互 连 而 成 , 当这 众 多 神 经 元 连 接 成 一 个 网 络 并 动态运行 时 , 则构成 一个非 线性 动力 学 系 统 , 这 样 的 系 统 可 以 用 来 对梯 度 功 能 材 料 的 特 性 进 行 估 计 根 据 本 问 题 的 性 质 及 特 点 可 以 把 问题描 述 为 设 戈 任 , … , 。 对应于 影 响 特性 的各个 因素 任俨 仃 , … , 对应于 的各种 特性 那 么 本预估 问题就是 求解 俨 的映 射问题 相 应理论 已 证 明间, 对于 上 述 问题可 由基于误差 反 向传播算法 的前馈 网络 以任 意精度 的均 方误差来接近 因此 , 对于 特性 预估 的 问题 , 如 果 输人 的 选 择 能 够 包 括 所 有 影 响 特 性 的 因 素 , 那 么 网络 总可 以 通过对训 练样本 的 自适应学 习来获得 一定 的预估能力 特性预估神经 网络 的结构及算法 根 据 自蔓 燃 法 合成 的 工 艺 特 点 和 目前 具 备 的 实验 检 测 条件 , 对 实 验 数 据 进 行 了 分析选 择 , 剔 除不合 理 数据 和 对 性 能 影 响 不 大 的 因 素 , 从而 确 定 了 将 原 材 料 配 比 如 、 、 的含量 比 、 粒度 、 素坯密度 、 实验温度和反应压力等作为输人特征矢量 , 将 主要 的 特性 , 如成 品致 密度 、 成 品粒度作 为 网络的输 出 采用 当前应 用 最 广泛 的前 馈 网 络 , 得 到 如 图 所示 的 网络结构 致密 度 粒度 输 出层 隐藏层 图 ’ 特性预估神经 网络结构 瑰 ’ 叙皿℃ 。 曰口 傲 触 写 脚叩刚 山旧垃刃 输人层 素坯密度 含量 含量 含量 反应压力 石粒 粒度 伽粒度 度 网 络 的 学 习 算 法 选 用 基 于 前 馈 网 络 的 标 准 学 习 算 法 一 算 法 。 力 学 习偏差 定义 为 一 去嚣 。 一 匈 ’ 其 中 , , 为输 出节点个数 。 为学 习样本数 不 为 网络各输 出单元 的期望 输 出 , 即实验
·466 北京科技大学学报 1994年No.5 所测得的材料特性值;O,为网络相应的实际输出,它是与此节点相连的所有节点的输出加 权和的激励,即 0k=f∑W0) 其中,W为相应的权值.而f(x)为每一个节点都存在的一个激励函数,取为非线性的 sigmoid函数,即: fx)=1/(1+e 通过△W+"=n(E/W)+xAW(m)(I为学习率,x为惯性量),来调节权值,使偏差E 不断减小,从而使网络具有一定的输人、输出联想推理能力.计算机上的模拟试验证明,采 用BP网络对材料特性的预估能力较强,能够达到较高的预估精度. 13基于BP网络的FGM特性预估的实施 在运用BP算法实现FGM特性预估的过程中还需要解决以下几个问题: (1)由于各输人变量的量纲不一致,样本数值相对集中,造成学习时间长,收敛精度低, 故需将输人数据作归一化预处理, (2)网络结构的确定,实际问题的具体要求决定了网络的输人输出节点,但隐藏层和隐 节点数的选择没有统一的标准,需要通过反复试验来确定.表1反映了在对成品致密度进行 预估时不同的结构对学习效果的影响,可见选1个隐藏层,7个隐节点时,学习效果最好, 预估精度最高· (3)学习率”和惯性量α的选择,n增大,可加快学习速度,但可能引起振荡效应, 使算法不易收敛;x的引入可以抑制振荡,但不可避免地会延长学习时间.至于”和:的具 体配合值尚没有统一的理论,需要反复试验来选择.对本实际问题,”=0.6,x=0.9时为最佳. (4)再学习机制的建立.当经过训练的网络对一新样本的识别产生较大误差时,网络需 将该样本作为学习样本重新学习,以提高系统对不断变化着的客观世界的自适应能力. (5)用检验集中的样本对已训练好的神经网络进行测试,通过分析预估误差,来对预 估的效果进行评价,见表2.由结果可以看到,此网络经过初步学习,已掌握了FGM影响 FGM特性的一定规律,具有较强的预估推理能力, 表1不同隐层和隐节点对网络学习及预估效果的影响(1=0.6,=09) Table 1 Effect of different mmbers of hidden layers and units on the leaming and estimation of the net 试验次数 隐层数 隐节点数 学习误差(归一化后) 耗时(100步) 预估误差 1000步 2000步 3000步 /min 1 1 0.016009 11 振荡不可分 2 1 0.000182 0.000037 0.000011 16 1.61 3 0.000362 0.0001490.000062 28 0.70 4 30 0.000158 0.0000730.000024 110 1.90 2 2,4 0.000245 0.000182 0.000161 白 1.66 6 3 6,6 0.000352 0.0001390.000054 49 1.53
· 北 京 科 技 大 学 学 报 卯 年 所测得 的材料 特性值 为 网络相 应的实际输 出 , 它是 与此 节点相 连 的所有节 点 的输 出加 权 和 的激励 , 即 一 艺, 其 电 叽 为 相 应 的权 值 而 为 每 一 个 节 点 都 存 在 的 一 个 激 励 函 数 , 取 为 非 线 性 的 函 数 , 即 一 兀 通 过 △衅 ” 二 。 日 日叽 △城 , 勿 为 学 习 率 , 为 惯 性 量 , 来 调 节 权 值 , 使 偏 差 不 断减 小 , 从而 使 网络具有 一定 的输人 、 输 出联想 推理 能 力 计算 机 上 的模拟 试验证 明 , 采 用 网络对材料 特性 的预估能力 较强 , 能够 达到 较 高 的 预估精度 基 于 网络 的 特性预估 的实施 在 运 用 算法 实 现 特性 预估 的过程 中还需要解 决 以 下 几个 问题 由于各输人 变量 的量 纲 不 一致 , 样本数值相 对集 中 , 造 成 学 习 时 间 长 , 收 敛 精 度 低 , 故需 将输人数据作 归 一化预处理 网络结构 的确 定 实 际 问题 的具体要 求决定 了 网络 的输人输 出节 点 , 但 隐藏层 和 隐 节 点数 的选 择没 有 统一 的标准 , 需 要 通过反 复试验来 确 定 表 反 映 了 在 对 成 品 致 密 度 进 行 预 估 时 不 同 的结 构 对学 习效 果 的 影 响 , 可 见 选 个 隐藏 层 , 个 隐节 点 时 , 学 习效果 最 好 , 预估精度最 高 学 习 率 粉 和 惯 性 量 的 选 择 叮增 大 , 可 加 快 学 习 速 度 , 但 可 能 引 起 振 荡 效 应 , 使算法不 易 收敛 的 引人可 以 抑制振荡 , 但 不 可 避 免 地 会延 长 学 习 时 间 至 于 粉 和 的具 体配合值 尚没有统一 的理论 , 需要反复试验来 选 择 对本实 际 问题 , 粉 , 时为最 佳 再 学 习机制 的建立 当经过训 练 的网络对一新样本 的识 别 产 生 较 大 误差 时 , 网 络 需 将该样 本作 为 学 习 样 本重 新 学 习 , 以 提 高 系 统 对不 断变化着 的 客观世界 的 自适 应 能力 用 检 验 集 中 的 样 本 对 已 训 练 好 的神 经 网 络 进 行 测 试 , 通 过 分 析 预估误差 , 来 对预 估 的效果进行 评 价 , 见表 由结 果 可 以 看 到 , 此 网 络 经 过 初 步 学 习 , 已 掌 握 了 影 响 特性 的一定规律 , 具有 较强 的预估 推理 能力 表 不 同隐层和 隐节点对 网络学习及预估效果 的影响 切 , “ 缺 以 翻图 巧 创助 曰旧 田目 面七 皿 奴 队俪飞 回 已范 位刃 翻 叭 试验次数 隐层数 隐节 点数 学 习 误差 归 一化后 预估误差 叉〕 步 《】刃 幻 《拟 叉刀 住侧洲〕 叉〕 侧】 步 《叉 步 耗 时 步 加山 幻 兀旧 〕 洲〕 〕 叉 以】〕 洲〕 住仪】〕 科 振荡不 可 分 如
6l16No.5 徐雪艳等:神经网络在梯度功能材料制备中的应用 467. 2函数型连接(FL)模型 BP模型具有良好的非线性通近能力,是很有效的学习算法,隐层及隐节点的引人增加了 优化问题的可调参数,从而提高了网络解决问题的能力,但这也造成其固有的缺陷:学习速度 慢,中间隐层数和隐节点数的选择无从掌握、而且易于陷人能量局部极小点· FL模型网借鉴了传统模式分析的思想,通过将原输人变量进行非线性扩展作为单层前 馈网络的输入,从而将低维模式变换到高维模式,使得原来在低维空间中非线性不可解问题 有可能在高维空间中得到解决.通常,在一般的网络中,每一层对于相应的空间的划分是线性 的,对每个节点i计算的是其输人的加权和∑WX,因此只有多层网络才能实现非线性 划分.而在函数型连接的一层网络中,其划分是非线性的,这是因为FL网络的每一局部 描述中不仅考虑了输人变量的加权和,还考虑了这些变量乘积等高阶项的函数.函数型连接 采用的途径是:从数学上去寻找简单而通用的方法,且使基于数学概念的模型适合于并行计 算,当一个节点k被激活时,可同时激活多个不同的附加函数∫O),(o:),,(o) 不同的函数连接产生不同的效果,常用的两种模型为:函数扩展型和外积型,而在函数 扩展模型中,(x)也有多种选择,可以是x、X、x或某种表达空间中的正交基函数.针对 FGM特性预估的具体问题,经过多次试验发现,由于其学习任务本身的困难相当大,以致 于单一的使用外积型或函数展开型在扩展维数不够大的情况下均达不到理想的学习效果, 因此混合使用外积型和函数展开型来增强表达,具体采用20维的三角函数扩展: sinπx,oosπx,sinπx2,cosπx,",sinπx,cosπx, sin2rx,cos2πx,,sin2πx,cos2rx 0.05 (a)有一个隐层,7个隐节点的BP网络 1=0.6x=0.9 0.04 )无隐层的西数型连接网络 表2网络预估精度比较 的 1=0.6=0.6 Fig.2 Comparison of the estimation accuracy between 0.03 BP Net and FL Net 样本 网络预测值 刺 目标值 0.02 BP网络函数型网络 北 (a) 1 79.0 78.55 80.2 0.01 2 70.83 72.06 71.33 0.00) JwJ人 3 63.95 65.17 64.4 0 100 200300 400 4 80.93 82.33 79.1 学习步数 5 63.74 64.02 63.7 图2BP网络与FL网络学习速度和精度比较 6 63.74 63.97 63.7 Fig.2 Comparison of leaming speed and learing accuracy of BP Net and FL Net
喃 徐雪艳等 神经 网络在梯 度功 能材 料制备 中的应用 函数型连接 模型 模 型具有 良好 的非 线性 逼近 能力 , 是很有效 的学 习算法 , 隐层 及 隐节 点 的 引 人 增 加 了 优化 问题 的可调参数 , 从而 提 高 了 网络解 决 问题 的能 力 , 但 这 也造成其 固有 的缺 陷 学 习 速 度 慢 , 中间隐层数和 隐节 点 数 的选 择无从掌握 、 而 且 易于 陷人 能量 局 部极小 点 模型阔 借 鉴 了传 统模式分 析 的思 想 , 通 过将 原 输人 变 量 进 行 非 线 性 扩 展 作 为 单 层 前 馈 网络 的输人 , 从而 将低 维模 式 变换到 高 维模 式 , 使 得 原 来 在 低 维 空 间 中非 线 性 不 可 解 问题 有可 能在 高维空 间 中得 到 解 决 通 常 , 在 一 般 的 网络 中 , 每一层 对于 相 应 的空 间 的划 分是 线性 的 , 对每 个节 点 计算 的是 其输人 的加权 和艺 代 答 , 因此 只有多层 网络才能 实 现 非 线性 划分 而在 函数型 连接 的一层 网络 中 , 其 划 分 是 非 线 性 的 , 这 是 因 为 网 络 的 每 一 局 部 描述 中不仅考虑 了输人 变量 的加权 和 , 还 考 虑 了这些 变量 乘 积等 高 阶项 的 函数 函数型 连接 采用 的途 径是 从数学上 去 寻 找简单而 通 用 的方法 , 且使基于 数学 概 念 的模 型适合于 并 行计 算 , 当一个节点 被 激 活 时 , 可 同时激 活多 个不 同的附加 函数 人 , 关 , … , 五 、 不 同的 函数连 接 产 生 不 同 的效 果 , 常用 的两种模型 为 函 数 扩 展 型 和 外 积 型 而 在 函 数 扩展模 型 中 , 关 也有 多 种 选 择 , 可 以是 、 犷 、 分 或某 种 表 达空 间 中 的 正 交 基 函 数 针对 特性 预估 的具体 问题 , 经过多 次试验 发 现 , 由于 其 学 习 任 务本 身 的 困难 相 当大 , 以 致 于 单一 的使 用 外 积 型 或 函 数 展 开 型 在 扩 展 维 数 不 够 大 的情 况 下 均 达 不 到 理 想 的 学 习 效果 因此 混合使用外 积型和 函数展开 型来增 强 表达 , 具体采用 维 的三 角 函数扩展 兀 , 兀 一 , 花 , 兀 凡 , “ ’ , 兀 , 兀 , 兀 一 , 兀 ,… , 兀 ,, 兀 有一 个隐层 · 个隐节 才氛的 网络 。 一 一 “ 一 装 - 叼 无 隐层的 函 数型 连 接网爹 叮‘ 石 比 石 、 ,耳 呱殊一 表 网络预估精度 比较 峋 胭碑击 翻 四血 位刀 门皿习灯 时 曰习 以 日川 粤︶攀硬︵ 样 本 网络预测值 目标值 月勺︸氏、 尹 队 学 习步数 图 网络与 凡 网络学 习速度和精度 比较 奄 俐详比朋 如响电 甲川 出日 队 飞 山 ,卿 傲日 七 网络 乃 名 函 数型 网络 巧 醉 黔荆残钾
·468 北京科技大学学报 1994年No.5 和20维的外积型扩展: ·术2,x1·x3,“,·X5yx为,…,X·Xs·X4,·X5,X·x 1·X2·X,x·x2·X4,为1·x2·x5,·x4X5 取得了满意的效果.FL网络同样采用误差反向传播的学习算法,但由于网络的简化(去除隐 层),克服了学习过程收敛速度慢的问题,但易陷人局部极小点的问题,同时由于合适的非 线性扩展使单层网络仍保持良好的非线性通近能力,其收敛速度和收敛精度均高于BP网 络,如图2所示,表2反映了BP网络的FL网络的预估精度,根据表2中的实验结果,可 以得到BP网络的预估误差为0.58,而FL网络的预估误差为1.20. 4结论 (I)BP网络和FL网络对FGM制备的特性具有较强的预估能力. (2)预处理是必要且有效的,经过归一化预处理后的学习效果有了很大的改善, (3)网络结构及参数的选择对学习效果有很大的影响. (4)学习样本集的选择要适当,学习样本过多或过少均不能获得好的预估效果, (5)与BP网络相比,FL网络具有更快的收敛速度.经计算,达到相同学习精度,FL网 络的学习时间仅为BP网络的1/3. 参考文献 1傅正义等.梯度功能材料的研究.复合材料学报,1992,9(1):23~29 2 Hirano Tobru,Terabi Junichi,Yamada Tomohiko.On the Design of Functionally Gradient Materials.In: Proceedings of the First Interational Symposium on FGM.Tokyo:Functionally Gradient Materials Forum, 1990:5~10 3包约翰.自适应模式识别与神经网络.北京:科学出版社,1992.192~215 4焦李成.神经网络系统理论.西安:西安电子科技大学出版社,1990
· 北 京 科 技 大 学 学 报 哭岭 年 和 维 的外 积型 扩展 一 , 一 , ’ ‘ , , ’ 凡 , ” ‘ , 凡 ’ , 凡 , 凡 , 凡 , , 凡 , ,” ’ 一凡 取得 了满意 的效果 网络 同样采 用误差反 向传播 的学 习算法 , 但 由于 网 络 的 简 化 去 除 隐 层 , 克服 了学 习过程 收敛速度慢 的 问题 , 但易 陷人 局部极小 点 的 问题 同 时 由于 合 适 的非 线性 扩展使单层 网络仍保持 良好的非线性 逼 近能 力 其 收 敛 速 度 和 收 敛 精 度 均 高 于 网 络 , 如 图 所示 表 反 映 了 网络 的 网络 的 预 估精 度 根 据 表 中 的 实 验 结 果 , 可 以 得到 网络 的预估误差 为 , 而 网络 的预估误差 为 结论 网络和 网络 对 制备 的特性具有较强 的预估 能力 预处理是 必要且有效 的 , 经过 归一化预处理后 的学 习效果 有 了很大 的改善 网络结 构及参数 的选 择对学 习效果有很大 的影 响 学 习 样本集 的选择要 适 当 , 学 习样本过多 或过少均 不 能 获得 好 的预估 效果 与 网络相 比 , 网络具有更快 的收敛速度 经计算 , 达到 相 同学 习精 度 , 网 络 的学 习 时 间仅为 网络 的 参 考 文 献 傅 正 义等 梯度功能材料 的研究 复合材料学 报 , , 一 , ’ 币 , 团匡口 幻 改 』〕 巴卿 乃勺戈团肋邵 毋 势卫 璐 二 压山 比出 飞 , 男 包约翰 自适应模式识别 与神经 网络 北京 科学 出版社 , 卯 一 巧 焦 李成 神经 网络系 统理论 西安 西安 电子科技大学 出版社 , 叭