神经网络专家系统的状态识别、知识表示和求解策略

D0第8卷3第2期sn1001053x.1996.驼0景科技大学学报 Vol.18 No.2 19964 Journal of University of Science and Technology Beijing Apr.1996 神经网络专家系统的状态识别、知识表示和求解策略* 郑德玲 李育晖 北京科技大学自动化系，北京100083 摘要将神经网络与人工智能技术相结合，提出了1种新型的知识表示的形式化描述和知识单 元.知识通过模式分类导入，并用MSBP和(B-B)BP调节2种不同类型的权.在此基础上提出 了神经网络的双向求解策略。以加热炉控制验证了其可行性. 关键词专家系统，神经网络，状态识别，自学习 中图分类号TP18 人工神经网络和人工智能技术结合，建立专家系统，既发挥各自的特点又能互相补充.这 类系统，将传统专家系统中以符号表达和处理知识的逻辑形式与人工神经网络中知识的分布 隐含表达的形式相结合；从模型角度考虑，它是将高层逻辑模型和低层数据模型相结合，只 要对神经元网络的输入导入和输出解释以形式化的方式表达，使之与外界的接口及系统所 用的知识表达结构相似，则传统的推理机制将可直接用到这种专家系统中去，基于这种观 点，本系统历经模式识别及输人变换函数，完成导人变换，并通过输入、输出函数完成数值模 型与高层逻辑模型的转换，经(B一B)BP和MSBP形成动态实用知识系统或推理系统. 1 模式识别 本系统知识形成模型如图1所示. 模式识别是属于导人函数的重要部分.识别的目的是将加热炉的热工状态归于某一类川， 使系统在一小块相关部分工作，以提高推理速 度.根据生产情况，将加热炉的热工状态分 输出解释 为6类：正常，炉压过高，炉压过低，氧化 烧损过大，过热，炉温过低.本系统提出用改 神经网结块 进的亨明方法与特征降维方法灵活结合进行识 模式识别 导人变换 别，并将过程的参数导人网中， 过程 (B-B)BP IMSBP 1.1步骤 图1知识形成模型 模式识别步骤分为下列3步： (1)特征评价因控制对象的热工检测参数很多.通过直方图比较，选用了18个特征分 类，即均热段温度，加热I段温度，… 1995-04一20收稿第一作者女55岁救授 ◆国家自然科学基金资助项目

第 卷 第 期 北 京 科 技 大 学 学 报 姚年 月 巧 仰 望巧 神经网络专家系统的状态认拐 、 知识表示和求解策略 ’ 郑德玲 李 育晖 北京科技 大学 自动化系 ， 北 京 幻 摘要 将神经 网 络 与 人 工 智 能 技 术相 结合 ， 提 出 了 种新 型 的知 识 表示 的形 式 化 描 述 和 知 识 单 元 知识通过模式分类导人 ， 并 用 讨 和 一 调节 种不 同类型 的权 在 此 基础 上 提 出 了 神经 网络 的双 向求解策略 以加热炉控制验证 了其可行性 关健词 专家系统 ， 神经 网络 ， 状态识别 ， 自学 习 中图分类号 开 人工 神 经 网络和人工智能技术结合 ， 建立专家系统 ， 既发挥各 自的特点又 能互相 补充 这 类系统 ， 将传统专家系 统 中以符号表达 和处理 知识 的逻辑形 式 与人工神经 网络 中知识 的分布 隐含表 达 的形 式 相 结合 从模 型角度考虑 ， 它是 将高层逻辑模型 和低 层数据模型相 结合 只 要 对神经元 网络 的输人 导人 和输 出解 释 以 形 式 化 的方 式 表 达 ， 使 之 与外 界 的 接 口 及 系 统所 用 的知 识 表 达 结 构 相 似 ， 则 传 统 的 推 理 机 制将可 直接用到这种 专家系 统 中去 基 于 这 种 观 点 ， 本系统历经模式识别及输人变换 函数 ， 完成 导人 变换 ， 并 通过输人 、 输 出 函数完成数值模 型 与高层 逻辑模 型 的转换 ， 经 一 和 形 成 动态 实用 知识 系 统或推理 系 统 模式识别 本 系统知 识形 成模 型如 图 所示 模 式 识别 是 属 于 导 人 函 数 的 重 要 部 分 识 别 的 目的是将加 热炉 的热工 状 态 归于 某 一类’， 使系 统在 一小 块相 关部分 工 作 ， 以 提 高推 理 速 度 根 据 生 产 情 况 ， 将 加 热 炉 的 热 工 状 态 分 为 类 正 常 ， 炉 压 过 高 ， 炉 压 过 低 ， 氧 化 烧损 过大 ， 过 热 ， 炉温过 低 本系 统 提 出用改 进 的亨 明方法 与特征 降维方 法灵 活结 合进 行识 别 ， 并将过程 的参数 导人 网 中 回 过程 抽 出解释 神 经 网络块 棋式识别 导人 变换 步骤 毋一 月 图 知识形成模型 模式识别步骤分 为下 列 步 特征评价 因控制对象 的热工 检测参数很多 通 过直方 图 比较 ， 选用 了 个特征分 类 ， 即均 热段温 度 ， 加 热 段 温度 ， 卯 一 以 一 收稿 第一 作者 女 岁 教 授 国家 自然科 学基金 资助 项 目 DOI ：10．13374／j ．issn1001－053x．1996．02．013

Vol.18 No.2 郑德玲等：神经网络专家系统的状态识别，知识表示和求解策略 .159. (2)原始资料处理因18个特征量纲不同，需进行标准化.通过欧氏距离计算，然后用标 准差标准化方法计算标准化后的资料阵 (3)特征矩阵的线性降维映射利用原有各特征去构造一批新特征， 1.2降维映射 (1)主要成分分析计算 原始资料矩阵已知，有N个样品，18个特征. ①求出原有特征的协方差矩阵S, S=[S,118n S=(W-I(化-XX:-X)X,为分别为第i,j个特征均值 (1) ②求出S.的全部特征值1，12，…1，和对应的特征向量U1,U2,,Un按降序排序，即11， 2,…,元n(n=1,2,…,18). ③定义第i个主要成分Y,的方差贡献率为： 元/(0，+12+…+2n) m个主要成分y,2,,y的累计方差贡献率为： (21+12+…+1m)/1,+12+…+1n) 当前m个主要成分的累计方差贡献率足够大就可只取前m个主要成分作为特征. (2)线性降维映射 将炉子的热工状况分为6类，对应有6类样本，设为A1,A2,,A6,样品数为N,N2,·,N。· 它们的均值为X,X2,…,X(=1,2,·,18).由式(1)算出S,S2,,S6 ①将A,类样品的均值变为0，即将原点移到A,的均值处 Xk=Xk=[X,-Xlk、 (2) X:k=1,2,…,6为6类样品的原始资料矩阵；i=1,2,,n;j=1,2,,18. ②对A,类样品进行白化变换 即求S4的特征向量转置矩阵V,和以特征值为对角线元素的对角矩阵C4,并对6类 样品同时做变换： Yk=Cw2A,V41X(k=1,2,…,6) (3) 这时A经变换后的协方差矩阵变为S4=L,A2~A6对应的协方差矩阵为S2wS,…,S6A ③构造新的资料矩阵M: M=[vlylyalyslyolS24-IS3-IS-ISs-IS-n (4) ④求M的协方差矩阵S. ⑤进行主要成分分析， 通过计算出的特征值可以看出，前10个特征值累计方差贡献率已达到88.3%，这样便 形成了线性降维映射矩阵U. 13分类判别 本系统采用了改进的连续亨明方法

郑德玲等 神经 网络专家系 统的状态 识别 、 知识表示 和求解策略 · · 原始资料处理 因 个特征量纲不同 ， 需进行标准化 通过欧氏距离计算 ， 然 后 用 标 准差 标准化方法计算标 准化后 的资料 阵 特 征矩 阵的线性 降维 映射 利用 原有 各特 征去 构造一批新特 征 降维映射 主要 成分 分析计算 原始 资料矩 阵已 知 ， 有 个样 品 ， 个特 征 ① 求 出原有特征 的协方差矩 阵 又 ‘ ， ， 人 凡一 一 ‘嗯以 一 刀 厂 ， 戈 ， 不分别 为第 ‘ ， ，个特征均值 ② 求 出 二 的全部特征值 又 ， 又 ，… 又 ， ， 和对应的特征 向量 ， ，矶 ，二 、认 按降序抖游 ， 即 义 ， 又 ， … ， 又 。 ， ， … ， ③ 定 义第 个 主要 成分 ‘ 的方差 贡 献率 为 又‘ 又 又 … 又 。 个 主要 成分 ， 儿 ， … ， 入 的累计方差 贡 献率 为 又 ， 又 … 又。 以 ， 又 … 义 。 当前 ， 个 主要 成分 的累计方 差贡献率足够大就 可 只取前 。 个主要成分作为特征 线性 降维映射 将炉 子 的热工状况分 为 类 ， 对应有 类样本 ， 设 为 ， ， ，… ， 。 ， 样 品 数 为 ，，从 ， … ，从 它们 的均值 为 城 ， ， 又 ， ， … ， 风 ，仃一 ， ， … ， 由式 算出 况 ，， 又， … ， 凡 · ① 将 ， 类样 品的均值变 为 ， 即将原点移 到 ， 的均值处 二 戈 』 戈 ， 一 戈 ， 、 戈 ，，… ， 为 类样 品的原始 资料矩 阵 ， ， 二 ， ， ， … ， ② 对 类样 品进行 白化变换 即求 ， 的特 征 向量 转 置 矩 阵 屹 ，和 以 特 征 值 为 对角 线元 素 的对角矩 阵 ， 并 对 类 样 品 同时做变换 玖 ’ ，叽 戈 二 ， ，… ， 这 时 经 变换后 的协方 差矩 阵变 为 凡 ， ， 一 。 对应 的协方差矩 阵为 ， 、 ，… ， 凡 ③ 构造新 的资料 矩 阵 沙 夕 夕 夕 夕 ， 一 ， 一 ， 一 ， 一 ， 一 月 ④ 求 的协方 差矩 阵 进行 主要 成 分分 析 通过计算 出的特征值 可 以看 出 ， 前 个特 征 值 累计 方 差 贡 献 率 已 达 到 ， 这 样 便 形 成 了线性 降维 映射矩 阵 分类判别 本 系 统采用 了改进 的连续 亨 明方 法

.160 北京科技大学学报 1996年No.2 (1)确定需计算哪一类样品的亨明核.分别计算各类的每一特征的均值： Si-Si(N)xx(N-1) S%,=ΣSD)-2x,-X]1(N:-1) (5) 若SN)>S(D),则计算D类的亨明核；若S(N)<S(D),则计算N类样品的亨明核（其 中，P为特征个数). (2)计算亨明核 Z=亿，32，…，z。) (6) (3)计算样品至亨明核的距离d(X,Z, (4)取阀值△，对样品进行分类. 经30个样本检验，识别正确率为97%，达到识别要求. 2神经网络知识表示 本系统提出把单个知识（规则）编码在某一神经网络块中，把知识之间的相关性编码在 不同网络块输入输出结点之间的变量辖域之中， 2.1知识表示的概念化、形式化描述 本系统用网络结构、概念、概念值及规则来描述知识 (1)网络结构的形式化描述 在神经网络知识表示语言中，使用6元组NN={W,M,N,LINK,OUT,W)来表示网络结 构.其中N为网络的层数.M={m1,m2,,mn}分别表示网络各层所用到的知识单元个数. N={in1,in2,…,inIN∈{DEFin}为本类情况所需输入.OUT={out,ou此2，…，outm}, OUT∈{DEFu}为本类情况所需之输出.LINK={ink,ink2,,link,-,}表示由输人到输 出的知识单元的连接情况.其中link={[name,name2,…,name]g},i=2,3,; 9=1,2,…,m,,它表示第g个知识单元.W为知识单元间的连接权重.在这个结构模型 中能将映射求解过程的各种关系表现得很完善， (2)规则单元的形成化描述 本系统中，规则是以神经网块表示.调用一个规则时，即形成一个神经网络块，表示规则的 神经网络块为规则单元。规则单元的描述包括：网络的规模，规则前、后件以及块中各节点的 连接权重.使用8元组A={N,M,N,OUT,AN,N-X,OUT-Y,W来表示规则单元的结构.N 为规则单元的层数.M={m,mz,,m}为各层节点数.IN={n,in2,,inm,N∈DEFn}输人 节点的集合.OUT={out,out2,,outm}为输出节点的集合，OUT∈{DEFu}为输出概念集. AN={am1,am2,,am}为可能激发的知识单元的集合.N-X为输人变换含数的集合，它使 数据归一化，OUT一Y为输出变换函数的集合，使输出值由(0,1)区间变换回实际数值范围， 完成数值模型与逻辑模型的转换。W是规则单元中各层节点间权重集合，它将通过多样本学 习训练得到

北 京 科 技 大 学 学 报 望拓 年 确定需计算 哪一类样 品的亨 明核 分别计算各类的每一 特征 的均值 · 一 善 “ 了‘ ，一 万氢‘ ，厂 芍 ” ，‘ 一 ” 若 扔 ， ， 尸为特 征个数 计算 亨 明核 孙 。 一 著，‘ ，一 万骨 ， 一 芍 ” ，” ‘ 一 ” ‘，， 则 计 算 类 的 亨 明核 若 了 的 梦 ， 则计算 类样品的亨明核 其 一 ，， 几 ， … ， 几 计算样 品至 亨 明核 的距 离 ， 刁 取 阀值 △ ， 对样 品进行分类 经 个样 本检验 ， 识别正 确率为 ， 达到 识别要求 神经 网络知识表示 本 系 统提 出把 单个 知识 规则 编 码在某 一神 经 网络块 中 ， 把 知 识 之 间 的 相 关 性 编 码 在 不 同网络块输人 输 出结点之 间 的变量辖 域之 中 知识表示 的概念化 、 形式化描述 本系 统用 网络结构 、 概 念 、 概 念值及规则来 描述 知 识 网络结 构 的形式 化描述 在神经网络知识表示语言 中 ， 使用 元组 ， ， ， ， ， 来表示 网络结 构 其 中 为网络的层数 ， ， ， … ， 。 分别表示 网络各层所用到的知识单元个数 一 ， ， … ， ” ，卜 任 为 本 类 情 况 所 需 输 人 ， 叭 ， … ， ， 小 甄 为本类 情 况所需 之 输 出 担 ， ， … ， 。 一 表 示 由输 人 到 输 出 的 知 识 单 元 的 连 接 情 况 其 中 二 【 ， 二 ， … ， 歼 ， ， ， 二 二 ， ， … ， ， ，， 它表示第 个 知 识 单元 为知 识 单元 间 的 连 接 权重 在 这 个 结构模 型 中能将 映射求解 过程 的各 种 关 系表 现得 很 完善 规则单元 的形成化描述 本系统中 ， 规则是 以神经网块表示 调用一个规则时 ， 即形成一个神经 网络块 表示规则的 神经网络块为规则单元 规则单元的描述包括 网络 的规模 ， 规则前 、 后件 以 及 块 中各节点的 连接权重 使用 元组 二 ， ， 创 ， ， ， 州一 ， 一 ， 叫 来表示规则单元 的结构 为规则单元的层数 ，， ， ， … ， 。 为各层节点数 二 ， ， … ， 呱 ， ， 州以 输人 节点的集合 ，， ， … ， 标 。 为输出节点的集合 ， 任 。 。 伪输出概念集 。 ， ， … ， 好为可 能激发 的知识单元 的集合 一 为输人变换含数的集合 ， 它使 数据 归一化 一 为输 出变换 函数的集合 ， 使输出值 由 ， 区 间变换 回 实 际 数 值 范 围 ， 完成数值模型 与逻辑模 型 的转换 是规则单元 中各层节点间权 重集合 ， 它将通过多样本学 习训练得到

Vol.18 No.2 郑德玲等：神经网络专家系统的状态识别、知识表示和求解策略 -161. (3)概念单元 以二元组DEF={name,value}表示.name表示概念的名称，vaue表示概念值.例如： name=jun-temp";value=1l50,表示均热段温度为1l50℃. 3B-B)BP算法及IMSBP算法 (B一B)BP算法主要解决知识单元间权重的修改网.它与BP算法不同.神经网块中的各层 神经元间的权值是不进行修改的.规则单元中的权重是通过多样本学习训练得到.由于BP算 法对多样本学习的收敛速度很慢，本文提出了改进的多样本BP学习算法IMSBP(Improved Multi-Sample BP).这是一种选择最佳步长的方法.MSBP用于对规则进行离线学习， 而(B-B)BP对事实进行在线学习，使系统能进行有效推理. 4神经网络的推理策略及解释功能 (1)神经网的反向推理 神经网的反向推理是系统执行解释性的推理，本系统被控制量为炉温，控制量为燃料 流量.通过被控量与期望值比较，计算出控制量 (2)正向推理 系统首先进行反向推理，计算出所需控制量，然后从控制量出发，正向推理，验证控制量 是否满足要求， 本系统可以回答传统符号推理系统中的“HOW”及“WHY"的询问，以对其推理行为做出 合理性解释，弥补单纯用神经网的不足. 5系统仿真 图2所示为BP多样本学习算法与IMSBP算法收敛速度的比较.实线为IMSBP算法，虚 线为普通BP算法.横、纵坐标分别表示学习步数和均方根误差.由图2可以看出，MSBP算法 将学习速度大大提高. 图3所示为从钢进人加热炉到已达到所需温度的加热过程的跟踪曲线.实线为设定曲 线，虚线为跟踪曲线.由图3可以看出，钢的最终温度已达到加热要求，并且在加热过程中 基本上能够跟踪给定曲线， 1400 1200 0.03 800 2:IMSBP --kB即 400 800 1600240032004000 【/mum 0.51.01.52.02.53.03.5 【/h 图2MSBP与BP多样本学习速度比较 图3钢还加热跟踪曲线

郑德玲等 神经 网 络专家系 统 的状 态 识别 、 知识表示 和 求解 策略 概念单元 以 二 元 组 二 ， 表 示 表 示 概念 的名 称 ， 表 示 概 念 值 例 如 此 芍 一 招 “ ， 表 示 均 热段 温度 为 ℃ 仍 一 功 算法及 侧 算法 一 算法 主要解决知 识单元 间权重 的修改 它 与 算法不 同 神经网块 中的各层 神 经元 间的权值是 不进行修改 的 规则单元中的权重是通过多样本学 习训 练得到 由于 算 法 对多样 本 学 习 的 收 敛 速 度 很 慢 ， 本文 提 出 了 改 进 的多样 本 学 习算法 仃 一 这 是 一 种 选 择 最 佳 步 长 的方 法 用 于 对规则 进 行 离 线 学 习 ， 而 一 对事 实进行在 线学 习 ， 使 系 统能进行有 效 推理 神经 网络的推理策略及解释功能 神 经 网 的反 向推理 神 经 网 的反 向推 理 是 系 统 执 行 解 释 性 的推理 本系统被控制量 为炉 温 ， 控 制 量 为 燃 料 流量 通 过 被 控量 与期望值 比较 ， 计算 出控制 量 正 向推理 系统首先进行反 向推理 ， 计算出所需控制量 ， 然后从控制量 出发 ， 正 向推理 ， 验 证 控 制量 是否 满足要 求 本 系 统可 以 回答传 统符 号推理 系 统 中 的 “ ” 及 “ ” 的询 问 ， 以 对其推理 行 为 做 出 合理 性解 释 ， 弥补单纯用神经 网的不 足 系统仿真 图 所示 为 多样 本学 习算法 与 算法收敛速度的 比较 实线为 算 法 ， 虚 线为普通 算法 横 、 纵坐标分别表示学 习步数和均方根误差 由图 可以看出 ， 算法 将学 习速度 大大 提 高 图 所 示 为 从 钢 进 入 加 热 炉 到 已 达 到 所 需 温 度 的加 热 过 程 的跟 踪 曲线 实线 为设 定 曲 线 ， 虚 线 为跟 踪 曲线 由图 可 以看 出 ， 钢 的最 终温度 已 达到 加热要 求 ， 并且在 加 热过 程 中 基 本 上 能够跟 踪 给定 曲线 月 一 ， 仆心 队 一 趾 一 留 侧明残绷口︸ 刀】 图 协 与 多样本学 习 速度 比较 刀 图 钢坯加热跟踪 曲线

.162. 北京科技大学学报 I996年No.2 6结论 本文提出形式化的神经网络知识表示语言及适合本系统的(B-B)BP算法和MSBP算 法.系统增强了解释能力和网络生成的灵活性.试验结果表明：系统在学习速度和控制效果方 面是令人满意的. 参考文献 1郑德玲.智能控制系统.北京：冶金工业出版社，1994 2郑君里，杨行峻.人工神经网络.北京：高等教育出版社，1992 Pattern Recognition,Knowledge Representation and Solving Strategy in Neural Network Expert System Zheng Deling Li Yuhui College of Automation and Information Engineering.USTB,Beijing 100083,PRC ABSTRACT The method combining the neural network with the traditional expert system is studied.A new description language for neural network knowledge representation and the con- cept of knowledge unit is proposed.The knowledge guides in neural network by(B-B)BP and IMSBP.And a Solving Strategy for the neural network positive and negative problem is presented.A example of the heating furnace controlled object by using the description language is given. KEY WORDS expert system,neural network,state recogition,self-learning 的响的的的体种体种的响的的的的的响神种纳的种响种种种的的响种神的种翰州的种种种种种响的种种一种响的种种棘种的帕的的 (上接第153页) Dynamic Characters of Load Sensing Pump Control System Yong Oing Mechanical Engineering College,USTB,Beijing 100083,PRC ABSTRACT The load sensing pump control system has been theoretically analgzed,and its mathematical model is established to describe dynamic characters.Based on them,simulation softwares are developed.The comparision between the theory computation and the experiment conclusios describes that the method of setting up hypothesis volume can estabish the reliabale mathematical model.It can accelerate computation speed for the fluid in the tubes to be on the basis of the concentrate parameters processing. KEY WORDS load sensing,pump control system,mathematical models,hydraulic

北 京 科 技 大 学 学 报 塑拓 年 结论 本 文提 出形 式化 的神 经 网络 知 识 表 示 语 言 及 适 合 本 系 统 的 一 算 法 和 算 法 系统增 强 了解 释 能力 和 网络生成 的灵 活性 试验结果 表 明 系 统在 学 习 速 度 和 控 制 效 果 方 面是令 人满 意 的 参 考 文 献 郑德玲 智能控制系统 北京 冶金 工 业 出版社 ， 卯 郑君 里 ， 杨行 峻 人工 神经 网络 北京 高等教育 出版社 ， 卯 娜 ， 力 洲 助 卿 、 」 ， 扭 ， 氏巧 洲粥 ， 了 。 旧 讨 巴 切 认。 优 币 毋一 万 几 ， 代众〕 ， 义 一 而 上 接第 页 而 刀 戊 司 邵 伪 罗 ， ， 氏心 洲洲犯 ， 几 加 卜戈 匹妇 ， 以 以 引睑 冶 ， 湘 叭茂℃ 笠爪 比 巴 以 泥 伐 比 粼 万 ， ， 叮以