神经网络在信号处理中的应用

D0I:10.13374/j.issn1001-053x.1994.01.013 第16卷第1期 北京科技大学学报 Vol.16 No.I 19942 Journal of University of Science and Technology Beijing Fb.1994 神经网络在信号处理中的应用 徐金梧 梁静 北京科技大学机械系，北京100083 摘要运用BP网络来消除倍号的随机噪声和模式识别.作为例子，考虑了正弦被、矩形波和三 角波3种信号.在50%噪声情况下，BP网络仍能有效地消除这3种信号中的随机噪声并正确地 找出它的理想模式· 关键词神经网络，信号处理/BP网络，随机噪声，模式识别 中围分类号TT18,TN911.7 Signal Processing Using Neural Network Xu Jinwu Liang Jing Department of Mechanical Engineering.USTB,Beijing 100083.PRC ABSTRACT In this paper,BP network is used to remove random noise in signal and to recognize ideal patterns.As an example,three signals,sine-wave,rectangie-wave and triguetrous wave are discussed.In the case of 50%noise,BP network can effectively remove noise in the signals and exactly fit them into their ideal patterns. KEY WORDS neural networks,signal processing/BP network,random noise,pattern recognition 最近几年来，人工智能中的一个重要分支一神经网络在理论上取得了大量突破性的发 展，引起了国内学术界、工业界的高度重视和极大关注，它的发展为人工智能模式识别与信 息处理等学科的研究带来了新的希望。由于神经网络具有自组织、自学习和并行分布信息处 理的特点，神经网络在模式识别信号处理及最优化问题等方面得到了广泛的应用·有人认 为，它有可能导致一场新的工业革命· 本文将探讨神经网络中使用最广泛的BP网络(Back Propagation Network)在信号处理 中的应用。主要是用BP网络来消除信号中的随机噪声，并自动判别其理想模式。 1BP网络的基本特征和学习方式 通常，BP网络被认为是一个具有高度非线性的静态系统，目前多数用于诊断、预测等问 192-11-20收稿 第一作者男40岁教授博士

6 第 卷 第 期 1 1 9 9 4 2 年 月 1 t 京 科 技 大 学 学 报 I oJ u r n a l o f U 山v e S I iyt o f s ~ ce a nd T ec h n o l o B gy e ij i n g V o l 。 6 N 1 O 。 l 万功 . 9 9 4 1 神 经 网络在信号处理 中的应用 徐金梧 梁 静 北京科技大学 机械系 , 北京 1仪瓦阳 摘要 运 用 B P 网 络来消除信号的 随 机噪声 和模式识 别 . 作 为例 子 , 考 虑 了 正 弦 波 、 矩形 波 和 三 角波 3 种信号 . 在 功% 噪声情 况下 , B P 网 络仍能有效地消除这 3 种信号 中的 随 机噪 声并 正确 地 找出 它 的理想模式 . 关健词 神经 网络 , 信号处理 / BP 网 络 , 随机 噪声 , 模式识别 中 图 分奏号 l r 18 . T N 9 11 . 7 S lg n a l P r o 俄 s ign sU ign Ne aur l Ne t ow r k 知沼 J i ” wu L 故gn 块p art ~ t of M 吮ha n i司 E n ig n即gn , sU T B iJ ng , 肠」ing l (众犯3 , P R C A B S T R A C T hi ht is P a Per , B P n et wo kr ot r e r口o ve ar dn o m ot r e co gr uZ e id ea l Pa t et n 拐 . sA a n e x a m P 15 1】S ed le , th er 15 . s i n e 一 认公 ve n o ise in sl g n a l a dn , 获℃宜a gn ie 一 wa ve a n d 从么 ve a er d is c l ls s ed . nI t h e c a s e o f 50 % S】g n a n o 】S C , B P n et wo kr ca n e 压众ivel y r C r DO V e n o ise in t h e s l g n a ls a dn ex a 团y if t t h em i n ot t h ier id ca l P a t t e n 拐 . K E y W O R刃6 n e u r a l n et wo ksr , s l g n a l P or a 万 s in g / B P n e t wo kr , ar dn o m n o ise , P a et m r e 0 0 g n l bo n 最近几 年来 , 人工智 能 中的一 个重要 分支 一 神经 网络在 理 论上 取 得 了大 量 突 破 性 的发 展 , 引起 了国 内学术界 、 工业界 的高度重 视和 极大 关注 . 它 的发展 为人 工智 能模 式识别 与信 息 处理等学科 的研究带来了新 的希望 。 由于神 经 网络具有 自组 织 、 自学 习和 并行分 布信息处 理的 特点 , 神 经 网络 在模 式识别 信号 处理 及 最 优 化 问题等 方 面 得 到 了 广 泛 的 应 用 . 有 人 认 为 , 它有 可 能导致 一 场新 的工 业革命 . 本文 将探讨神 经 网 络 中使用 最 广 泛 的 B P 网络 ( B a ck P or p ag at io n N 己two kr ) 在 信 号 处理 中的应用 。 主要 是 用 B P 网络来 消除信号 中的 随机噪声 , 并 自动判别 其理 想模式 。 1 B P 网 络的基本特征和 学 习方 式 通 常 , B P 网络被 认 为是一 个具 有高 度非 线性 的静态 系 统 , 目前多 数用于诊断 、 预测等 问 11尧趁 一 1 1 一 20 收稿 第一 作 者 男 40 岁 教 授 博士 DOI: 10. 13374 /j . issn1001 -053x. 1994. 01. 013

Vol.16 No.1 徐金梧等：神经网格在信号处理中的应用 .59. 题. 神经元是神经网络的基本处理单元，它一般被认为是一多输人、单输出的非线性器件， 其结构模型如图1所示， 其中，X表示输入信号，W,表示从第j个神经元所输出的信号连接到第i个神经元上的 连接权，Q为第i个神经元的阈值·4，表示第i个神经元的状态.0，=∑WX一Q,表示第i个 神经元的电位值。fσ，)称为转换函数或激活函数，对于BP网络这类连续性网络，它常取S 状函数，4，=1/[1+exp(o,)】,如图2所示. W f八o,) 0. f八a,) W 图1神经元结构模型 图2S状转换函数 Fig.1 Structure model of a neron element Fig.2 Sigmoid function BP网络是一种典型的多层非线性映射网络，其拓朴结构如图3所示· 对于这种无反馈的多层前向网 络的学习问题，目前主要采用最小 均方差的方法.它是建立在梯度下 降法的基础上，有教师指导的学习 输出层 方法.具体地说，对于一组已知其 输入与目标输出的样本集，逐个输 隐含层 入样本对{X}与{Y,}用梯度下降 法计算W,的增量值△W,反复迭 输入层 代，使系统学习后的输出值与期望 输出值的误差最小， 用这种学习方法所得到的连接 权W,阈值Q,使得系统对于这些样 图3BP网络的拓扑结构 本集具有最小的均方误差，这个思 Fig.3 Topology of BP Network 想常常被用来解决诊断问题.譬如，X可以被认为是特征，而Y表示故障原因。如果已知在 不同故障原因情况下，它们所呈现的特征量，那么通过学习可以将输人层（特征）与输出层 (故障原因)之间的映射关系凝结在连接权W,和阈值？上·在实际诊断过程中，可以根 据已知的W,、Q和新的特征量X来确定它的故障向量Y.同样的方法也可用于医学诊断)

丫b l . 16 N 6 . 徐金梧等 : 神经 网 格在信号处理 中的应用 题 . 神 经元 是神 经 网络 的基本 处理 单元 , 它 一般 被认 为是一 多 输 人 、 单 输 出 的非 线 性 器 件 , 其 结构模 型如 图 l 所示 . 其 中 , 不 表示 输人 信号 , 叽 表示 从第 j 个神 经 元所输 出 的信号 连接 到第 i 个 神经 元 上 的 连接权 , Q ` 为 第 i 个神 经元 的 闺值 . 。 ` 表示 第 i 个神经 元 的状态 . 6 `二 艺哄 , 兀一 Q , 表 示第 i 个 神经元 的 电位值 。 f( a,) 称 为转换 函 数或 激活 函 数 . 对于 B P 网络 这 类 连 续 性 网 络 , 它 常 取 S 状 函数 , 拜` = l / 【l + ex p ( a , ) 1 , 如 图 2 所示 . 图 1 神 经元结构 模型 图 2 5 状转换函 数 I 触 . 1 S lr . d 朋 er n 洲帕 of a l“ , 1 刃. e如搜以 瑰 . 2 5勿服闭 加四币加. B P 网络 是一 种典 型 的多 层非 线性 映射 网络 , 其 拓朴 结构 如 图 3 所示 . 对于 这 种无反 馈 的多层 前 向网 络的 学习 问题 , 目前 主要 采用最 小 均方 差 的方法 . 它 是建 立在梯 度 下 降法 的基 础上 , 有教 师 指导 的 学 习 方 法 . 具 体地说 , 对于 一组 已 知其 输人 与 目标 输 出的样 本集 , 逐 个输 人样 本对 {戈 }与 { X } , 用 梯度 下 降 法计算 叽 的增量值 △叽 , 反复 迭 代 , 使系 统学 习后 的 输 出值 与期 望 输 出值的误差 最小 . 用这种 学 习方 法所 得到 的 连接 权 叽 , 阂值 Q . 使 得 系统 对于这 些样 本集 具有最小 的均 方误差 . 这个 思 输 出 层 隐 含层 输人 层 图 3 B P 网 络的拓扑结构 f 奄 . 3 1神汰娜 of B P N d w . 业 想常 常被用 来 解决 诊断问题 . 譬 如 , 戈 可 以被认为是特征 , 而 丫表示 故障原 因 。 如果 已 知在 不 同故障原 因情况 下 , 它们 所呈 现 的特征量 , 那 么 通 过学 习 可 以 将 输入层 (特征 ) 与输 出层 (故 障原 因) 之 间的 映射 关系凝 结 在连接 权 城 , 和 闭值 Q 上 . 在 实 际 诊 断 过 程 中 , 可 以 根 据 已知 的 叽 、 Q 和新 的特 征量 X 来 确定 它 的故 障 向量 .Y 同样 的方 法也 可用 于 医学诊 断 【’ .]

…60 北京科技大学学报 1994年No.1 2BP网络用于消噪和模式识别 在工业控制和信号处理中，从传感器所获得的信号常常伴有噪声，这给信号识别带来了 很大的麻烦·在一般的信号处理方法中，噪音的消除往往通过时域中的自相关分析法和频域中 的各种滤波方法来完成·但自相关分析仅对淹没在噪音中的周期信号和瞬时信号较为有效· 因此，直接采样得到的时域信号往往得不到很好的利用，尤其对于实时控制系统要求的对信 号进行快速处理，确定它们属于哪一种模式时，就更显得力不从心， 神经网络用于消噪和模式识别，目前多采用Hopfield网络和双向联想网络.这两种网 络都是利用它们的联想记忆能力来实现消噪和模式识别的，但这两种网络在实现联想记忆时 多采用离散网络.离散型的Hopfield网络不仅收敛速度慢，而且常常不能得到精确解.离散 型的双向联想网络需要编码和满足正交性条件，同时，这种网络在作信号识别时为了提高它 们的分辨率，需要划分大量的网络，这就要求计算机具有很大的内存空间，这些限制了它们 在实时控制系统中的应用， BP网络的消噪能力以前一直没有引起人们的注意·最近，我们使用BP网络对信号进行 处理，不仅消除信号中的噪声，同时实现信号的模式识别功能.具体方法如下： (1)选择信号中几种典型的模式作为目标输出. (2)确定提供BP网络学习的样本集， (3)按BP网络的学习算法对样本集进行学习，以得到满足精度要求的各层的连接权W 和阈值Q,学习过程结束· (4)网络进行工作时，将待识别的带有噪声的信号输人到输人层，用前向网络计算其输出值. (5)为了提高计算精度，将所得的输出值作为输人再次送到输人层，以得到新的输 出，直到本次输出结果与上次输出结果的差小于某一给定值为止，工作过程结束· 通过对BP网络的工作状态进行改进，增加了反馈，可以保证一般的学习精度也能得到 较好的工作效果，实现信号的消噪和模式识别，这种方法运算效率高，消噪效果好， 3计算实例 在下面的讨论中，选择了3种典型的信号，它们是：正弦波、矩形波和三角波.输人层 图4用BP网络消噪后的正弦波 图5用BP网络消噪后的矩形波 Fig.4 Sine wave after removed Fig.5 Rectangle-wave after removed random noise with BP network random noise with BP network

北 京 科 技 大 学 学 报 1粥1科 年 N O . 1 2 B P网 络用 于 消噪和 模式识别 在 工 业控制 和 信号 处理 中 , 从传 感器 所获 得 的信 号 常常伴 有 噪声 , 这给 信号 识别 带来 了 很大 的麻烦 . 在一 般 的信号 处理 方法 中 , 噪音 的消除往往通过时域 中的 自相关分析法和频域中 的各种滤 波方 法来 完成 . 但 自相 关分 析仅对淹 没在 噪音 中的周 期信 号 和 瞬 时 信 号 较 为 有 效 . 因此 , 直接采 样得 到 的 时域信号 往往 得不 到很 好 的利用 . 尤其 对于 实 时控制 系 统要求 的对信 号进 行快速处理 , 确 定它 们属 于哪 一种模 式 时 , 就 更显 得力不 从心 . 神 经 网络用于 消 噪和模式识 别 , 目前多 采用 oH p if eld 网络「’ J和 双向联想 网络 【4 } . 这 两 种 网 络都是利 用 它们 的联 想记 忆能 力来 实现 消噪 和模式 识别 的 . 但 这两 种 网络在 实现联想 记忆 时 多采 用 离散网络 . 离 散 型的 H o p ifel d 网络不仅收敛速度慢 , 而 且常 常不 能得 到精 确解 . 离散 型 的双 向联 想 网络需 要编 码和 满足 正交性 条件 . 同时 , 这种 网络在 作信 号识 别 时为 了提 高它 们 的分辨 率 , 需 要划 分大 量 的网络 , 这 就要 求计算 机具 有很大 的 内存空 间 , 这些 限制 了它们 在 实 时控 制 系 统 中的应用 . B P 网络 的消 噪能力 以前 一直 没有 引起人们 的注意 . 最 近 , 我 们使 用 B P 网络 对信号 进行 处理 , 不 仅消 除信号 中的噪声 , 同时 实现信 号的模 式识 别功能 . 具 体方 法如 下 : ( l) 选 择信号 中几种 典型 的模 式作 为 目标 输 出 . ( 2 ) 确定 提供 B P 网络 学 习 的样本集 . ( 3) 按 B P 网 络的 学 习算 法 对样本集 进 行学 习 , 以 得到 满足精 度要 求 的各层 的连 接权 叽 和 阂值 Q ` , 学 习 过程 结束 . ( 4) 网络进行工作时 , 将待识别的带有 噪声 的信号输人到输人层 , 用前 向网络计算其输出值 . ( 5) 为 了提 高 计算 精 度 , 将 所 得 的输 出值 作 为 输 人再 次 送 到 输 人 层 , 以 得 到 新 的 输 出 , 直到 本 次输 出结 果 与上次 输 出结果 的差小 于某 一给 定值 为止 , 工作 过程 结束 . 通 过对 B P 网络 的工作 状态 进行 改进 , 增加 了反馈 , 可 以保 证一般的学 习 精 度 也 能 得 到 较好 的工 作 效果 . 实 现信 号 的消 噪和模式 识别 , 这 种方 法运算 效率 高 , 消 噪效果 好 . 3 计算 实例 在下面 的讨论中 , 选 择 了 3 种典 型 的信号 , 它 们 是 : 正 弦 波 、 矩 形 波 和 三 角 波 . 输 人 层 口 图 瑰 用 B P 网络消噪后的正弦波 S如比 ” 恤v e 对匕 . ~ , 曰 . . 山价 1 . 盛蛇 w i山 B P .以件. 吸 图 瑰 用 B P 网络消噪后的矩形波 Rce 加嗯加 m . 内门 1 川 叭U Ve 日; n曰 e w id . 戏刃协 ,曰 .喊翎万 k

Vol.16 No.1 徐金梧等：神经网格在信号处理中的应用 …61 和输出层均为40个神经单元.隐含层为一层，神经元的个数为10个.这里选择的输人层和 输出层具有同样的单元个数，是由于输出层的结果对应着滤波以后的输人层信号，即最终的 输出层的信号表示消噪以后的信号， 在学习阶段，将带有噪声的信号 与它们所对应的目标信号作为样本提 供给BP网络进行学习，从而确定了 这3种典型模式的记忆状态，即它的 连接权W,和阈值2· 在工作阶段，将待处理的信号输 入到输入层，经过几次迭代，使输出 结果的变化量达到某一给定值，其输 出层的状态即为消噪以后的信号，图 图6用BP网络消噪后的三角波 4~6表示带有50%噪声信号的正弦 Fig.6 Triguetrous wave after removed random noise with BP network 波，矩形波和三角波经过BP网络三 次迭代处理后所得到的理想信号，从这些结果可以看出，BP网络具有极强的消噪能力，事 实上，当噪声高达90%以上时，BP网络仍能正确地识别其理想的模式，并能消除信号中 的噪声，这里，消噪以后的信号即表示原始信号所属的模式· 4结论 本文运用BP网络有效的消除了信号中的噪声并自动识别出信号的理想模式， BP网络消噪方法不同于其它滤波方法，它能实现宽频带范围内滤波，从BP网络的学习 方法可以看出，用BP网络进行模式识别是基于误差最小的距离分类方法，即将带有噪声的 信号匹配到距正确模式中最近的那个模式作为其理想模式· 参考文献 1焦李成，神经网络系统理论.西安：西安电子科技大学出版社，1990 2 Saito Nakano R.Medical Diagnostic Expert System Based on PDP Moded.In:Proceeding of IEEE Inter Conf.On Neural Networks.1988.225~262 3曹焕光.人工神经元网络.北京：气象出版杜，1992 4庄镇泉等，神经网络与神经计算机.北京：科学出版社.12

oV l . 16 oN . 1 徐金梧等 : 神经网 格在信号处理中的 应用 · 16 · 和输 出层 均 为 40 个 神经单 元 . 隐含 层 为一层 , 神 经元 的个 数 为 10 个 . 这 里选 择的输 人 层 和 输 出层具有 同样 的单元 个 数 , 是 由于 输 出层 的结果 对应 着 滤波 以 后 的输入 层信 号 , 即最 终的 输 出层 的信号表示 消 噪 以后 的信 号 . 在学 习 阶段 , 将带有 噪 声 的信号 与它们所 对应 的 目标信 号作 为样 本提 供给 B P 网 络 进行 学 习 , 从而确定 了 这 3 种典型模式的记 忆状 态 , 即 它 的 连接 权 叽 和 阑值 Q ` · 在工 作 阶段 , 将待处理 的信号 输 人到输人 层 , 经过 几次 迭代 , 使输 出 结 果 的变化量 达到 某一 给定值 , 其 输 出层 的状态 即为 消噪 以 后 的信 号 . 图 4 一 6 表 示 带有 50 % 噪声信 号 的正 弦 波 , 矩形 波 和三 角波经 过 B P 网络三 图 6 瑰 . 6 用 B P 网络消噪后的三角波 T 吨叫加拐 m n 山切 .而 , 曲 v e a肠巴 e 脚 iht B P 介刃扣 V目 口吐脚以傲 次迭 代处理后 所得 到 的理想信 号 . 从这些结 果可 以看 出 , B P 网络具 有极 强 的消 噪 能 力 . 事 实上 , 当噪声 高达 90 % 以 上 时 , BP 网络 仍 能 正 确 地 识别 其 理 想 的模 式 , 并 能 消 除 信 号 中 的噪声 . 这 里 , 消噪 以 后 的信 号 即表示 原始信 号所 属 的模式 . 4 结 论 本文 运用 B P 网络 有效 的消 除 了 信号 中的 噪声并 自动 识别 出信 号 的理想 模式 . B P 网络 消噪方 法不 同于 其它 滤波 方法 , 它能 实现 宽频 带 范围 内滤波 . 从 B P 网 络 的学 习 方 法 可以 看 出 , 用 B P 网络 进行模 式 识别是 基于 误差 最小 的距 离分 类方 法 , 即 将 带 有 噪 声 的 信 号 匹 配到 距正 确模 式 中最 近的 那个模 式作 为其 理想 模式 . 参 考 文 献 1 焦李成 . 神 经网 络系 统理 论 . 西安 : 西安 电子科技大学 出版社 , 19男〕 2 Sia ot N a kan 0 R . M de i以I D 坦gn 仿 ict xE pe rt S外 t曰旧 B aS 以 l o n P D P M 司de . nI : P江用既过in g of IE E E nI ter ( 为nf . ( ) 11 N 亡刊限 } N e l认心 r ks . 198 . 2 5一 2 62 3 曹焕光 . 人 工神经元 网络 . 北京 : 气 象出版社 , 1卯2 4 庄镇泉等 , 神经网 络与 神经计算机 . 北京 : 科学出 版 社 . ! 卯二