第20卷第4期 控制理论与应用 Vol.20.4 2003年8月 Control Theory Applications Aug.2003 文章编号：1000-8152(203)04-0582-03 Bayes网络学习的MCMC方法 岳博，焦李成 (西安电了科技大学常达信号处理国家重点实验室，陕西西安70071) 摘要：基于Bayes统计理论.提出了一种从数据样本中学习Bayes网络的Markov链Monte Carlo(MCMC)方法. 首先通过先验概率和数据样本的结合得到未归一化的后验概率，然后使用此后羚概率指导随机搜索算法寻找“好” 的网铬结构模型，通过对Aam网络的学习表明了本算法具有较好的性能. 关键调：Baycs网络：Markov链Monte Carto方法；模型选择：随机搜索 中图分类号：TP01 文献标识码：A MCMC approach to Bayesian networks learning YUE Bo.JIAO Li-cheng (Key Lab for Radar Signal Processing.Xidian University.Shunxi Xi'n 710X071.China) Abstract:A Bayesian network isa gaphical model that encodes probabilistic relationships among variables of nteres.In many cases,the authors hoped to lear Bayesian networks from data.Using the Markov chain Monte Carlo (MCMC)ap- proch.this paper proposeda Bayesian statistical methd for learing Bayesian networks from data.in terms of network stuc tures and parameters.Prr specification and stochasticsrch were wo important components of this approch.The combina- tion of prior probability and data smples induced a posterior distribution that would guide the stochastic sehwards the et work structures having the maximal posterior probability.The performance of this approach is illustralted by the leaming of the Alarm network from data. Key words:Bayesian networks:Markov chain Monte Carlo;model selection:stochastic search 1引言(Introduction) 等，然后使用贪婪算法搜索好的网络结构模型。 作为一种表示概率空间的模型，Bayes剩络利用 本文使用Bayes统计和Markov链Monte(arlo 一组随机变量之问的条件独立关系减少了对这组变 方法来搜索后验概率最大的网络结构模型.将网络 量的联合分布进行表示时所需要的参数的个数，同 结构的先验分布和数据样本相结合，可以得到尚未 时也借助于反映这些条件独立关系的网络结构得到 归一化的网络结构模型的后验概率，由此指导随机 了有效的概率推埋算法，这些都使得Bays网铬模 搜索算法寻找“好”的网络结构模型.与贪婪算法相 型在众多的领域中得到了越来越广泛的应用，例如 比较，本文中的方法能够对更大的网络结构模型空 医疗诊断和故障诊断系统，信息检索和时间序列分 间进行搜索利同时，在初始条件相同的情况下，贪 析等. 婪算法的多次运行都将得到相同的网路结构序列和 一股地，人们希望通过数据样本来学习Bayes “最优”的网铬，而多次执行木文中的随机搜索算法 网络模型，其中对网络结构的学习是上要的，这是内 将搜索到更大部分的模型空间，因此将得到更好的 为网络结构模型空间的规模是随着网络结点个数的 结果.通过对Alam网络的学习验证了本算法具有 增加而朵超指数增长的，对此进行搜索需要有效的 较好的性能， 算法来完成，而在已知网络结构以后，如何得到网络 2 Bayes网络模型及学习(Learning Bayesian 参数只是一个相对简单的参数估计问题.已有的 networks Bays网络学习算法主要有K算法刂和B-搜索(B 在本文中，只考虑以一组离散型随机变量V={X1, search)算法2l等.这两种算法都首先定义--种评价 X2…,X,.N≥1作为结点的Byes网络[4,5]的学习 网络结构模型优劣的准则，例如后验概率、条件熵 问题，对相关内容的论，也以离散变量的情况为例 收辆H期：2001-09-24，收锋改镇日期：2002-06-17 林金项月：国家自然科学基金(60073053)资助项目. 万方数据
第20卷第4期 控制理论与应用 Vol 20 N‘、4 2003年8月 Control Theory＆Applications Aug一2【m 一—=；=—!——————————；===——————————；—===————=————=—————一=====!=——!———————===一一 文章编号：1000—8152(2003)04—0582—03 Bayes网络学习的MCMC方法 岳博，焦李成 西安电丁科技大学雷选信号处理国家重点实验室．陕西凸安710071) 摘要：壁于Bayes统汁理论．提出了一种从数据样本中学习Bayes网络的Markov链Monte Carlo(MCMC)方法 白免通过先骑概率和数据样车的结合得到未归一化的后验概率．然后使用此后验概率指导随机搜索算法寻找“好” 的网络结构模型通过对Alarm网络的学习表明了本算法具有较好的性能． 关键词：Baycs网络；Markov链MonteCairo方法；模型选择；随机搜索 中囤分类号：TP301 文献标识码：A MCMC approach to Bayesian networks learning YUE Bo，JIAO Li．cheng (Key Lab fcr Radar Sifoaal Proce舛ing．Xidian Umve咖．Simnxi Xi’Ⅱn 71(X)71．China) Abstract：A Bayesian network is a grapalcai model that encodes probabilistic relationships among variables of intere,s1．In fftan，cases，the authors hoped to learn Bayesian networks from data Using the Markov chain Monte Carlo(MCMC)ap— proach，this paper proposed a Bayesian statistical method for learning Bayesima networks fama data．in terms of netwⅢk stlllC一 1tires and parameters．Price specification and stochastic search welfe two i111Dmt cornponents of this apprtmh．The ctmabiaa— lion of pior probability and data samples induced a posterior distribution that woald guide the stochastic search towards the llet— work structures having the maxirmd posterior probability The performance of this approoch is illustrated by the learning of the Alama network from data Key words：Bayesian networks：Markov chain Monte Carlo；model selection；stocl'm．sfic search 1引言(Introduction) 作为一种表示概率宅间的模型，Bayes刚络利用 一组随机变镀之间的条件独立关系减少了对这组变 量的联合分布进行表示时所需要的参数的个数，同 时也借助于反映这些条什独直关系的网络结构得到 r有效的概率推理算法，这些都使得Bayes网络模 型在众多的领域中得到了越来越广泛的应用，例如 医疗诊断和故障诊断系统、信息检索和时间序列分 析等 一般地，人们希望通过数据样奉来学习Bayes 网络模型，其中对网络结构的学习是土要的，这是冈 为网络结构模型空问的规模是随着网络结点个数的 增加而旱超指数增长的，对此进行搜索需要有效的 算法来完成，而在_已知网络结构以后，如何得到网络 参数H是一个相对简单的参数估计问题已有的 Bayes网络学习算法主要有K，算法-“和B．搜索(B— search)算法_21等．这丽种算法都首先定义一种评价 网络结构模型优劣的准则，例如后验概率、条件熵 收稿H期：2001—09—24；收修改稿日期：2002—06—17 摹金项目：国家自然科学基金(60073053)资助项目 等，然后使州贪婪算法搜索好的网络结构模型． 本文使用Bayes统计和Markov链Monte(3arlo 办法来搜索后验概率最大的网络结构模型．将网络 结构的先验分布和数据样本相结合，可以得到尚未 归一化的网络结构模型的后验概率，由此指导随机 搜索算法寻找“好”的网络结构模型．与贪婪算法相 比较，本文中的方法能够对更大的网络结构模，l!!空 间进行搜索b1同时，在初始条件相同的情况p，贪 婪算法的多次运行都将得到相同的嘲络结构序列和 “最优”的网络，而多次执行本文中的随机搜索算法 将搜索到更大部分的模型宅间，困此将得到更好的 结果．通过对Alarm网络的学习验证了本算法具有 较好的性能． 2 Bayes网络模型及学习(Leanfing Bayesian networks) 在本文巾，只考虑以—组离散型随机变量f，=i J．， 恐，…，氟}，N≥I作为结点的Bayes网络f4，5]的学习 问题，对相关内容的讨论，也以离散变量的情况为例． 万方数据
第4期 苦博等：Bes网络学习的MCMC方法 83 2.1 Bayes网络模型(Bayesian networks) 无法得到计算P(S1D)所需的归一化常数，因此不 -·个Bays网路是，个元组B=(G.O》,其中 能得到真正的P(SID),在这种情况下可以使用 1)G=1,2,…,x{是一个有向无环图 Markov链Monte Carlo方法(MCMC)按照未」：化 (DAG),其结点为 的概率分布P(D1S)P(S)对网络结构S进行抽 U=X1,X2…,Xx,V≥1， 处 几C2,i=1,…,是结点X,的父结点集合： 3 Markov链Monte Carlo方法(Markov 2)⊙=}P(X:1L)1X:∈U.i=1,…,N背是 chain Monte Carlo method) ,组条件概率的集合，称为网络参数 虽然P(S!D)是无法直接计算得到的，但是可 ,个Bayes网络B=〈CG,日》确定了一个概率 以首先构造-一个Markov链，使得其极限分行收敛于 空间〈2，F.P〉，其中 网络结构的后验分布P(SID),然后使用Monte Cao方法对此Markov链进行轴样，那么所得到的 P()=lP(x.1). (1) 网络结构的样本序列 根据Bayes网络的定义，从数据样本中学习 s0,S,2,… (4) Bayes网络，就是要学习网络模型的结构G和参数 的概率分布收敛上P(S〡D).即便如此，因为网络 ©，而学习网铬结构就是寻找每一个节点的父结点. 结构的模型空间是非常大的，利用抽样计数的方法 下面给出一个关于Bayes网络结构的命题. 得到P(SID)也是不可能的，但是可以在此序列中 命题1如果G是·个有向无环图(DAG), 挑出具有最大后验概率的网络结构 V,2是G中任意两个结点，那么总能够在V1和2 本文中使用的MCMC方法是Metropolis-Hast- 之间添加一条弧，使得所得的图仍然是一个DAG. is算法，作者用它来对网铬结构进行抽样和搜索， 证需要说明的是在，和V,之问添加一条任 Metropolis-Hastings算法的基本总想是，首先给定 意方向的弧之后都构成有向环的情况是不可能发生 个网络结构的初值S,然后循环执行下述两步： 的.假设在：G中添加由Y,指向V2的弧y1·2后形 1)按照产生概举G(S,S·)生成一个新的网 成有向环，作者把此环路记作V,V2,R,V,其中R 络结构S': 表示构成此环路的所有其它结点；又如果在添加由 2)以接受概率 V2指向V的弧V2-~V1之后也形成有向环V2,, C(S.S)P(D I S)P(S) T,V2,那么在原来的图G中就会存在一个有向环 A(S,S'）=minl, G(S,S)P(DIS)P(S) V,T,V2,R,V1,这就与G是一个DAG相矛盾，由此 (5) 命题得证 使得+1=S,否则1=S 2.2 Bayes网络学习的Bayes方法(Bayesian 这样得到的抽样序列的极限分布就是网络结构 method for leaming Bayesian networks) 的后验分布P(S1D). 由Bayes公式，在已知数据样本D=D1,D2, 为了使用Metropolis-Hastings算法对网络结构 …,Dw,其中D,={,X,…,X{,i=1,…,M 进行抽样，必须给出-个恰当的焖络结构的产生概 时，网路结构S的后验概率P(SID)为 率G(S,·）、本文通过等概率随机选择下述3种操 P(SD)=P(D)P(s)P(D S)P(S). 作中的一个，由网络结构$生成一个新的网络结构 P(D) S米定义产生概率((S,S·): (2) I)删除一条弧：随机选择一条弧进行删除： 上式中P(S)是先验概率，P(D1S)是数据样本D 2)弧的反向：随机选择·条弧，在满足DAG的 在网辂结构S下的似然函数.在本文的计算中，使用 要求下，将它的弧头结点和孤尾结点进行交换； P(D{⊙，S)来近似P(D1S),这里的白是网路参 3)添加一条弧：随机选择两个相互之间不存在 数⊙在数据D下的极大似然估计(MLE),并且由式 城的结点，由命题】，我们总能够在这两个结点之 (I),有 添加·条弧。 P(D I S) 1ip(x1.a.s).(3) 如果巾生成的新的网络结构S·具有较人的 后验概书，由式(2)，即 由于Bayes网络结构模型空间的规模ISI是随 P(D I S)P(S')2 P(D I S)P(S), 着网络结点数的增加呈超指数增长的，在式(2)中 那么根据式(5)，接受概率A(S,S·）=L,因为 万方数据
第4期 岳博等：Bayes旦竺塑 MCMC方法 2．1 Bayes网络模型(Bayesian networks) ．个Bayes网络是·个：元组B=(G，@)，其巾 1)G=jnl，H2，…，fIN}是一个有向无环图 (DAG)，其结点为 ￡，= XI，X2，‘一，XⅣ}，～≥1， 仃．f_20，i：1，…，N足结点x，的父结点集台； 2)@=}P(^．1 JI。)l X。∈U，i=1，…，～}是 _『组条件概率的集合，称为网络参数． 个'Bayes网络／-／=<G，@)确定了一个概率 空间(n，F，P)，其巾 ，| P(t／)=ll Jp(x。l盯。)． (1) 根据Bayes刚络的定义，从数据样本中学习 Bayes网络，就是要学习网络模型的结构G和参数 @，而学习网络结构就是寻找每一个节点的父结点． r面给出一个关于Bayes网络结构的命题 命题l 如果G是‘个有向无环图(DAG)、 ¨．K足G中任意两个结点，那么总能够在¨和-+： 之间添加一条弧，使得所得的图仍然是一个DAG 证需要说明的是在¨和n之间添加一条任 意方向的弧之后都构成有向环的情况是不可能发生 的．假设在G中添加由V1指向％的弧rl，K后形 成有向环，作者把此环路记作V。，坞，R，¨，其中R 表示构成此环路的所有其它结点；又如果在添加由 r2指向¨的弧p2一，Vl之后也形成有向坏V2，¨， r，r：，那么在原来的图G中就会存在一个有向环 rf，r，V2，R，yI，这就与G是一个DAG相矛盾，由此 命题得证． 2．2 Bayes网络学习的Bayes方法(Bayesian method for learning Bayesian networks) 由Bayes公式，在已知数据样本D={D，，D2， …，DM}，其中JI)，={蜀，玛，…，船}，i=1，…，M 时，网络结构s的后验概率P(S D)为 P(S㈨)：盟％酱㈣。P(o㈣邶)． (2) 上式中P(s)是先验概率，P(D{S)是数据样本D 在网络结构s下的似然函数，在本文的计算巾，使用 P(D l国。s)来近似P(D S)，这里的仓是网络参 数@在数据D下的极大似然估计(MLE)，并且由式 (I)，有 Ⅳ N Jr)(D|s)=I 1 I I P(x?IⅡ?，自，，5)．(3) 由r Bayes网络结构模型空间的规模I S I是随 着网络结点数的增加呈超指数增长的，在式(2)中 无法得到计算尸(s J『))所需的归一化常数．凶此不 能得到真正的P(S I，J)．在这种情况F可以使用 Markov链Monte Carlo力‘法(MCMC)按照未山 化 的概率分布P(D s)P(S)对网络结构s进行抽 样 3 Markov链Monte Carlo方法(Markov chain Monte Carlo method) 虽然P(5}D)是无法直接计算得到的，但足可 以首先构造一个Markov链，使得其极限分mJ收敛于 网络结构的后验分布P(S D)，然后使用Monte Carlo方法对此Markov链进行抽样，邵么所得到的 网络结构的样本序列 so，S1，S2，… 14) 的概率分布收敛J1 P(s D)．即便如此，因为网络 结构的模型空间是非常大的，利用抽样计数的方法 得到|p(s D)也是不可能的，但是可以在此序列中 挑mt l具有最大后验概率的网络结构 本文中使用的MCMC方法是Metropolis—Hast— ings算法，作者用它来对网络结构进行抽样和搜索． Metropolis-Hastings算法的基本思想是，首先给定一 个网络结构的初值∥，然后循环执行下述两步： 1)按照产，卜概率G(S2，S‘)生成一个新的网 络结构s’； 2)以接受概率 慨S*m{·，％活嵩沿≮聪3) (5) 使得S“l：s’，否则S”1：F． 这样得到的抽样序列的板限分布就是网络结构 的后验分布P(S 0)． 为了使用Metropolis—Hastings算法对网络结构 进行抽样，必须给出一个恰当的嘲络结构的产生概 率c(F，．s’)，本文通过等概率随机选择下述3种操 作中的一个，由网络结构S2生成一个新的网络结构 S。求定义产生概率G(s5，S“)： J)删除一条弧：随机选择一条弧进行删除； 2)弧的反IjI：随机选择·条弧，在满足DAG的 要求F，将它的弧头结点和弧尾结点进行交换； 3)添加一条弧：随机选择两个相互之间不存在 弧的结点，由命题1，我们总能够在这两个结点之J可 添加·条弧 如果巾F生成的新的网络结构S’具有较人的 后验概率，由式(2)，即 JD(力I s。)尸(S’)≥P(D S2)P(v)， 那么根据式(5)，接受概率A(S‘，S’)=l，因为 万方数据
584 控制理论 与应用 第20卷 G(S,S·）=(S,S).这样抽样序列中的下一个 iiP氏灯1m,,s) 样本点定是其有较大后验概率的S”,也就是说， m=11.1. 式(4)所示的抽样序列有着向网络结构模型空间屮 川iP(xW1,i.s) 具有较大后验概率的模型靠近的趋势，因此可以将 m=【1=1 MCMC方法作为一种搜索算法来使用. .s) 4网络结构先验概率P(S)和接受概率A m■【=1 P(X1,©i,S) (S',S·)的计算（Computation of prior PX1m,⊙，S)P(X探1m,⊙.S) P(S)and acceptance probability A(S'. 形=1 P(1,⊙，S)P(x1R,©，) $) (7) 在Metropolis-.Hastings算法中，需要给出网络结 上式表明，在计算P(DIS·)/P(DIS)时，只需要 构的先验概率P(S)和计算两个网络结构模型下样 两个结点X,X在两种网络结构S,S·下的4组网 本似然的比值P(DIS·)/P(DIS). 络参数的MLE估计6，白：，和©就足够了，与 4.1网络结构的先验概率P(S)(The prior probabil- 其它节点是无关的 ity P(S)for the network structure) 5算法性能与实例(Function and example of 利用不同的先验概率分布，能够灵活地控制网 algorithm) 络结构模型的某些特性，例如网络中弧的个数、树络 以Alam网络.)为例来说明本文所提出的算 中自由参数的个数等，事实上，在以某种准则作为模 法的性能.首先使用此网络抽样出10,000个数据样 型评价标准的模型选择方法中，本文的先验概率相 本，然后使用本文的MCMC方法在不同样本容量的 当于那里的惩罚项，本文使用Bayes信总准则(BIC) 数据下抽样得到·个网络结构的序列，在本例中抽 中的惩罚函数作为网络结构的先验概率 出5000个网络结构样本.其中在网络结构的生成 log P(S)=-og (-)+c, 中，弧的添加、删除、反向操作以及保持原网络结构 不变这4种情况是等可能发牛的，因此在各种情况 (6) 下，产生概率G(,S‘)都为1/4.数据样本的容量 其中c是归-一化常数，∑：(：-1)是网络中自由 出1000变化到10000，每增加1000个数据进行一次 4e1 计算.接下来在这5000个树络结构样本中找出具有 参数的个数，是节点X;的状态数，9：是Ⅱ，的状念 最大后验概率的网络结构，以此计算数据样本的似 数.显然，网络结构越复杂，式(6)所赋予的先验概率 然函数值，结果如图1所示.图中的横轴为样本容 越小.虽然式(6)给出的先验概率不是」·化的，但 量，纵轴为数据样本的似然值.图1的另一条曲线是 对于式(5)已经足够了.同时式(6)的另·个特性是 在相同的数据样本上使用B搜索算法所得的结果 它是可分解的，这使得接受概率的计算非常方便和 相对于模型空间的维数而言，MCMC方法在进行了 葡单， 非常少的5000次抽样中，就得到了与B-搜索算法相 4.2接受概率A(S,S)的计算(Computation ac 当的结果，而后者仅仅在搜索网络的第一条弧时就 ceptance probability A(,S)) 需要对37×36=1332种可能的情况进行计算 在给出产生概率G(S,S)时所定义的3种操 0104 作—一弧的别除、反向和添加一对于网络结构 而言都是一种局部性的操作，它最多只改变两个结 -2 点的父结点集合，这大大简化了接受概率A(S, -4 S)的计算. -6 假设在进行弧的删除、反向或添加时所对应的 -8 两个结点是X和X,同时在网络结构为时它们的 -10 父结点集合分别为几，和几，在S·下的父结点集合 -12 200040006000800010000 为Ⅱ；和，出式(3)，样本似然的比值P(D 图】样本似然 S‘)/P(DIS)为 Fig.1 The likelihood of the data P(DIS') P(DIS)= (下转第588页) 万方数据
控 制 理 论 与 应 用 G(S，．S、)：c=(S 2，S‘)．这样抽样序列【}】的下一个 样本点-定是具有较大后验概率的S’，也就是说， 式(4)所示的抽样序列有着向网络结构模型空间中 具有较大后验概率的模型靠近的趋势，因此可以将 MCMC h-法作为一种搜索算法来使用． 4网络结构先验概率P(S)和接受概率A (s‘，S”)的计算(Computation of prior P(S)and acceptance probability A(S 7， S+)) 在Metropolis．Hastings算法中，需要给出网络结 构的先验概率P(S)和计箅两个网络结构模型下样 本似然的比值JD(D S’)／P(D S‘)． 4．1网络结构的先验概率P(S)(The prior probabil— ity P(S)for the network structure) 利用不|百J的先验概率分布，能够灵活地控制网 络结构模型的某些特性，例如网络中弧的个数、}c)!|络 中自由参数的个数等事实上．在以某种准则作为模 型评价标准的模型选择方法中，术文的先验概率相 当于那里的惩罚项．奉文使用Bayes信息准则(BIC) 中的惩罚函数作为网络结构的先验概率 1 ．Ⅳ， log P(s)=一音hg ‘ M·∑q，(‘一1)+c， j一1 (6) ．n， 其中c是归一化常数，∑q。(_一1)是网络中自由 I—I 参数的个数，_足节点x，的状态数，q。是仃。的状态 数显然，网络结构越复杂．式(6)所赋予的先验概率 越小虽然式(6)给出的先验概率不是归·化的，但 对于式(5)已经足够了．同时式(6)的另-，个特性是 它是nJ分解的，这使得接受概率的汁算非常方便和 简单． 4．2接受概率A(s‘，s。)的计算(Computation ac— ceptance probability A(S。，S‘)) 存给出产生概率c(S‘，S”)时所定义的3种操 作一一弧的删除、反向和添加——对于网络结构 而言都足一种局部性的操作，它最多H改变两个结 点的父结点集合，这大大简化了接受概率A(S1， S“)的计算． 假没在进行弧的删除、反向或添加时所对应的 两个结点是x．和飘，同时在网络结构为s2时它们的 父结点集台分别为Ⅱ，和盯女，在5、F的父结点集合 为Ⅱj和盯；，由式(3)，样本似然的比值P(D S。)，7P(D 1Ⅳ)为 ￡i旦l!j— P(D S z)一 第20卷 |I『1 P(研l』玎，自；，Si) *11l P(矸l仃f～，国?，s’) ?!，是j P(胛l玎，，0；，S2) 一 l’P(F I仃『“”，国i，s。)P(xZ‘I聊”，@j，S) 刊P(卵I田，@；，S‘)P(孵l盯f，@I，s‘) (7) 上式表明，在汁算，，(D s。)／P(D S2)时，只需要 两个结点■h也在阿种网络结构S4，s。下的4组网 络参数的MLE估计自?，自；，白；和园；就足够丁，与 其它节点是无关的 5算法·陡能与实例(Function and example of algorithm) 以Alarm网络_^-71为例来说明本文所提出的算 法的性能首先使用此网络抽样出10，000个数据样 本，然后使用本文的MCMC方法在不同样本容最的 数据卜抽样得到·个网络结构的序列，在本例中抽 出5000个网络结构样本．其中在网络结构的，l成 中，弧的添加、删除、反向操作以及保持原网络结构 不变这4种情况是等可能发牛的，因此在各种情况 下，产生概率c(s2，S‘)都为1／4．数据样本的容量 由1000变化到10000，每增加1000个数据进行一次 计算接F来在这5000个网络结构样本中找出恩有 最大后验概率的网络结构，以此计算数据样本的似 然函数值，结果如图l所示．【冬l中的横轴为样本容 量，纵轴为数据样本的似然值．图l的另一条曲线是 在相同的数据样本E使用B．搜索算法所得的结果． 相对于模型空间的维数而言，MCMC方法在进仃了 非常少的5000次抽样中，就得到r与B。搜索算法相 当的结果，而后者仅仅在搜索网络的第一条弧时就 需要对37×36=1332种可能的情况进行计算． 蚓1样本似然 Fig．1 The likelihood of_the data (下转第588页) 必 型 万方数据
588 控制理论与应州 第20卷 象，所以常规Smih补偿的方法受到很大的限制.本 研究1J川.控制与决策，1998,13(2)：141-145 文采用Elman网络补偿常规模型的建模误差，减少 (WANG Jianhui.OI Xin.GU Shusheng.Research on fuzzy Smith control strategy of time delay systems[].Cantrol and Decision, 了精确建模的要求 1998.13(2):141-145.) 1)如果纯滞后环节建模精确，即x=tp,只要 「3孙增圻，张再兴，邓志东智能控制理论与技术[M.北京：济华 Elman网络通过训练满足精度要求就可以认为完全 大学出服杜.1999 抵消了纯滞后环节对控制品质及系统稳定性的不利 (SUIN Zenggi.ZHANG Zuixing.DENG Zhidong.Theory and Tech- 影响. nlug of Intelligent Comtrol M].Beijing:Tsinghua University 2)如果纯滞后环节建模不精确，即x≠tp,则 Pns,1997.1 [4】H杰.杰，张宁河.基于Ebn阿蜂补偿模型的Smh传测控 纯滞后环节不能被完全抵消，但其不利影响可以大 制[J.北京理大学学报，2002,22(3)：343-346. 幅削弱，削弱的程度取决于其模型精确度. ('TAN Jie.C.HEN Jie,ZHANG Yuhe.Smith predictive cuntrol 通过仿真及实验结果可以看出，基于Eman网 based on Elman network cmpensatory model [Jof Beijing In- 络补偿的Smih预测控制利用了神经网络的非线性 stire of Teclnology.202,2(3):43-346.) 逼近特性及神经元自学习、白组织的能力，弥补了常 5]陈晓东，马广广富.王了才.改进的E如网络与机理惧型的互.补 建校方法J].系统仿真学报，1999,11(2)：97-100 规Smith预测控制在解决模型不确定系统中的不足 (HEN Xiaodon哩，MA Guangfu,WANG Zict,A mutually com- 之处，使得其广泛应用成为可能 psaymdeling method bsedmchanism modeln impvd Elman nctwork [J.of System Simulation.1999.11(2):97- 参考文献(References): 100. 【1:杰，能至豪，任雪悔，纯滞后系统的单神经元Sh预测物制 作者简介： [J1.f算机仿真，2001,18(1)：40-42 田杰(172-).明，工学博十.主要研究领城为估息期合 (TIAN Jie,GONG Zhiha,REN Xuemei.Single neurvo Smith pre- 智能控制等.E-mail:jict钟263.nct; dictive cono of time elay systems[Compuer Simation. 陈杰(5一》，男，工学博七，教授，博士生异师.主空研究 201.8(1}:40-42.) 领城和方向为：复杂系统的多指标优化与决策，智能控制，非线性控 [2】往钢，齐昕，懒树生，·类纯滞后系统模糊Smi的控制策略的 制，生物宿总处那等理论与方法研究.Eail:henjie@hit.cd山，m (上接第584页) 6结论(Conclusion) 934):935-948 基于Bayes统计理论，本文提出了，·种从数据 4 HECKERMAN D,GEIGER D.CHICKERING D.Leaming Bayes- ian networks:The combination of knowledge and statistical data!J 样本中学习Bayes网络的Markov链Monte Carlo方 Machine Leamting.1995.20(2):197-243. 法，首先使用先验概率和数据样本相结合得到未归 [5]KHALFALLAH F.MELLOULI K.Optimized algorithm forr leaming 一化的后验概率，然后以此指导随机搜索算法寻找 Bayesian network from data A].Prue of the Eurypean Conf on “好"的网络结构模型.对Alam网络的学习表明本 Symbolic and Quantitative Approach to Reasuning and Uncerininty 方法具有较好的性能 [C].Londkn:Cambridge Press.1999. 6]LJU J.CHANG K.ZHOU J.Leaming Bayesian networks with a hy brid couvergent methodJ].EEE Trans Systenis,Man,Cyhemet- 参考文献(References): i3.1999,29(2):436-449 7j http://www.s.buji.uc.it/labs/compbio/Repository/Datasets/ [1]COOPER G.HERSKOVTTS E.A Bayesian method for the induction alarm/alarm.htm. of prubabilistic networks from data[].Machine Leaming,1992.9 (31:309-374. 作者简介： [2 BUNTTNE W.Theory refinement on Bayesian nesworks [Aj.Prur 岳牌{1970·)，男，博士研究生，主要研定方向为概米模 of 7th Coryf Uncertainty Arificial Intelligence C1.Los Angeles C4.1991:652-660, 型.Ba到cs统计方法等.mail:ebo@rp印.xidian.e.cn: [3]CHIPMAN H,GEORGE E,McCULLAXCH R.Bayesian CART 焦李成(195州一).男，教授，博士生导师，毛要研究领城为普 线性科学，智能信息处理等. model search Jj.J of the American Staristical Association.198. i 万方数据
588 控 制 理 沦与 应 片j 象，所以常规Smith补偿的方法受到很大的限制．本 文采用Elman网络补偿常规模型的建模误差，减少 了精确建模的要求 1)如果纯滞后环节建模精确，即r=r。，H要 Ehrlml网络通过训练满足精度要求就可以认为完全 抵消f纯滞后环节对控制品质及系统稳定性的不利 影响 2)如果纯滞后环节建模不精确，即r≠r。则 纯滞l,；-s4；节不能被完全抵消，但其小利影响可以大 幅削弱，削弱的程度取决于其模型精确度． 嗵过仿真及实验结果可以看出，基于Elman网 络补偿的Smith预测控制利用r神经网络的非线性 逼近特性及神经元自学习、自组织的能力，弥补了常 规Smith预测控制在解决模型不确定系统中的不足 之处．使得其广泛应用成为可能 参考文献(References) I。 …杰，垂至豪，侄雷梅纯滞后系统的单神经元Smdth预测栉制 [J]【f算机仿真，2001，18(1)：40二42 (qlAN Jie．03NG zhm∞．KEN Xuealej Single neuM Smith pre— dictive control of time delay systems【J J Con础ter Simulation， 丑的1．18(I)：40—42) 2] 1．建旰，齐听顺树生 ·粪纯滞后系统模糊Smith控制策略的 (上接第584页) 6结论(Conclusion) 基于Bayes统计理论，本文提出了‘种从数据 样本Ifl学习Bayes网络的Markov链Monte Carlo方 法苗先使用先验概率和数据样本相结合得到未归 一化的后验概率，然后以此指导随机搜索算法寻找 “好”的网络结构模型．对Alarm网络的学习表明本 方法具有较好的性能． 参考文献(References) 1 J COOPER G．HERSKOVlTS E A Baye对an method for岫induction of pttthabilisfic networks from data l J J Machine l卫aming，1992，9 【3l：30q一374 2]BUNTINE W Theory refinement(IIl Bayesian netwcvrks【A J mr of 7th驯Urwertainly Artificial tntelligerk'e[C Los Angeles， CA．199l：652—660 3 J CHIPMAN H．GEORGE E，McCULL()C7-1 R Bayefian CART nxxleI search【JJ J oftheAnwncoⅢStati_ticrdA删m胁．1098， 第20巷 研究『Jl拧制与决策，1998，13(2)：141一145 (WANG Jieamui，QJ Xfu．GU Shusheng Research o／i fuzz),Smith conrail strategy of time dalay wsl廿璐『J]Control and Dectsicw， 1998．13(2)：141 145) 31孙增圻．张再必，邓志东智能控制理论勺技术[M]J匕窟：清华 大学出版社，1997 (SUN Zengqi ZHANG Zaixing．DENG Z／aidong Theory“nm eu，logv of Intelligent Control M BeUing：T日nghua Unixersity Press 1997 1 4j Ⅲ杰．际杰，张宁河甚于Elmen网络补偿模型的Smith豫测控 制[Jl北京理『大学学报，2002，22(3)：343—346 (FIAN Jie．(：HEN Jle，日刚G Yuhe Smith predictive control based on Elman network,,'om碑nsatory model l J 』ofBeijinq，n— ttitue吖Tecfuwlogy．2002，22(3)：343—346) 5]陈晓东，码广富．王了才改进的Elman刚络与七『L理模到的巨补 建摸方法：』j系统仿真学报．1999，11(2)：97—100 ((：HEN Xiaodong．MA CbmgfIl，WANG Zicai A multtall，tompolsatory modeling method based Oll raechanism rrDdel and improv酣 Elman networkl J』、，of System Simulation，1999．1I(2)：97 】(X)) 作者简介： 田杰(1972一)，男，工学博十主要研究领域为信息肿台， 智能控制等E-mail：jietl神26．3／let； 陈杰(1965一)，男，工学博E。教授，博士牛导师#蛰研究 领域和方向为：复杂系统的多指标优化与决策，智能控制，啦线件控 制．生物信息处琊荨理}它与方法研究Enmil：chefljie@bit cda ctl 93(4)：935—948 。4j HECKERMAN D，GEIGER D．CHICKERING D Learning Baycs— I鲫networks：The oombination ofknowledge and statiaical dam i J J Machine Learning．1995，20(2)：197—243 [5 J籼ALLAH F．MELLOULI K o口“zd algorithm for learning Bayesian network from data[A】Pn"吖the European O．tf o?t Symbolic and Qutmtitative Approach to Reasoning and Uitcerlainty lC J London：Cambridge m％．1999． 6 J uu J，CHANGK，ZHOU J Learning Bayesian networkswith．I hy， brid convergentmethod iJ J IEEET,tms sⅧ㈣．Man，Cyhemet— ic5 1999，29(2)：436—449 【7 J http；／／www髂hWl盯il／】曲∥colT驴b讪／Re呷ltory／Dala峨∥ alarm／alarm htm 作者简介： 岳博(1970一)．男，博士研究牛．丰蚤研究^向为概牢模 型。Baye：s统计方法等E-mWI：yucbo@rspⅪ山肌曲cn： 焦李成(1959--)，男，教授，博士生导师．主要研究领域为非 线件科学．智能信息处理等 万方数据