第20卷第4期 控制理论与应用 Vol.20.4 2003年8月 Control Theory Applications Aug.2003 文章编号：1000-8152(203)04-0582-03 Bayes网络学习的MCMC方法 岳博，焦李成 (西安电了科技大学常达信号处理国家重点实验室，陕西西安70071) 摘要：基于Bayes统计理论.提出了一种从数据样本中学习Bayes网络的Markov链Monte Carlo(MCMC)方法. 首先通过先验概率和数据样本的结合得到未归一化的后验概率，然后使用此后羚概率指导随机搜索算法寻找“好” 的网铬结构模型，通过对Aam网络的学习表明了本算法具有较好的性能. 关键调：Baycs网络：Markov链Monte Carto方法；模型选择：随机搜索 中图分类号：TP01 文献标识码：A MCMC approach to Bayesian networks learning YUE Bo.JIAO Li-cheng (Key Lab for Radar Signal Processing.Xidian University.Shunxi Xi'n 710X071.China) Abstract:A Bayesian network isa gaphical model that encodes probabilistic relationships among variables of nteres.In many cases,the authors hoped to lear Bayesian networks from data.Using the Markov chain Monte Carlo (MCMC)ap- proch.this paper proposeda Bayesian statistical methd for learing Bayesian networks from data.in terms of network stuc tures and parameters.Prr specification and stochasticsrch were wo important components of this approch.The combina- tion of prior probability and data smples induced a posterior distribution that would guide the stochastic sehwards the et work structures having the maximal posterior probability.The performance of this approach is illustralted by the leaming of the Alarm network from data. Key words:Bayesian networks:Markov chain Monte Carlo;model selection:stochastic search 1引言(Introduction) 等，然后使用贪婪算法搜索好的网络结构模型。 作为一种表示概率空间的模型，Bayes剩络利用 本文使用Bayes统计和Markov链Monte(arlo 一组随机变量之问的条件独立关系减少了对这组变 方法来搜索后验概率最大的网络结构模型.将网络 量的联合分布进行表示时所需要的参数的个数，同 结构的先验分布和数据样本相结合，可以得到尚未 时也借助于反映这些条件独立关系的网络结构得到 归一化的网络结构模型的后验概率，由此指导随机 了有效的概率推埋算法，这些都使得Bays网铬模 搜索算法寻找“好”的网络结构模型.与贪婪算法相 型在众多的领域中得到了越来越广泛的应用，例如 比较，本文中的方法能够对更大的网络结构模型空 医疗诊断和故障诊断系统，信息检索和时间序列分 间进行搜索利同时，在初始条件相同的情况下，贪 析等. 婪算法的多次运行都将得到相同的网路结构序列和 一股地，人们希望通过数据样本来学习Bayes “最优”的网铬，而多次执行木文中的随机搜索算法 网络模型，其中对网络结构的学习是上要的，这是内 将搜索到更大部分的模型空间，因此将得到更好的 为网络结构模型空间的规模是随着网络结点个数的 结果.通过对Alam网络的学习验证了本算法具有 增加而朵超指数增长的，对此进行搜索需要有效的 较好的性能， 算法来完成，而在已知网络结构以后，如何得到网络 2 Bayes网络模型及学习(Learning Bayesian 参数只是一个相对简单的参数估计问题.已有的 networks Bays网络学习算法主要有K算法刂和B-搜索(B 在本文中，只考虑以一组离散型随机变量V={X1, search)算法2l等.这两种算法都首先定义--种评价 X2…,X,.N≥1作为结点的Byes网络[4,5]的学习 网络结构模型优劣的准则，例如后验概率、条件熵 问题，对相关内容的论，也以离散变量的情况为例 收辆H期：2001-09-24，收锋改镇日期：2002-06-17 林金项月：国家自然科学基金(60073053)资助项目. 万方数据第20卷第4期 控制理论与应用 Vol 20 N‘、4 2003年8月 Control Theory＆Applications Aug一2【m 一—=；=—!——————————；===——————————；—===————=————=—————一=====!=——!———————===一一 文章编号：1000—8152(2003)04—0582—03 Bayes网络学习的MCMC方法 岳博，焦李成 西安电丁科技大学雷选信号处理国家重点实验室．陕西凸安710071) 摘要：壁于Bayes统汁理论．提出了一种从数据样本中学习Bayes网络的Markov链Monte Carlo(MCMC)方法 白免通过先骑概率和数据样车的结合得到未归一化的后验概率．然后使用此后验概率指导随机搜索算法寻找“好” 的网络结构模型通过对Alarm网络的学习表明了本算法具有较好的性能． 关键词：Baycs网络；Markov链MonteCairo方法；模型选择；随机搜索 中囤分类号：TP301 文献标识码：A MCMC approach to Bayesian networks learning YUE Bo，JIAO Li．cheng (Key Lab fcr Radar Sifoaal Proce舛ing．Xidian Umve咖．Simnxi Xi’Ⅱn 71(X)71．China) Abstract：A Bayesian network is a grapalcai model that encodes probabilistic relationships among variables of intere,s1．In fftan，cases，the authors hoped to learn Bayesian networks from data Using the Markov chain Monte Carlo(MCMC)ap— proach，this paper proposed a Bayesian statistical method for learning Bayesima networks fama data．in terms of netwⅢk stlllC一 1tires and parameters．Price specification and stochastic search welfe two i111Dmt cornponents of this apprtmh．The ctmabiaa— lion of pior probability and data samples induced a posterior distribution that woald guide the stochastic search towards the llet— work structures having the maxirmd posterior probability The performance of this approoch is illustrated by the learning of the Alama network from data Key words：Bayesian networks：Markov chain Monte Carlo；model selection；stocl'm．sfic search 1引言(Introduction) 作为一种表示概率宅间的模型，Bayes刚络利用 一组随机变镀之间的条件独立关系减少了对这组变 量的联合分布进行表示时所需要的参数的个数，同 时也借助于反映这些条什独直关系的网络结构得到 r有效的概率推理算法，这些都使得Bayes网络模 型在众多的领域中得到了越来越广泛的应用，例如 医疗诊断和故障诊断系统、信息检索和时间序列分 析等 一般地，人们希望通过数据样奉来学习Bayes 网络模型，其中对网络结构的学习是土要的，这是冈 为网络结构模型空问的规模是随着网络结点个数的 增加而旱超指数增长的，对此进行搜索需要有效的 算法来完成，而在_已知网络结构以后，如何得到网络 参数H是一个相对简单的参数估计问题已有的 Bayes网络学习算法主要有K，算法-“和B．搜索(B— search)算法_21等．这丽种算法都首先定义一种评价 网络结构模型优劣的准则，例如后验概率、条件熵 收稿H期：2001—09—24；收修改稿日期：2002—06—17 摹金项目：国家自然科学基金(60073053)资助项目 等，然后使州贪婪算法搜索好的网络结构模型． 本文使用Bayes统计和Markov链Monte(3arlo 办法来搜索后验概率最大的网络结构模型．将网络 结构的先验分布和数据样本相结合，可以得到尚未 归一化的网络结构模型的后验概率，由此指导随机 搜索算法寻找“好”的网络结构模型．与贪婪算法相 比较，本文中的方法能够对更大的网络结构模，l!!空 间进行搜索b1同时，在初始条件相同的情况p，贪 婪算法的多次运行都将得到相同的嘲络结构序列和 “最优”的网络，而多次执行本文中的随机搜索算法 将搜索到更大部分的模型宅间，困此将得到更好的 结果．通过对Alarm网络的学习验证了本算法具有 较好的性能． 2 Bayes网络模型及学习(Leanfing Bayesian networks) 在本文巾，只考虑以—组离散型随机变量f，=i J．， 恐，…，氟}，N≥I作为结点的Bayes网络f4，5]的学习 问题，对相关内容的讨论，也以离散变量的情况为例． 万方数据