高级人工智能 第六章 贝叶斯网络 概率推理 史忠植 中国科学院计算技术研宪所 adyanced Ar'iiFsicl nelligen
2021/8/25 史忠植 高级人工智能 1 高级人工智能 第六章 贝叶斯网络 概 率 推 理 Advanced Artificial Intelligence 史忠植 中国科学院计算技术研究所
内容提要 6.1概述 6.2贝叶斯概率基础 6.3贝叶斯问题的求解 6.4简单贝叶斯学习模型 6.5贝叶斯网络的建造 6.6贝叶斯潜在语义模型 6.7半监督文本挖掘算法 20218/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 2 内容提要 6.1 概述 6.2 贝叶斯概率基础 6.3 贝叶斯问题的求解 6.4 简单贝叶斯学习模型 6.5 贝叶斯网络的建造 6.6 贝叶斯潜在语义模型 6.7 半监督文本挖掘算法
61概述 ●贝叶斯网络是用来表示变量间连接概率的图 形模式,它提供了一种自然的表示因果信息 的方法,用来发现数据间的潜在关系。在这 个网络中,用节点表示变量,有向边表示变 量间的依赖关系。 ●贝叶斯方法以其独特的不确定性知识表达形 式、丰富的概率表达能力、综合先验知识的 增量学习特性等成为当前数据挖掘众多方法 中最为引人注目的焦点之 20218/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 3 6.1 概 述 ⚫ 贝叶斯网络是用来表示变量间连接概率的图 形模式，它提供了一种自然的表示因果信息 的方法，用来发现数据间的潜在关系。在这 个网络中，用节点表示变量，有向边表示变 量间的依赖关系。 ⚫ 贝叶斯方法以其独特的不确定性知识表达形 式、丰富的概率表达能力、综合先验知识的 增量学习特性等成为当前数据挖掘众多方法 中最为引人注目的焦点之一
61概述 61.1贝叶斯网络的发展历史 贝叶斯( Reverend Thomas Bayes,1702-1761)学派奠 基性的工作是贝叶斯的论文“关于几率性问题求解的 评论”。或许是他自己感觉到它的学说还有不完善的 地方,这一论文在他生前并没有发表,而是在他死后, 由他的朋友发表的。著名的数学家拉普拉斯( Laplace P. s)用贝叶斯的方法导出了重要的“相继律”,贝叶斯 的方法和理论逐渐被人理解和重视起来。但由于当时 贝叶斯方法在理论和实际应用中还存在很多不完善的 地方,因而在十九世纪并未被普遍接受。 20218/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 4 6.1 概 述 6.1.1 贝叶斯网络的发展历史 ⚫ 贝叶斯（Reverend Thomas Bayes, 1702-1761）学派奠 基性的工作是贝叶斯的论文“关于几率性问题求解的 评论”。或许是他自己感觉到它的学说还有不完善的 地方，这一论文在他生前并没有发表，而是在他死后， 由他的朋友发表的。著名的数学家拉普拉斯 （Laplace P. S.）用贝叶斯的方法导出了重要的“相继律”，贝叶斯 的方法和理论逐渐被人理解和重视起来。但由于当时 贝叶斯方法在理论和实际应用中还存在很多不完善的 地方，因而在十九世纪并未被普遍接受
61概述 61.1贝叶斯网络的发展历史 二十世纪初,意大利的菲纳特(B. de finetti)以及英 国的杰弗莱( Jeffreys H.)都对贝叶斯学派的理论作出 重要的贡献。第二次世界大战后,瓦尔德( Walda.) 提出了统计的决策理论,在这一理论中,贝叶斯解占有 重要的地位;信息论的发展也对贝叶斯学派做岀了新的 贡献。1958年英国最悠久的统计杂志 Biometrika全文 重新刊登了贝叶斯的论文,20世纪50年代,以罗宾斯 ( Robbins h.)为代表,提出了经验贝叶斯方法和经 典方法相结合,引起统计界的广泛注意,这一方法很快 就显示出它的优点,成为很活跃的一个方向。 20218/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 5 6.1 概 述 6.1.1 贝叶斯网络的发展历史 ⚫ 二十世纪初，意大利的菲纳特（B. de Finetti）以及英 国的杰弗莱（Jeffreys H.）都对贝叶斯学派的理论作出 重要的贡献。第二次世界大战后，瓦尔德（Wald A.） 提出了统计的决策理论，在这一理论中，贝叶斯解占有 重要的地位；信息论的发展也对贝叶斯学派做出了新的 贡献。1958年英国最悠久的统计杂志Biometrika全文 重新刊登了贝叶斯的论文，20世纪50年代，以罗宾斯 （Robbins H.）为代表，提出了经验贝叶斯方法和经 典方法相结合，引起统计界的广泛注意，这一方法很快 就显示出它的优点，成为很活跃的一个方向
61概述 61.1贝叶斯网络的发展历史 ●随着人工智能的发展,尤其是机器学习、数据挖掘等 兴起,为贝叶斯理论的发展和应用提供了更为广阔的 空间。贝叶斯理论的内涵也比以前有了很大的变化。 80年代贝叶斯网络用于专家系统的知识表示,90年代 进一步研究可学习的贝叶斯网络,用于数据采掘和机 器学习。近年来,贝叶斯学习理论方面的文章更是层 出不穷,内容涵盖了人工智能的大部分领域,包括因 果推理、不确定性知识表达、模式识别和聚类分析等。 并且出现了专门研究贝叶斯理论的组织和学术刊物 International Society Bayesian Analysis 2021/8/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 6 6.1 概 述 6.1.1 贝叶斯网络的发展历史 ⚫ 随着人工智能的发展，尤其是机器学习、数据挖掘等 兴起，为贝叶斯理论的发展和应用提供了更为广阔的 空间。贝叶斯理论的内涵也比以前有了很大的变化。 80年代贝叶斯网络用于专家系统的知识表示，90年代 进一步研究可学习的贝叶斯网络，用于数据采掘和机 器学习。近年来，贝叶斯学习理论方面的文章更是层 出不穷，内容涵盖了人工智能的大部分领域，包括因 果推理、不确定性知识表达、模式识别和聚类分析等。 并且出现了专门研究贝叶斯理论的组织和学术刊物 International Society Bayesian Analysis
61概述 612贝叶斯方法的基本观点 ●贝叶斯分析方法的特点是用概率去表示所有形式 的不确定性,学习或其它形式的推理都用概率规 则来实现。 贝叶斯学习的结果表示为随机变量的概率分布, 它可以解释为我们对不同可能性的信任程度 ●贝叶斯学派的起点是贝叶斯的两项工作:贝叶斯 定理和贝叶斯假设。 ●贝叶斯定理将事件的先验概率与后验概率联系起 来。 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 7 6.1 概 述 6.1.2 贝叶斯方法的基本观点 ⚫ 贝叶斯分析方法的特点是用概率去表示所有形式 的不确定性，学习或其它形式的推理都用概率规 则来实现。 ⚫ 贝叶斯学习的结果表示为随机变量的概率分布， 它可以解释为我们对不同可能性的信任程度。 ⚫ 贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯 定理和贝叶斯假设。 ⚫ 贝叶斯定理将事件的先验概率与后验概率联系起 来
61概述 612贝叶斯方法的基本观点 假定随机向量x,的联合分布密度是p(x,),它们 的边际密度分别为p(x)、p(O。一般情况下设x是观测 向量,6是未知参数向量,通过观测向量获得未知参数 向量的估计,贝叶斯定理记作 plx) 丌(0)p(x|6)x(()p(x|b) 丌()p(x|6)d0 丌(0是的先验分布 (6.1) 20218/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 8 6.1 概 述 6.1.2 贝叶斯方法的基本观点 假定随机向量x，θ的联合分布密度是p(x, θ)，它们 的边际密度分别为p(x)、p(θ)。一般情况下设x是观测 向量， θ是未知参数向量，通过观测向量获得未知参数 向量的估计，贝叶斯定理记作： = = p x d p x p x p x p x ( ) ( | ) ( ) ( | ) ( ) ( ) ( | ) ( | ) π(θ) 是θ的先验分布 (6.1)
61概述 612贝叶斯方法的基本观点 贝叶斯方法对未知参数向量估计的一般过程为: (1)将未知参数看成随机向量,这是贝叶斯方法与传统的参 数估计方法的最大区别。 ②2根据以往对参数知识,确定先验分布κ(θ),它是贝叶 斯方法容易引起争议的一步,因此而受到经典统计界的攻击。 (计算后验分布密度,做出对未知参数的推断。 在第(2步,如果没有任何以往的知识来帮助确定π(θ), 贝叶斯提出可以采用均匀分布作为其分布,即参数在它的变 化范围内,取到各个值的机会是相同的,称这个假定为贝叶 斯假设。 2021/8/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 9 6.1 概 述 6.1.2 贝叶斯方法的基本观点 贝叶斯方法对未知参数向量估计的一般过程为： ⑴将未知参数看成随机向量，这是贝叶斯方法与传统的参 数估计方法的最大区别。 ⑵ 根据以往对参数θ的知识，确定先验分布π(θ)，它是贝叶 斯方法容易引起争议的一步，因此而受到经典统计界的攻击。 ⑶计算后验分布密度，做出对未知参数的推断。 在第⑵步，如果没有任何以往的知识来帮助确定π(θ) ， 贝叶斯提出可以采用均匀分布作为其分布，即参数在它的变 化范围内，取到各个值的机会是相同的，称这个假定为贝叶 斯假设
61概述 61.3贝叶斯网络的应用领域 ●辅助智能决策 ●数据融合 ●模式识别 ●医疗诊断 ●文本理解 1.贝叶斯方法用于分类及回归分析 数据挖掘{2用于因果推理和不确定知识表达 3.用于聚类模式发现 20218/25 忠植高级人工智能
2021/8/25 史忠植 高级人工智能 10 6.1 概 述 6.1.3 贝叶斯网络的应用领域 ⚫ 辅助智能决策 ⚫ 数据融合 ⚫ 模式识别 ⚫ 医疗诊断 ⚫ 文本理解 ⚫ 数据挖掘 1. 贝叶斯方法用于分类及回归分析 2. 用于因果推理和不确定知识表达 3. 用于聚类模式发现