第9卷第2期 智能系统学报 Vol.9 No.2 2014年4月 CAAI Transactions on Intelligent Systems Apr.2014 D0I:10.3969/i.issn.1673-4785.201307013 网络出版地址:http://www.cnki.net/kcms/doi/10.3969/j.issn.1673-4785.201307013.html 决策形式背景下的主观贝叶斯概率推理 郑淑贤1,解滨2,米据生1 (1.河北师范大学数学与信息科学学院,河北石家庄050024:2.河北师范大学信息技术学院,河北石家庄 050024) 摘要:概率推理是进行数据分析的重要理论工具,利用专家经验值充分似然率和必然似然率可以进行主观概率推 理。以主观贝叶斯概率推理理论为依据,讨论了决策形式背景中条件属性与决策属性之间的关系,将推理方法推广 到包含度的形式,得出了无需先验概率的包含度计算方法。 关键词:贝叶斯方法:决策:决策表:决策理论与分析:形式概念分析:形式逻辑:包含度:概率逻辑 中图分类号:TP18文献标志码:A文章编号:1673-4785(2014)02-0235-05 中文引用格式:郑淑贤,解滨,米据生.决策形式背景下的主观贝叶斯概率推理[J].智能系统学报,2014,9(2):235-239. 英文引用格式:ZHENG Shuxian,XIE Bin,MI Jusheng.Subjective Bayesian probabilistic reasoning based on decision formal con- text[J].CAAI Transactions on Intelligent Systems,2014,9(2):235-239 Subjective Bayesian probabilistic reasoning based on decision formal context ZHENG Shuxian',XIE Bin2,MI Jusheng' (1.College of Mathematics and Information Science,Hebei Normal University,Shijiazhuang 050024,China;2.College of Information Technology,Hebei Normal University,Shijiazhuang 050024,China) Abstract:Probabilistic reasoning is an important theoretical tool for data analysis.Subjective probabilistic reasoning can be realized by the use of the sufficient likelihood ratio and necessary likelihood ratio which are developed through expert experience.Based on the subjective Bayesian probabilistic reasoning,this paper details the relation- ships between condition attributes and decision attributes in a decision form context and popularized the reasoning for the form of the inclusion degree.Finally,a calculation method without a prior probability was obtained. Keywords:Bayes methods;decision making;decision tables;decision theory and analysis;formal concept analy- sis;formal logic;inclusions;probabilistic logic 概率推理是根据不确定信息作出推理,同时需 系的数据库,其特殊性反映在对象与属性之间的关 要对得出结论的概率作出估计的推理模型。贝叶斯 系仅有是与非2种,决策形式背景是由对象集合、条 推理问题是条件概率推理问题2],最早在18世纪 件属性集合和决策属性集合形成的数据表。 由英国学者贝叶斯提出,这一领域的研究可以深化 目前许多学者正在进行将贝叶斯概率推理应用 人们对概率信息加工过程的理解,能够有效地指导 到数据库的研究[]。Pawlak[8]建立了贝叶斯理论 人们进行判断决策以及数据推理。形式概念分 和数据表之间的联系,Slezak等[]依据贝叶斯推理 析)是1982年由Wle首先提出的,它描述了对象 提出了贝叶斯数据模型,Y.Y.Yaoo基于贝叶斯决 和属性之间的联系,在数据分析和知识获取等方面 策过程提出了新的决策理论粗糙集模型,为数据推 有着非常重要的意义。形式背景是一类具有特殊关 理提供了新的思想。本文提出的主观贝叶斯概率推 理应用了贝叶斯公式的变形公式和主观给出的某些 收稿日期:2013-07-05.网络出版日期:2014-03-31. 基金项目:国家自然科学基金资助项目(61170107,61300121):河北 估计量,讨论决策形式背景中条件属性和决策属性 省教育厅基金资助项目(Q2012093). 的依赖关系。对于决策形式背景,条件属性的重要 通信作者:解滨.E-mail:xiebin hebtu@126.com
第 9 卷第 2 期 智 能 系 统 学 报 Vol.9 №.2 2014 年 4 月 CAAI Transactions on Intelligent Systems Apr. 2014 DOI:10.3969 / j.issn.1673⁃4785.201307013 网络出版地址:http: / / www.cnki.net / kcms/ doi / 10.3969 / j.issn.1673⁃4785.201307013.html 决策形式背景下的主观贝叶斯概率推理 郑淑贤1 ,解滨2 ,米据生1 (1. 河北师范大学 数学与信息科学学院,河北 石家庄 050024; 2. 河北师范大学 信息技术学院,河北 石家庄 050024) 摘 要:概率推理是进行数据分析的重要理论工具,利用专家经验值充分似然率和必然似然率可以进行主观概率推 理。 以主观贝叶斯概率推理理论为依据,讨论了决策形式背景中条件属性与决策属性之间的关系,将推理方法推广 到包含度的形式,得出了无需先验概率的包含度计算方法。 关键词:贝叶斯方法;决策;决策表;决策理论与分析;形式概念分析;形式逻辑;包含度;概率逻辑 中图分类号: TP18 文献标志码:A 文章编号:1673⁃4785(2014)02⁃0235⁃05 中文引用格式:郑淑贤,解滨,米据生. 决策形式背景下的主观贝叶斯概率推理[J]. 智能系统学报, 2014, 9(2): 235⁃239. 英文引用格式:ZHENG Shuxian,XIE Bin, MI Jusheng. Subjective Bayesian probabilistic reasoning based on decision formal con⁃ text[J]. CAAI Transactions on Intelligent Systems, 2014, 9(2): 235⁃239 Subjective Bayesian probabilistic reasoning based on decision formal context ZHENG Shuxian 1 , XIE Bin 2 , MI Jusheng 1 (1. College of Mathematics and Information Science, Hebei Normal University, Shijiazhuang 050024, China; 2. College of Information Technology, Hebei Normal University, Shijiazhuang 050024, China) Abstract:Probabilistic reasoning is an important theoretical tool for data analysis. Subjective probabilistic reasoning can be realized by the use of the sufficient likelihood ratio and necessary likelihood ratio which are developed through expert experience. Based on the subjective Bayesian probabilistic reasoning, this paper details the relation⁃ ships between condition attributes and decision attributes in a decision form context and popularized the reasoning for the form of the inclusion degree. Finally, a calculation method without a prior probability was obtained. Keywords:Bayes methods; decision making; decision tables; decision theory and analysis; formal concept analy⁃ sis; formal logic; inclusions; probabilistic logic 收稿日期:2013⁃07⁃05. 网络出版日期:2014⁃03⁃31. 基金项目:国家自然科学基金资助项目( 61170107,61300121);河北 省教育厅基金资助项目(Q2012093). 通信作者:解滨. E⁃mail:xiebin_hebtu@ 126.com. 概率推理是根据不确定信息作出推理,同时需 要对得出结论的概率作出估计的推理模型。 贝叶斯 推理问题是条件概率推理问题[1⁃2] ,最早在 18 世纪 由英国学者贝叶斯提出,这一领域的研究可以深化 人们对概率信息加工过程的理解,能够有效地指导 人们进行判断决策以及数据推理。 形式概念分 析[3]是 1982 年由 Wille 首先提出的,它描述了对象 和属性之间的联系,在数据分析和知识获取等方面 有着非常重要的意义。 形式背景是一类具有特殊关 系的数据库,其特殊性反映在对象与属性之间的关 系仅有是与非 2 种,决策形式背景是由对象集合、条 件属性集合和决策属性集合形成的数据表。 目前许多学者正在进行将贝叶斯概率推理应用 到数据库的研究[4⁃7] 。 Pawlak [8] 建立了贝叶斯理论 和数据表之间的联系,Slezak 等 [9]依据贝叶斯推理 提出了贝叶斯数据模型,Y.Y.Yao [10] 基于贝叶斯决 策过程提出了新的决策理论粗糙集模型,为数据推 理提供了新的思想。 本文提出的主观贝叶斯概率推 理应用了贝叶斯公式的变形公式和主观给出的某些 估计量,讨论决策形式背景中条件属性和决策属性 的依赖关系。 对于决策形式背景,条件属性的重要
·236 智能系统学报 第9卷 性存在差异,虽然一些对象含有某种条件属性的数 U/R4={A,A},其中A:=[x:]4表示与:具有完全 目比较多,但是这些条件属性对决策的影响程度可 相同的条件属性的对象全体,x:所具有的所有条件 能比较小:而另外一些对象含有的某种条件属性的 属性构成的集合称为i-条件属性集,记为A:,a∈A 数目比较少,但是这些条件属性对决策的影响程度 为i-条件属性;A:=U-[x]4表示与x,不具有完全 可能比较大。因此,不仅要考虑条件属性的个数,还 相同的条件属性的对象全体,称A:=A-A:为非i- 要考虑条件属性和决策属性的关联程度。 条件属性集,称a∈A:为非i-条件属性。 1基本概念 显然A:作为条件属性随机变量只有2种状态, 决策形式背景中知识的发现首先要根据不同的 A:表示i-条件属性成立,A,表示i-条件属性不成 属性将对象进行分类,同一类中的对象均具有共同的 立;D,作为决策属性随机变量也有2种状态,D.表 属性,所以对属性的研究可以归结到对某类对象的研 示决策属性d成立,D,表示决策属性d不成立。 究。下面给出决策形式背景中对象的分类方法。 若P是(U,A,I,D,J)上的概率测度,记 定义1[】称(U,A,I)为形式背景,其中 P(D/A;)= PUA()=1.1()=1,Va E A. U={x1,x2,…,x}为对象集,x,(i≤n)称为对象; P{L(x)=1} A={a1,a2,…,am}为属性集,a(≤m)称为属性; 则P(D,/A:)是条件概率,是集合A:相对于集合D。 I为U⑧A上的二元关系,ICU☒A。若(x,a)∈ 的包含度。 I,则称x具有属性a:若(x,a)I,则称x不具有 下面根据文献[14],给出决策形式背景中的充 属性a。 分似然率与必然似然率的定义。 定义22)如果(U,A,)与(U,D,J)是2 定义5设(U,A,I,D,J)是决策形式背景,其 个形式背景,称(,A,I,D,J)为决策形式背景。 中A:是条件属性随机变量,D。是决策属性随机变 定义3设(U,A,I,D,J)是一个决策形式背 量,称L为充分似然率,L,为必然似然率。 景,当(x,a)∈1时,记为1(x)=1,即x具有属性 P(A/D) Ls(A:,Da)= (1) a;当(x,a)生I时,记为I(x)=0,即x不具有属性 P(A/D) P(A/Da)) Ra={(x,x)∈U×U1I.(x:)= LN(Ai,Da)= (2) 1n(x),Ha∈A} P(A/D) 定理1 设(0,A,1,D,J)是决策形式背景,其中A是 称R4为形式背景(U,A,I,D,J)中U上的确定 条件属性随机变量,D是决策属性随机变量,则有: 关系。由于关系R,满足自反性、对称性和传递性, O(Da/A)=Ls·O(Da) (3) 因此R,是U上的等价关系。在决策形式背景(U, A,I,D,J)中,由R,可以产生U上的一个划分]: Ls·P(Da) (4) U/RA={[x:]Ax:∈U} PD/A,)=(L,-I)P(D)+1 式中: 式中:[x:]A={x∈U(x,x)∈R}={x∈ P(D./A,)P(D/A,) U|I.(x)=I(x),Ha∈A} 0(D4/A)= (5) 同样对于决策属性d,有: P(D/A)1-P(D/A:) P(D) P(D) U/R =(Da,Da) O(D)= (6) 式中:Da={x:∈U川J(x:)=1},D4={x∈ P(D)1-P(D) U|J(x:)=0}。 Di P(DA)=TUT (7) 2主观贝叶斯概率推理 证明 由贝叶斯公式可得 概率理论是研究具有不确定性问题的理论,可 P(A/D)P(D) P(D4/A:)= (8) 以将其理解为信任的程度,也就是主观概率。它反 P(A.) 映了人们的经验,可能会因人而异。不过它本身的 P(A/Da)P(Da) P(D/A:)= P(A:) (9) 不确定性并不影响其在不确定推理中的应用,依据 主观概率进行推理可以更加明显地反映客观事实。 式(8)、(9)相除即得式(3)。将式(5)和式(6) 下面给出决策形式背景中的主观贝叶斯概率推理。 分别代入式(3),即得 定义4设(U,A,I,D,J)是决策形式背景,对 P(D/A) P(D) 于划分U/R4={[x]4x:∈U},可以表示为 1-PD,/AL,‘1-PD)
性存在差异,虽然一些对象含有某种条件属性的数 目比较多,但是这些条件属性对决策的影响程度可 能比较小;而另外一些对象含有的某种条件属性的 数目比较少,但是这些条件属性对决策的影响程度 可能比较大。 因此,不仅要考虑条件属性的个数,还 要考虑条件属性和决策属性的关联程度。 1 基本概念 决策形式背景中知识的发现首先要根据不同的 属性将对象进行分类,同一类中的对象均具有共同的 属性,所以对属性的研究可以归结到对某类对象的研 究。 下面给出决策形式背景中对象的分类方法。 定 义 1 [11] 称 (U,A,I) 为形式背景,其中 U = x1 ,x2 ,...,xn { } 为对象集, xi(i ≤ n) 称为对象; A = a1 ,a2 ,...,am { } 为属性集, aj(j ≤ m) 称为属性; I 为 U A 上的二元关系, I ⊆ U A。 若 (x,a) ∈ I, 则称 x 具有属性 a; 若 (x,a) ∉ I, 则称 x 不具有 属性 a。 定 义 2 [12] 如果 (U,A,I) 与 (U,D,J) 是 2 个形式背景,称 (U,A,I,D,J) 为决策形式背景。 定 义 3 设 (U,A,I,D,J) 是一个决策形式背 景,当 (x,a) ∈ I 时,记为 Ia(x) = 1, 即 x 具有属性 a; 当 (x,a) ∉ I 时,记为 Ia(x) = 0, 即 x 不具有属性 a。 RA = {(xi,xj) ∈ U × U | Ia(xi) = Ia(xj),∀a ∈ A} 称 RA 为形式背景 (U,A,I,D,J) 中 U 上的确定 关系。 由于关系 RA 满足自反性、对称性和传递性, 因此 RA 是 U 上的等价关系。 在决策形式背景 (U, A,I,D,J) 中,由 RA 可以产生 U 上的一个划分[13] : U/ RA = xi [ ] A x { i ∈ U} 式中: [xi] A = xj ∈ U (xi,xj) ∈ RA { } = {xj ∈ U Ia(xi) = Ia(xj),∀a ∈ A} 同样对于决策属性 d, 有: U/ Rd = Dd ,D - d { } 式 中: Dd = {xi ∈ U Jd(xi) = 1 },D - d = {xi ∈ U Jd(xi) = 0}。 2 主观贝叶斯概率推理 概率理论是研究具有不确定性问题的理论,可 以将其理解为信任的程度,也就是主观概率。 它反 映了人们的经验,可能会因人而异。 不过它本身的 不确定性并不影响其在不确定推理中的应用,依据 主观概率进行推理可以更加明显地反映客观事实。 下面给出决策形式背景中的主观贝叶斯概率推理。 定 义 4 设 (U,A,I,D,J) 是决策形式背景,对 于 划 分 U/ RA = xi [ ] A x { i ∈ U} , 可 以 表 示 为 U/ RA = Ai,A - i { } , 其中 Ai = xi [ ] A 表示与 xi 具有完全 相同的条件属性的对象全体, xi 所具有的所有条件 属性构成的集合称为 i ⁃条件属性集,记为 Ai, a ∈ Ai 为 i ⁃条件属性; A - i = U - xi [ ] A 表示与 xi 不具有完全 相同的条件属性的对象全体,称 A - i = A - Ai 为非 i ⁃ 条件属性集,称 a ∈ A - i 为非 i ⁃条件属性。 显然 Ai 作为条件属性随机变量只有 2 种状态, Ai 表示 i ⁃条件属性成立, A - i 表示 i ⁃条件属性不成 立; Dd 作为决策属性随机变量也有 2 种状态, Dd 表 示决策属性 d 成立, D - d 表示决策属性 d 不成立。 若 P 是 (U,A,I,D,J) 上的概率测度,记 P(Dd / Ai) = P Jd(x) = 1,I { a(x) = 1} P I { a(x) = 1} ,∀a ∈ Ai 则 P(Dd / Ai) 是条件概率,是集合 Ai 相对于集合 Dd 的包含度。 下面根据文献[14],给出决策形式背景中的充 分似然率与必然似然率的定义。 定 义 5 设 (U,A,I,D,J) 是决策形式背景,其 中 Ai 是条件属性随机变量, Dd 是决策属性随机变 量,称 LS 为充分似然率, LN 为必然似然率。 LS(Ai,Dd ) = P(Ai / Dd ) P(Ai / D - d ) (1) LN(Ai,Dd ) = P(A - i / Dd ) P(A - i / D - d ) (2) 定理 1 设 (U,A,I,D,J) 是决策形式背景,其中 Ai 是 条件属性随机变量, Dd 是决策属性随机变量,则有: O(Dd / Ai) = LS·O(Dd ) (3) P(Dd / Ai) = LS·P(Dd ) (LS - 1)P(Dd ) + 1 (4) 式中: O(Dd / Ai) = P(Dd / Ai) P(D - d / Ai) = P(Dd / Ai) 1 - P(Dd / Ai) (5) O(Dd ) = P(Dd ) P(D - d ) = P(Dd ) 1 - P(Dd ) (6) P(Dd ) = Dd U (7) 证明 由贝叶斯公式可得 P(Dd / Ai) = P(Ai / Dd )P(Dd ) P(Ai) (8) P(D - d / Ai) = P(Ai / D - d )P(D - d ) P(Ai) (9) 式(8)、(9)相除即得式(3)。 将式(5)和式(6) 分别代入式(3),即得 P(Dd / Ai) 1 - P(Dd / Ai) = LS· P(Dd ) 1 - P(Dd ) ·236· 智 能 系 统 学 报 第 9 卷
第2期 郑淑贤,等:决策形式背景下的主观贝叶斯概率推理 ·237. 于是 则有 P(D4/A:)(1-P(Da)=Ls·P(Da)(1- 0(D4/A:)=Lw·O(Da) (10) P(D/A:)P(D./A:)[(Ls-1)P(D)+1]= Lw·P(Da) Ls·P(D)》 (11) 即得式(4),证毕。 P(D/A.)=(Ls-1)P(Da)+1 式中: 定理2充分似然率L对P(D/A;)的影响为 1)Ls=1时,P(Da/A:)=P(Da),即i-条件属 P(D/A)P(D/A;) 0(D./-A:)= 性对决策属性d的可信度无影响: P(D4/A:)1-P(D4/A) 2)Ls>1时,P(D/A:)>P(D),即i-条件 证明 仿定理1可证。 属性增加决策属性d的可信度; 定理4必然似然率L,对P(D/A,)的影响为: 3)Ls1时,P(D/A:)>P(Da),即非i-条 式(4)成为 件属性增加决策属性d的可信度; y=ax/a(x-1)+1 对x求导即得 3)Lw0,即y是x的增函数,当 属性和决策属性间的关系讨论提供了一种简便的方 x=1时,y=a。于是Ls=1时,P(D,/A)=P(D), 同理可证(2)和(3),证毕。 法,计算在一定条件属性下决策成立的可信度,主要 例1一个关于人体健康状况的信息系统如表 根据专家的经验知识给出充分似然率与必然似然 1,其中U={x1,x2,x3,x4,x5,x6},A={a1,a2,a3}, 率,由式(1)、(2)得 D={d;,d成立表示人体健康,d不成立表示人体不 1-L·P(A,/D) LN=- 健康。 1-P(A:/Da) 表1关于人体健康的决策表 故可得到以下结论: Table 1 A decision table related to health 1)L=1,当且仅当Lw=1; d 2)L≠1(Lw≠1),时必有(Ls-1)(Lw-1)1,于是 6)当12/3=P(D),也就说明了a,这项指标 而P(D,/A:)越大,于是Lw越大时,对象具有非i 可以使人体更加健康;L<1,于是P(D/A)< 条件属性时对决策属性d的确定越有利。 2/3=P(D),也就说明了a3这项指标危害人体健 由于在主观贝叶斯概率推理中,L、和L,是专家根 康。通过以上的讨论可以看出指标a与人体健康 据经验主观给出的,在给出L、和L、时必须充分理解它 状况的关系受到专家主观给出的L、的影响,也就是 们的实际意义,也就是要满足以上6条性质。 说专家自身的主观经验在推理过程中起着至关重要 3基于包含度的概率推理 的作用。 定理3设(U,A,I,D,J)是决策形式背景,其中 在上述推理过程中,利用了由经验给出的充分 A:是条件属性随机变量,D是决策属性随机变量, 似然率与必然似然率计算条件概率P(D,/A)和
于是 P(Dd / Ai)(1 - P(Dd )) = LS·P(Dd )(1 - P(Dd / Ai))P(Dd / Ai) (LS [ - 1)P(Dd ) + 1] = LS·P(Dd ) 即得式(4),证毕。 定理 2 充分似然率 LS 对 P(Dd / Ai) 的影响为 1) LS = 1 时, P(Dd / Ai) = P(Dd ), 即 i ⁃条件属 性对决策属性 d 的可信度无影响; 2) LS > 1 时, P(Dd / Ai) > P(Dd ), 即 i ⁃条件 属性增加决策属性 d 的可信度; 3) LS < 1 时, P(Dd / Ai) < P(Dd ), 即 i ⁃条件 属性减少决策属性 d 的可信度。 证明 设 y = P(Dd / Ai), a = P(Dd ),x = LS , 则 式(4)成为 y = ax / a(x - 1) + 1 对 x 求导即得 y ' = a [a(x - 1) + 1] - a 2 x [a(x - 1) + 1] 2 = a(1 - a) [a(x - 1) + 1] 2 若 0 < a < 1, 则 y ′ > 0, 即 y 是 x 的增函数,当 x = 1 时, y = a。 于是 LS = 1 时, P(Dd / Ai) = P(Dd ), 同理可证(2)和(3),证毕。 例 1 一个关于人体健康状况的信息系统如表 1,其中 U = x1 ,x2 ,x3 ,x4 ,x5 ,x6 { } ,A = a1 ,a2 ,a3 { } , D ={d} ,d 成立表示人体健康, d 不成立表示人体不 健康。 表 1 关于人体健康的决策表 Table 1 A decision table related to health U a1 a2 a3 d x1 1 1 0 1 x2 1 0 1 0 x3 0 0 1 1 x4 0 0 1 1 x5 0 0 1 0 x6 0 0 1 1 显 然 (U,A,I,D,J) 是 决 策 形 式 背 景, Dd = x1 ,x3 ,x4 ,x6 { } , P(Dd ) = 2 / 3, 对于 3⁃ 条件属性 A3 , 有 A3 = a3 { } , 则 A - 3 = a1 ,a2 { } 。 若专家给出 LS = 1, 于是 P(Dd / A3 ) = 2 / 3 = P(Dd ), 也就说明了 a3 这项 指标 对 人 体 健 康 状 况 无 影 响; LS > 1, 于 是 P(Dd / A3 ) > 2 / 3 = P(Dd ), 也就说明了 a3 这项指标 可以使人体更加健康; LS < 1, 于是 P(Dd / A3 ) < 2 / 3 = P(Dd ), 也就说明了 a3 这项指标危害人体健 康。 通过以上的讨论可以看出指标 a3 与人体健康 状况的关系受到专家主观给出的 LS 的影响,也就是 说专家自身的主观经验在推理过程中起着至关重要 的作用。 定理 3 设 (U,A,I,D,J) 是决策形式背景,其中 Ai 是条件属性随机变量, Dd 是决策属性随机变量, 则有 O(Dd / A - i) = LN·O(Dd ) (10) P(Dd / A - i) = LN·P(Dd ) (LN - 1)P(Dd ) + 1 (11) 式中: O(Dd / -Ai) = P(Dd / A - i) P(D - d / A - i) P(Dd / A - i) 1 - P(Dd / A - i) 证明 仿定理 1 可证。 定理 4 必然似然率 LN 对 P(Dd / A - i) 的影响为: 1) LN = 1 时, P(Dd / A - i) = P(Dd ), 即非 i ⁃条件 属性对决策属性 d 的可信度无影响; 2) LN > 1 时, P(Dd / A - i) > P(Dd ), 即非 i ⁃条 件属性增加决策属性 d 的可信度; 3) LN < 1 时, P(Dd / A - i) < P(Dd ), 即非 i ⁃条 件属性减少决策属性 d 的可信度。 证明 仿定理 3.2 可证。 主观贝叶斯概率推理为决策形式背景中的条件 属性和决策属性间的关系讨论提供了一种简便的方 法,计算在一定条件属性下决策成立的可信度,主要 根据专家的经验知识给出充分似然率与必然似然 率,由式(1)、(2)得 LN = 1 - LS·P(Ai / D - d ) 1 - P(Ai / Dd ) 故可得到以下结论: 1) LS = 1, 当且仅当 LN = 1; 2) LS ≠1(LN ≠1),时必有(LS - 1)(LN - 1) < 0; 3)当 P(Dd / Ai) = 0 时,必有 P(Ai / Dd ) = 0, 于是 LS = 0, 即对象具有 i ⁃条件属性时决策属性 d 必然 不成立; 4)当 P(Dd / A - i) = 0 时,必有 P(A - i / Dd ) = 0, 于是 LN = 0, 即对象具有非 i ⁃条件属性时决策属性 d 必 然不成立; 5)当 1 < LS < ¥且 LS 越大, P(Ai / Dd ) 越大,从 而 P(Dd / Ai) 越大,于是 LS 越大时,对象具有 i ⁃条件 属性时对决策属性 d 的确定越有利; 6)当 1 < LN < ¥且 LN 越大, P(A - i / Dd ) 越大,从 而 P(Dd / A - i) 越大,于是 LN 越大时,对象具有非 i ⁃ 条件属性时对决策属性 d 的确定越有利。 由于在主观贝叶斯概率推理中, LS 和 LN 是专家根 据经验主观给出的,在给出 LS 和 LN 时必须充分理解它 们的实际意义,也就是要满足以上 6 条性质。 3 基于包含度的概率推理 在上述推理过程中,利用了由经验给出的充分 似然率与必然似然率计算条件概率 P(Dd / Ai) 和 第 2 期 郑淑贤,等:决策形式背景下的主观贝叶斯概率推理 ·237·
·238· 智能系统学报 第9卷 P(D/A)。条件概率也是一种包含度,因此可以 同理可得 利用充分似然率与必然似然率计算其他的包含度。 D(D/A)=1- (Ls-1)P(D4) 定义6[的X为普通集合,F(X)表示X中模 Ls -LN 糊集合的全体,设对于任意A,B∈F(X),有数 证毕。 定理6充分似然率L和必然似然率L、对包 D(B/A)对应且满足: 含度D(D4/A:)及D(Da/A:)的影响为: 1)0≤D(B/A)≤1; 1)Ls=1时,D(D4/A:)=P(D);Lw=1时, 2)对于HA,B∈F(X),ASB时D(B/A)=1; D(D/A)=P(Da)。 3)对于A,B,C∈F(X),A二B二C时有 2)Ls>1时,D(D/A:)>P(Dd);Lw>1时, D(A/C)≤D(A/B), D(D/A:)>P(D)。 称D为F(X)上的包含度。 3)Ls<1时,D(Da/A)<P(D);Lw<1时, 容易验证: D(D/A)<P(Da)。 证明由函数的单调性可证。 D,(D/A)=PM,VD)=P{xx年AVx∈D} 定理7设(U,A,I,D,J)是决策形式背景,其 D.(D/A)=P(A/D)= P{xx年A:x∈D} 中A:是条件属性随机变量,D:是决策属性随机变 Px|x年Da} 量,以下关系成立: 是2种不同的包含度。 定理5设(U,A,1,D,J)是决策形式背景,其 Ls-1 D2(D/A)= 中A:是条件属性随机变量,D,是决策属性随机变 Ls-Lv 量,则有 1-LN D,(D/A)=1-1-L)P(D,) D,(D/A)=-L 证明 由于 Ls-LN D,(D/A,)=1-(L,-1)P(D) P(D/A)P(A;) D.(D/A)=P(A/D)= P(D) Ls -LN 证明由定理1和定理2可知: (1-P(D/A:)P(A:) Ls·P(Da) P(Da) P(DA,)=(L,-1)P(D)+1 Lw·P(Da) 1P(A) Lw·P(Da) 1- P(D,/A)=L-1)P(D)+ (Lx -1)P(D)+1P(Da) P(A:) 根据全概率公式: (LN-1)P(Da)+1 P(D)=P(D/A)P(A:)+P(D/A)P(A) 再将定理5中的P(A)代入即得 及 Ls -1 P(A:)+P(A)=1 D,(D/A,)=i,-L 就有 P4)=1-)[(L,-1)P(D)+1 同理可证 1 LN (Ls-Lx) P(1)=L,-1)[(L,-1)P(D)+1] D,(D/A,)=-i 证毕。 (Ls-Lx) 例2根据表1,可以得出P(D)=2/3, 于是得到 P(D)=1/3,令L=2,Lw=0.5于是计算出 D (D/A)=P(A:V D)= 1-P(A:ΛD)=1-P(D/A)P(A)= DA-品-/-8 1--z4 L·P(D) 在计算过程中没有用到概率P(D)以及 P(A:)P(Da) L-1)PD7=1-1-Lw)P(Da) P(D),也就是说不需先验概率便可将包含度D,计 (Ls-LN) 算得出
P(Dd / A - i)。 条件概率也是一种包含度,因此可以 利用充分似然率与必然似然率计算其他的包含度。 定义 6 [15] X 为普通集合, F(X) 表示 X 中模 糊集合的全体,设对于任意 A ~ ,B ~ ∈ F(X), 有数 D(B ~ / A ~ ) 对应且满足: 1) 0 ≤ D(B ~ / A ~ ) ≤ 1; 2)对于 ∀A ~ ,B ~ ∈ F(X), A ~ ⊆ B ~ 时 D(B ~ / A ~ ) = 1; 3) 对于 A ~ ,B ~ ,C ~ ∈ F(X), A ~ ⊆ B ~ ⊆ C ~ 时有 D(A ~ / C ~ ) ≤ D(A ~ / B ~ ), 称 D 为 F(X) 上的包含度。 容易验证: D1(Dd / Ai)= P(A - i ∨Dd)= P x x ∉Ai ∨x ∈Dd { } D2(Dd / Ai)= P(A - i / D - d)= P x x ∉Ai,x ∈Dd { } P x x ∉Dd { } 是 2 种不同的包含度。 定理 5 设 (U,A,I,D,J) 是决策形式背景,其 中 Ai 是条件属性随机变量, Dd 是决策属性随机变 量,则有 D1(Dd / Ai) = 1 - (1 - LN)P(D - d ) LS - LN D1(Dd / A - i) = 1 - (LS - 1)P(D - d ) LS - LN 证明 由定理 1 和定理 2 可知: P(Dd / Ai) = LS·P(Dd ) (LS - 1)P(Dd ) + 1 P(Dd / A - i) = LN·P(Dd ) (LN - 1)P(Dd ) + 1 根据全概率公式: P(Dd ) = P(Dd / Ai)P(Ai) + P(Dd / A - i)P(A - i) 及 P(Ai) + P(A - i) = 1 就有 P(Ai) = (1 - LN) (LS [ - 1)P(Dd ) + 1] (LS - LN) P(A - i) = (LS - 1) (LN [ - 1)P(Dd ) + 1] (LS - LN) 于是得到 D1(Dd / Ai) = P(A - i ∨ Dd ) = 1 - P(A - i ∧ Dd ) = 1 - P(D - d / Ai)P(Ai) = 1 - 1 - LS·P(Dd ) (LS - 1)P(Dd ) + 1 é ë ê ê ù û ú ú P(Ai) = 1 - P(Ai)P(D - d ) (LS - 1)P(Dd ) + 1 = 1 - (1 - LN)P(D - d ) (LS - LN) 同理可得 D1(Dd / A - i) = 1 - (LS - 1)P(D - d ) LS - LN 证毕。 定理 6 充分似然率 LS 和必然似然率 LN 对包 含度 D1(Dd / Ai) 及 D1(Dd / A - i) 的影响为: 1) LS = 1 时, D1(Dd / Ai) = P(Dd ); LN = 1 时, D1(Dd / A - i) = P(Dd )。 2) LS > 1 时, D1(Dd / Ai) > P(Dd ); LN > 1 时, D1(Dd / A - i) > P(Dd )。 3) LS < 1 时, D1(Dd / Ai) < P(Dd ); LN < 1 时, D1(Dd / A - i) < P(Dd )。 证明 由函数的单调性可证。 定理 7 设 (U,A,I,D,J) 是决策形式背景,其 中 Ai 是条件属性随机变量, Dd 是决策属性随机变 量,以下关系成立: D2(Dd / Ai) = LS - 1 LS - LN D2(Dd / A - i) = 1 - LN LS - LN 证明 由于 D2(Dd / Ai) = P(A - i / D - d ) = P(D - d / A - i)P(A - i) P(D - d ) = (1 - P(Dd / A - i))P(A - i) P(D - d ) = 1 - LN·P(Dd ) (LN - 1)P(Dd ) + 1 é ë ê ê ù û ú ú P(A - i) P(Dd ) = P(A - i) (LN - 1)P(Dd ) + 1 再将定理 5 中的 P(A - i) 代入即得 D2(Dd / Ai) = LS - 1 LS - LN 同理可证 D2(Dd / A - i) = 1 - LN LS - LN 证毕。 例 2 根据表 1,可以得出 P(Dd ) = 2 / 3, P(D - d) = 1/ 3, 令 LS = 2, LN = 0.5 于是计算出 D2(Dd / A3) = 2 - 1 2 - 0.5 = 2 3 D2(Dd / A - 3) = 1 - 0.5 2 - 0.5 = 1 3 . 在计 算 过 程 中 没 有 用 到 概 率 P(Dd ) 以 及 P(D - d ), 也就是说不需先验概率便可将包含度 D2 计 算得出。 ·238· 智 能 系 统 学 报 第 9 卷
第2期 郑淑贤,等:决策形式背景下的主观贝叶斯概率推理 .239. 由定理7易见,当Lw≤1时,D2(D/A:)随着 [8]PAWLAK Z.New look on Bayes'theorem-the rough set Ls的增加而增加:当Ls≤1时,D2(D/A,)随着Lw outlook[].Rough Set Society,2001,5:20-22. 的增加而增加。利用L与Lw计算包含度 [9]SLEZAK D,ZIARKO W.Bayesian rough set model[C]// International Workshop on Foundation of Data Mining.[S. D,(D/A:)和D(D/A),不再用先验概率,这是包 1.],2002,9:131-135. 含度D,在应用中的优势,但是它的计算结果无法与 [10]YAO YY.Probabilistic rough set approximations[J].In- P(D)比较,这是该方法的不足。定理5和定理7 ternational Journal of Approximate Reasoning,2008,49 分别提供了2种新的利用主观概率进行概率推理的 (2):255-271. 方法,为决策形式背景中的不确定性推理提供了更 [11]王虹,张文修形式概念分析与粗糙集的比较研究[J刀. 多的选择。 计算机工程,2006,32(8):42-44. WANG Hong,ZHANG Wenxiu.Comparative study be- 4结束语 tween formal concept analysis and rough set].Computer Engineering,2006,32(8):42-44. 本文将主观贝叶斯概率推理的方法应用到决策 [12]张文修,姚一豫,梁怡粗糙集与概念格[M们].西安:西安 形式背景中,从推理的角度分析了属性值之间的关联 交通大学出版社,2006:25-28. 性。推理过程接近人们在日常生活中获得概率信息 [13]米据生,吴伟志,张文修.基于变精度粗糙集理论的知 作出判断的情况,清晰地反映出实际应用的信息特点 识约简[J].系统工程理论与实践,2004,1:76-82. 和概率判断的过程,为决策形式背景的数据挖掘和决 [l4]Nilsson.Artificial intelligence a new synthesis[M].北京: 策判断提供了新的理论依据。在后续的研究中,将进 机械工业出版社,1999. 一步探讨基于贝叶斯推理的形式背景中条件属性约 [15]姚燕青,米据生.直觉模糊集上的混合单调包含度[J] 简方法。 计算机科学,2010,37(1):255-257 YAO Yanqing,MI Jusheng.Mixed monotone inclusion de- 参考文献: gree on intuitionistic fuzzy sets[J].Computer Science, 2010,37(1):255-257. [1]张文修,梁怡,徐萍.基于包含度的不确定推理[M].北 作者简介: 京:清华大学出版社,2007:107-113. 郑淑贤,女,1989年生,硕士研究 [2]张惠玲,孙剑,邵海鹏.基于贝叶斯推理的HCM延误模 生,主要研究方向为粗糙集、概念格及 型修正[J].计算机工程,2011,37(7):18-20. 近似推理。 ZHANG Huiling,SUN Jian,SHAO Haipeng.HCM delay model modification based on Bayesian reasoning[J].Com- puter Engineering,2011,37(7):18-20. [3]WILLE R.Restructuring lattice theory:an approach based 解滨,男,1976年生,副教授,主要 on hierarchies of concept[M]//Ordered Sets,Reidel,Dor- 研究方向为粗糙集、概念格及近似相 drecht.Boston,USA,1982:445-470. 理。 [4]ZHANG H Y,ZHOU J,MIAO D Q,et al.Bayesian rough set model:a further investigation[].International Journal of Approximate Reasoning,2012,53(4):541-557. [5]YAO JT,YAO YY.Probabilistic rough sets:approxima- tions,decision-makings and applications[].International 米据生,男,1966年生,教授,主要 Journal of Approximate Reasoning,2008,49(3):253-254. 研究方向为粗糙集、概念格及近似推 [6]PAWLAK Z.A rough set view on Bayes'theorem[J].In- 理。 terational Journal of Intelligent Systems,2003,18(5): 487.498. [7]SLEZAK D,ZIARKO W.Variable precision Bayesian rough set model[J].[S.I.]Springer-Verlag,2003:312-315
由定理 7 易见,当 LN ≤ 1 时, D2(Dd / Ai) 随着 LS 的增加而增加;当 LS ≤ 1 时, D2(Dd / A - i) 随着 LN 的 增 加 而 增 加。 利 用 LS 与 LN 计 算 包 含 度 D2(Dd / Ai) 和 D2(Dd / A - i), 不再用先验概率,这是包 含度 D2 在应用中的优势,但是它的计算结果无法与 P(Dd ) 比较,这是该方法的不足。 定理 5 和定理 7 分别提供了 2 种新的利用主观概率进行概率推理的 方法,为决策形式背景中的不确定性推理提供了更 多的选择。 4 结束语 本文将主观贝叶斯概率推理的方法应用到决策 形式背景中,从推理的角度分析了属性值之间的关联 性。 推理过程接近人们在日常生活中获得概率信息 作出判断的情况,清晰地反映出实际应用的信息特点 和概率判断的过程,为决策形式背景的数据挖掘和决 策判断提供了新的理论依据。 在后续的研究中,将进 一步探讨基于贝叶斯推理的形式背景中条件属性约 简方法。 参考文献: [1]张文修,梁怡,徐萍. 基于包含度的不确定推理[M]. 北 京:清华大学出版社, 2007: 107⁃113. [2]张惠玲,孙剑,邵海鹏. 基于贝叶斯推理的 HCM 延误模 型修正[J]. 计算机工程, 2011, 37(7): 18⁃20. ZHANG Huiling, SUN Jian, SHAO Haipeng. HCM delay model modification based on Bayesian reasoning[ J]. Com⁃ puter Engineering, 2011, 37(7): 18⁃20. [3]WILLE R. Restructuring lattice theory: an approach based on hierarchies of concept[M] / / Ordered Sets, Reidel, Dor⁃ drecht. Boston, USA, 1982: 445⁃470. [4]ZHANG H Y, ZHOU J, MIAO D Q, et al. Bayesian rough set model: a further investigation[ J]. International Journal of Approximate Reasoning, 2012, 53(4): 541⁃557. [5]YAO J T , YAO Y Y. Probabilistic rough sets: approxima⁃ tions, decision⁃makings and applications [ J]. International Journal of Approximate Reasoning, 2008, 49(3): 253⁃254. [6]PAWLAK Z. A rough set view on Bayes’ theorem[ J]. In⁃ ternational Journal of Intelligent Systems, 2003, 18 ( 5): 487⁃498. [7]SLEZAK D, ZIARKO W. Variable precision Bayesian rough set model[J]. [S.l.]: Springer⁃Verlag, 2003: 312⁃315. [8] PAWLAK Z. New look on Bayes’ theorem - the rough set outlook[J]. Rough Set Society, 2001, 5: 20⁃22. [9] SLEZAK D, ZIARKO W. Bayesian rough set model[C] / / International Workshop on Foundation of Data Mining. [ S. l.], 2002, 9: 131⁃135. [10]YAO Y Y. Probabilistic rough set approximations[ J]. In⁃ ternational Journal of Approximate Reasoning, 2008, 49 (2): 255⁃271. [11]王虹, 张文修.形式概念分析与粗糙集的比较研究[ J]. 计算机工程, 2006, 32(8): 42⁃44. WANG Hong, ZHANG Wenxiu. Comparative study be⁃ tween formal concept analysis and rough set[J]. Computer Engineering, 2006, 32(8): 42⁃44. [12]张文修,姚一豫,梁怡.粗糙集与概念格[M]. 西安:西安 交通大学出版社,2006: 25⁃28. [13]米据生,吴伟志,张文修. 基于变精度粗糙集理论的知 识约简[J]. 系统工程理论与实践, 2004, 1: 76⁃82. [14]Nilsson. Artificial intelligence a new synthesis[M].北京: 机械工业出版社, 1999. [15]姚燕青,米据生.直觉模糊集上的混合单调包含度[ J]. 计算机科学, 2010, 37(1):255⁃257. YAO Yanqing, MI Jusheng. Mixed monotone inclusion de⁃ gree on intuitionistic fuzzy sets [ J]. Computer Science, 2010, 37(1): 255⁃257. 作者简介: 郑淑贤,女,1989 年生,硕士研究 生,主要研究方向为粗糙集、概念格及 近似推理。 解滨,男,1976 年生,副教授,主要 研究方向为粗糙集、概念格及近似推 理。 米据生,男,1966 年生,教授,主要 研究方向为粗糙集、概念格及近似推 理。 第 2 期 郑淑贤,等:决策形式背景下的主观贝叶斯概率推理 ·239·