第11卷第6期 智能系统学报 Vol.11 No.6 2016年12月 CAAI Transactions on Intelligent Systems Dec.2016 D0I:10.11992/is.201612014 网络出版t地址:http:/www.cmki.net/kcms/detail/23.1538.TP.20170111.1705.008.html 从人类智能到机器实现模型—粒计算理论与方法 苗夺谦,张清华2,钱宇华3,梁吉业3,王国胤2,吴伟志4,高阳,商琳5,顾沈明,张红云 (1.同济大学嵌入式系统与服务计算教育部重点实验室,上海201804:2.重庆邮电大学计算智能重庆市重点实验室」 重庆400065:3.山西大学计算智能与中文信息处理教育部重点实验室,山西太原030006:4.浙江海洋大学浙江省海 洋大数据挖掘与应用重点实验室,浙江舟山316022:5.南京大学软件新技术国家重点实验室,江苏南京210093)》 摘要:人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 是对人的意识、思维过程的模拟。粒计算是当前智能信息处理领域中一种新的概念和计算范式,是研究基于多层次 粒结构的思维方式、复杂问题求解、信息处理模式及其相关理论、技术和工具的方法论。本文首先分析了人工智能 模拟人脑智能的粒计算模式与方法,其次总结了粗糙集、商空间、模糊集、云模型、三支决策等几种典型的粒计算基 本构架与数学模型,然后分析知识的多粒度解析表示与不确定性度量的研究现状,最后展望了粒计算求解模式在大 数据时代所面临的机遇与挑战。 关键词:人工智能:大数据:不确定性:粒计算:多粒度:粗糙集:商空间:模糊集;云模型:三支决策 中图分类号:TP391文献标志码:A文章编号:1673-4785(2016)06-0743-15 中文引用格式:苗夺谦,张清华,钱宇华,等.从人类智能到机器实现模型一粒计算理论与方法[J].智能系统学报,2016,11(6): 743-757. 英文引用格式:MIAO Duoqian,ZHANG Qinghua,QIAN Yuhua,etal.From human intelligence to machine implementation mod: el:theories and applications based on granular computing[J].CAAI Transactions on Intelligent Systems,2016,11(6):743-757. From human intelligence to machine implementation model: theories and applications based on granular computing MIAO Duoqian',ZHANG Qinghua2,QIAN Yuhua3,LIANG Jiye3,WANG Guoyin2,WU Weizhi, GAO Yang3,SHANG Lin,GU Shenming',ZHANG Hongyun' (1.Key Laboratory of Embedded System Service Computing Ministry of Education,Tongji University,Shanghai 201804,China; 2.KeyLaboratory of Computational Intelligence,Chongqing University of Posts and Telecommunications,Chongqing 400065,China; 3.Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education,Shanxi University,Taiyuan 030006,China;4.Key Laboratory of Oceanographic Big Data Mining and Application of Zhejiang Province,Zhejiang Ocean University, Zhoushan 316022,China;5.State Key Laboratory for Novel Software Technology,Nanjing University,Nanjing 210093,China) Abstract:Artificial intelligence is a new science of researching and developing theories,methods and technologies to simulate and extend the human intelligence,and is regarded as a simulation of human consciousness and thought processes.Granular computing is a novel concept and a new computing paradigm in the current area of intelligent information processing.It is also a multi-granulation methodology of relevant theories,technologies and tools,which are used to research multi-level thought modes,to solve complex problems and to develop information processing models.First,the related granular computing models or methods,by which artificial intelligence simulates human intelligence,were analyzed in this paper.Also,several classical basic structures and mathematical models on gran- ular computing were briefly summarized.Then,both multi-granulation representations and uncertainty measure- ments on knowledge were reviewed.Finally,the future opportunities and challenges of solving models using granular computing in the era of big data were discussed and prospected. Keywords:artificial intelligence;big data;uncertainty;granular computing;multi-granulation;rough sets;quo- tient space;cloud model;three-way decisions 收稿日期:2016-12-13. 基金项目:国家自然科学基金项目(61573255,61673301,61472056, 自从1956年人工智能概念的提出,人工智能已 61432011,61572091,61573321,61272021,U1435212,经发展了整整60年。无论是最早的“推理期”、之 41631179). 通信作者:苗夺谦.E-mail:dqmiao@tongji.cdu.cn
第 11 卷第 6 期 智 能 系 统 学 报 Vol.11 №.6 2016 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2016 DOI:10.11992 / tis.201612014 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20170111.1705.008.html 从人类智能到机器实现模型———粒计算理论与方法 苗夺谦1 ,张清华2 ,钱宇华3 ,梁吉业3 ,王国胤2 ,吴伟志4 ,高阳5 ,商琳5 ,顾沈明4 ,张红云1 (1.同济大学 嵌入式系统与服务计算教育部重点实验室,上海 201804; 2.重庆邮电大学 计算智能重庆市重点实验室, 重庆 400065; 3.山西大学 计算智能与中文信息处理教育部重点实验室, 山西 太原 030006; 4. 浙江海洋大学 浙江省海 洋大数据挖掘与应用重点实验室,浙江 舟山 316022; 5.南京大学 软件新技术国家重点实验室,江苏 南京 210093) 摘 要:人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学, 是对人的意识、思维过程的模拟。 粒计算是当前智能信息处理领域中一种新的概念和计算范式,是研究基于多层次 粒结构的思维方式、复杂问题求解、信息处理模式及其相关理论、技术和工具的方法论。 本文首先分析了人工智能 模拟人脑智能的粒计算模式与方法,其次总结了粗糙集、商空间、模糊集、云模型、三支决策等几种典型的粒计算基 本构架与数学模型,然后分析知识的多粒度解析表示与不确定性度量的研究现状,最后展望了粒计算求解模式在大 数据时代所面临的机遇与挑战。 关键词:人工智能;大数据;不确定性;粒计算;多粒度;粗糙集;商空间;模糊集;云模型;三支决策 中图分类号: TP391 文献标志码:A 文章编号:1673-4785(2016)06-0743-15 中文引用格式:苗夺谦,张清华,钱宇华,等. 从人类智能到机器实现模型———粒计算理论与方法[J]. 智能系统学报, 2016, 11(6): 743-757. 英文引用格式:MIAO Duoqian, ZHANG Qinghua, QIAN Yuhua, et al. From human intelligence to machine implementation mod⁃ el: theories and applications based on granular computing[J]. CAAI Transactions on Intelligent Systems, 2016, 11(6): 743-757. From human intelligence to machine implementation model: theories and applications based on granular computing MIAO Duoqian 1 , ZHANG Qinghua 2 , QIAN Yuhua 3 , LIANG Jiye 3 , WANG Guoyin 2 , WU Weizhi 4 , GAO Yang 5 , SHANG Lin 5 , GU Shenming 4 , ZHANG Hongyun 1 (1. Key Laboratory of Embedded System & Service Computing Ministry of Education, Tongji University, Shanghai 201804, China; 2. KeyLaboratory of Computational Intelligence, Chongqing University of Posts and Telecommunications, Chongqing 400065, China; 3. Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, Shanxi University, Taiyuan 030006, China; 4. Key Laboratory of Oceanographic Big Data Mining and Application of Zhejiang Province, Zhejiang Ocean University, Zhoushan 316022, China; 5. State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210093, China) Abstract:Artificial intelligence is a new science of researching and developing theories, methods and technologies to simulate and extend the human intelligence, and is regarded as a simulation of human consciousness and thought processes. Granular computing is a novel concept and a new computing paradigm in the current area of intelligent information processing. It is also a multi⁃granulation methodology of relevant theories, technologies and tools, which are used to research multi⁃level thought modes, to solve complex problems and to develop information processing models. First, the related granular computing models or methods, by which artificial intelligence simulates human intelligence, were analyzed in this paper. Also, several classical basic structures and mathematical models on gran⁃ ular computing were briefly summarized. Then, both multi⁃granulation representations and uncertainty measure⁃ ments on knowledge were reviewed. Finally, the future opportunities and challenges of solving models using granular computing in the era of big data were discussed and prospected. Keywords: artificial intelligence; big data; uncertainty; granular computing; multi⁃granulation; rough sets; quo⁃ tient space; cloud model; three⁃way decisions 收稿日期:2016-12-13. 基金项目:国家自然科学基金项目 ( 61573255, 61673301, 61472056, 61432011 , 61572091, 61573321, 61272021, U1435212, 41631179). 通信作者:苗夺谦. E⁃mail:dqmiao@ tongji.edu.cn. 自从 1956 年人工智能概念的提出,人工智能已 经发展了整整 60 年。 无论是最早的“推理期”、之
.744 智能系统学报 第11卷 后的“知识期”,还是目前蓬勃发展的“学习期”,这 司营销模式分析。2017年SCI二区期刊信息科学 些历史时期都产生了极为璀璨的人工智能理论与技 专辑“大数据时代基于粒计算的机器学习”[)明确 术,有力推动了信息技术的快速发展。目前,人工智 指出,除了粒计算理论和模型的研究外,收稿范围扩 能研究主要从两个方面展开:一类着重于感知机理 展到所有与粒计算相关的工业界研究成果。专辑实 的理解与模拟,包括视觉、触觉、嗅觉、听觉等动态输 际收录推荐系统、入侵检测等应用达一半之多。 入的理解与建模:另一类着重于认知机理的理解与 当前,互联网和大数据催生了领域问题的大规 模拟,重点关注人类较高层次的认知机理与信息处 模和复杂化。从人工智能角度来看,粒计算是模拟 理方法,包括人类的学习能力、求解能力、推理能力、 人类思考和解决大规模复杂问题的结构化求解模 决策能力等。 式,从实际问题的需要出发,用可行的满意近似解 1 粒计算的发展及特点 替代精确解。该理论改变了传统的计算观念,达到 对问题的简化、提高问题求解效率等目的6。事实 粒计算(granular computing)是当前人工智能领 上,粒计算不仅是人类认知的一种天然特性,也是许 域中一种新的概念和计算范式,是研究基于多层次 多智能分析任务的内在需求。揭示和模拟人类的这 粒结构的思维方式、问题求解方法、信息处理模式及 种粒计算认知机理对人工智能发展具有重要作用。 其相关理论、技术和工具的学科,属于人类较高层次 1.1粒化思维的优越性 认知机理研究的范畴。自1997年Zadeh第1次 正如张钹院士[]所指出的“人类智能的一个公 提出粒计算的概念以来,涌现出许多关于粒计算研 认特点,就是人们能从极不相同的粒度上观察和分 究的学术及应用成果。从研究水平来看,2016年国 析同一问题,并且很容易地从一个粒度世界转到另 际期刊Journal of Granular Computing2)]在Springer 一个粒度世界”。这强有力地表现了人类问题求解 创刊:国际学术会议有每年一次的CRS:国内会议 过程中具备了在多个粒度空间之间进行通信和转换 有每年一次的CRSSC-CWI-CGrC:在近年来的国家 的能力。基于多粒度的数据建模就是通过获得的信 自然科学基金申请中,粒计算理论及应用已经成为 息粒集和多个粒结构进行复杂数据分析,从中挖掘 信息学部的申请和研究热点之一)。与此同时, 可用的知识并形成有效决策。若数据建模仅使用一 Web-of-Science检索结果显示,以粒计算为主题的 个粒结构,则称其为基于单粒度的数据建模:若使用 文章除了计算机科学学科外,与多个学科具有关联 多个粒结构,则称其为基于多粒度的数据建模。 (见表1)。 “横看成岭侧成峰,远近高低各不同”,由于多粒度 表1以粒计算为主题的SCI论文学科及高引论文分布 分析从多个角度、多个层次出发分析问题,可获得对 Table 1 Distribution of disciplines and its highly cited pa- 于问题更加合理、更加满意的求解结果。总之,基于 per count on topic granular computing 多粒度原理的模拟与实现对复杂问题的机器求解具 研究领域记录数所占比例/%高引论文数 有重要指导价值。 计算机科学 1256 47.059 26 1.2多粒度结构的普遍性 工程 919 34.432 2 许多数据具有多粒度、多层次特性。比如,对于 广泛存在的生物网络数据,Nir Friedma等[s]在《Sci- 物理 285 10.678 1 ence》上发表的论文就认为在诸如复杂细胞网络、蛋 材料科学 193 7.231 1 白质互作用网络等生物数据中都广泛存在着多层 机械 189 7.081 0 次、多尺度特性。Clauset等9)在《Nature》上发表的 数学 165 6.182 0 论文也指出,在复杂社会网络中也存在天然的层次 地理科学 124 4.646 0 结构,而社会网络面临的数据自身就是广泛存在的 从研究内容看,早期粒计算的应用研究主要集 多模态数据。Ahn等uo则专门研究了大规模复杂 中在数据粒化、多粒度分析、知识发现等方面。自 数据的多尺度复杂性特性。在军事、气象等领域,由 2013年以来,有关粒计算的研究呈现出较强的应用 卫星获得的多波段遥感数据也是典型的具有多层 价值。2015年在天津召开的RSFDGrC国际会议[4) 次、多尺度特性的多模态数据山。这些都暗示着反 上,发表的有关粒计算研究成果中,超过半数有关应 映复杂的模式发现与推理决策的多模态数据必然隐 用研究,如台湾省的Kao-Yi Shen和Gwo-Hshiung 含着由这些数据所决定的局部与整体关系以及复杂 Tzeng将决策粗糙集和粒计算的方法应用于寿险公 的层次结构,即数据的多粒度/多层次特性。诸多数
后的“知识期”,还是目前蓬勃发展的“学习期”,这 些历史时期都产生了极为璀璨的人工智能理论与技 术,有力推动了信息技术的快速发展。 目前,人工智 能研究主要从两个方面展开:一类着重于感知机理 的理解与模拟,包括视觉、触觉、嗅觉、听觉等动态输 入的理解与建模;另一类着重于认知机理的理解与 模拟,重点关注人类较高层次的认知机理与信息处 理方法,包括人类的学习能力、求解能力、推理能力、 决策能力等。 1 粒计算的发展及特点 粒计算(granular computing)是当前人工智能领 域中一种新的概念和计算范式,是研究基于多层次 粒结构的思维方式、问题求解方法、信息处理模式及 其相关理论、技术和工具的学科,属于人类较高层次 认知机理研究的范畴。 自 1997 年 Zadeh [1] 第 1 次 提出粒计算的概念以来,涌现出许多关于粒计算研 究的学术及应用成果。 从研究水平来看,2016 年国 际期刊 Journal of Granular Computing [2] 在 Springer 创刊;国际学术会议有每年一次的 IJCRS;国内会议 有每年一次的 CRSSC⁃CWI⁃CGrC;在近年来的国家 自然科学基金申请中,粒计算理论及应用已经成为 信息学部的申请和研究热点之一[3] 。 与此同时, Web⁃of⁃Science 检索结果显示,以粒计算为主题的 文章除了计算机科学学科外,与多个学科具有关联 (见表 1)。 表 1 以粒计算为主题的 SCI 论文学科及高引论文分布 Table 1 Distribution of disciplines and its highly cited pa⁃ per count on topic granular computing 研究领域 记录数 所占比例/ % 高引论文数 计算机科学 1 256 47.059 26 工程 919 34.432 2 物理 285 10.678 1 材料科学 193 7.231 1 机械 189 7.081 0 数学 165 6.182 0 地理科学 124 4.646 0 从研究内容看,早期粒计算的应用研究主要集 中在数据粒化、多粒度分析、知识发现等方面。 自 2013 年以来,有关粒计算的研究呈现出较强的应用 价值。 2015 年在天津召开的 RSFDGrC 国际会议[4] 上,发表的有关粒计算研究成果中,超过半数有关应 用研究,如台湾省的 Kao⁃Yi Shen 和 Gwo⁃Hshiung Tzeng 将决策粗糙集和粒计算的方法应用于寿险公 司营销模式分析。 2017 年 SCI 二区期刊信息科学 专辑“大数据时代基于粒计算的机器学习” [5] 明确 指出,除了粒计算理论和模型的研究外,收稿范围扩 展到所有与粒计算相关的工业界研究成果。 专辑实 际收录推荐系统、入侵检测等应用达一半之多。 当前,互联网和大数据催生了领域问题的大规 模和复杂化。 从人工智能角度来看, 粒计算是模拟 人类思考和解决大规模复杂问题的结构化求解模 式, 从实际问题的需要出发, 用可行的满意近似解 替代精确解。 该理论改变了传统的计算观念,达到 对问题的简化、提高问题求解效率等目的[6] 。 事实 上,粒计算不仅是人类认知的一种天然特性,也是许 多智能分析任务的内在需求。 揭示和模拟人类的这 种粒计算认知机理对人工智能发展具有重要作用。 1.1 粒化思维的优越性 正如张钹院士[7] 所指出的“人类智能的一个公 认特点,就是人们能从极不相同的粒度上观察和分 析同一问题,并且很容易地从一个粒度世界转到另 一个粒度世界”。 这强有力地表现了人类问题求解 过程中具备了在多个粒度空间之间进行通信和转换 的能力。 基于多粒度的数据建模就是通过获得的信 息粒集和多个粒结构进行复杂数据分析,从中挖掘 可用的知识并形成有效决策。 若数据建模仅使用一 个粒结构,则称其为基于单粒度的数据建模;若使用 多个粒结构, 则称其为基于多粒度的数据建模。 “横看成岭侧成峰,远近高低各不同”,由于多粒度 分析从多个角度、多个层次出发分析问题,可获得对 于问题更加合理、更加满意的求解结果。 总之,基于 多粒度原理的模拟与实现对复杂问题的机器求解具 有重要指导价值。 1.2 多粒度结构的普遍性 许多数据具有多粒度、多层次特性。 比如,对于 广泛存在的生物网络数据,Nir Friedma 等[8] 在《Sci⁃ ence》上发表的论文就认为在诸如复杂细胞网络、蛋 白质互作用网络等生物数据中都广泛存在着多层 次、多尺度特性。 Clauset 等[9] 在《Nature》上发表的 论文也指出,在复杂社会网络中也存在天然的层次 结构,而社会网络面临的数据自身就是广泛存在的 多模态数据。 Ahn 等[10] 则专门研究了大规模复杂 数据的多尺度复杂性特性。 在军事、气象等领域,由 卫星获得的多波段遥感数据也是典型的具有多层 次、多尺度特性的多模态数据 [11] 。 这些都暗示着反 映复杂的模式发现与推理决策的多模态数据必然隐 含着由这些数据所决定的局部与整体关系以及复杂 的层次结构,即数据的多粒度/ 多层次特性。 诸多数 ·744· 智 能 系 统 学 报 第 11 卷
第6期 苗夺谦,等:从人类智能到机器实现模型一粒计算理论与方法 .745. 据异构变量之间往往具有天然的多粒度形态。不同 方法,对数据挖掘、知识发现、机器学习等领域的发 于同构变量,它们可以自然地表达为一个线性空间。 展具有重要的理论意义,同时对提高海量信息处理 比如在多模态数据中,异构变量之间由于语义的不 的效率具有实际的应用价值。需要指出的是,粒计 一致,它的知识表示和运算是挑战性问题。然而,这 算自然地具有多学科交叉的特性,粒计算的研究与 也正是人类的重要认知能力之一,人们可以从不同 发展有望推动信息科学、认知科学、数学等相关学科 的传感器收集信息并进行有效融合以形成合理推理 的深度融合,为人工智能各领域的共同繁荣、人工智 与决策。事实上,多模态数据既可以提供互补信息 能真正地成为类人智能做出贡献。 还可以提供协同信息,这是多模态数据分析的重要 2粒计算基本理论模型 优势之一。互补信息是指多种传感器观测到的相互 独立的特征信息,它可以扩展系统的性能:而协同信 随着粒计算研究工作的不断深入,人们从不同 息则指的是单一传感器无法获得,需要依靠多种传 的角度研究得到了不同的粒计算理论模型,主要有 感器协同作用才能获得的信息,它可以进一步扩大 模糊集理论模型、粗糙集理论模型、商空间理论模 系统的控制范围。从粒计算的观点来看,在不同变 型、云模型和三支决策理论模型等。粒计算理论模 量上对同一数据集获得的粒结构可能是不一样的, 型大体分为两大类:一类是以信息的粒化为目标,如 这为该数据的理解和认知提供了天然的具有互补性 模糊集理论模型:另一类则以多粒度计算为目标,如 的多粒度结构。 粗糙集理论模型、商空间理论模型、云模型和三支决 1.3认知结构的多粒度性 策理论模型。下面是它们的简单介绍。 近年来在人工智能领域最受关注的非深度学习 2.1模糊集理论模型 莫属。自20O6年Geoffrey Hinton等i]在《Science》 模糊集理论是Zadeh于1965年首先提出 期刊发表“Reducing the dimensionality of data with 的,他认为元素总是以一定的程度属于某个集合,也 neural networks”开始,深度学习的热潮从学术界席 可能以不同的程度属于几个集合。它是对经典集合 卷到了整个工业界。深度学习正是模拟人类大脑神 理论的扩展,最主要的贡献在于引入了集合中元素 经网络潜在地利用事物的底层特征到抽象特征的层 对该集合的“隶属度”,从而将经典集合理论的特征 次结构模型来认知事物的内在机制与原理,这是一 函数取值范围由{0,1}推广到区间值[0,1],将经典 种典型的多粒度结构。深度学习提供了一套丰富 二值逻辑推广至多值逻辑,而集合中元素对集合本 的、基于连接主义的建模框架,可以表达数据内在的 身的“隶属度”主要通过隶属函数来表示。“隶属 丰富的粒度关系和结构。特别是,深度学习在图像、 度”的相关定义如下: 文字、语音等领域的识别方面取得了巨大成功,这些 给定论域U上的一个模糊集F,对于任意x∈ 数据类型正是多粒度数据的重要组成部分。粒计算 U都确定了一个(x),(x)称为x对F的隶属 与深度学习有机结合[1]将是非常值得期待的研究 度。映射:up:U→[0,1],称为F的隶属函数。 方问。 隶属函数的值域为[0,1],当u(x)∈{0,1}时,模 1.4任务处理的多粒度性 糊集F就是一个普通集合。一般地,用F,表示 在实际应用中,用户需求的多粒度特性决定了 u(x)≥入的集合,称为入截集或入水平集:F= 信息处理任务的多粒度特性。比如,在视频分析领 {xlu(x)≥A,x∈U川 域,数据挖掘任务可能是面向视频主题进行分类的, 而入强截集定义为 也可能是面向主角进行分类的,也可能是面向视频 F·={xu(x)>入,x∈U明 性质进行分类的。又如,在网络大数据领域,社团发 模糊集理论中,隶属函数扮演着基石的角色。 现任务本身就是不同的粒度水平决定了发现社团的 王国胤教授[16)指出了模糊集是用不精确的方法来 规模,不同的粒度水平观测到的网络动力学行为可 刻画不确定问题,其原因在于获取隶属度值是不确 能都是有所区别的。这些都使得挖掘任务可能同时 定的。在后续的研究中将精确唯一的隶属度值进行 面向不同层次、不同粒度,这个多粒度特性要求数据 种种拓展,形成了许多新的理论体系,主要有直觉模 挖掘工具能够从多个粒度上同时探索数据隐含的模 糊集、二型模糊集、区间模糊集和Vague集等。 式,并进行有效融合,形成对事物的整体客观认识。 模糊集理论研究的是一种不确定性现象,主要 借鉴人类的这种粒计算认知机理,开展数据驱 针对于人类智能的研究,目的是使计算机能够模拟 动的人工智能研究,有望诞生新的人工智能理论与 人的智能,具有能够在不精确以及部分精确的环境
据异构变量之间往往具有天然的多粒度形态。 不同 于同构变量,它们可以自然地表达为一个线性空间。 比如在多模态数据中,异构变量之间由于语义的不 一致,它的知识表示和运算是挑战性问题。 然而,这 也正是人类的重要认知能力之一,人们可以从不同 的传感器收集信息并进行有效融合以形成合理推理 与决策。 事实上,多模态数据既可以提供互补信息 还可以提供协同信息,这是多模态数据分析的重要 优势之一。 互补信息是指多种传感器观测到的相互 独立的特征信息,它可以扩展系统的性能;而协同信 息则指的是单一传感器无法获得,需要依靠多种传 感器协同作用才能获得的信息,它可以进一步扩大 系统的控制范围。 从粒计算的观点来看,在不同变 量上对同一数据集获得的粒结构可能是不一样的, 这为该数据的理解和认知提供了天然的具有互补性 的多粒度结构。 1.3 认知结构的多粒度性 近年来在人工智能领域最受关注的非深度学习 莫属。 自 2006 年 Geoffrey Hinton 等[12] 在《 Science》 期刊发表“ Reducing the dimensionality of data with neural networks”开始,深度学习的热潮从学术界席 卷到了整个工业界。 深度学习正是模拟人类大脑神 经网络潜在地利用事物的底层特征到抽象特征的层 次结构模型来认知事物的内在机制与原理,这是一 种典型的多粒度结构。 深度学习提供了一套丰富 的、基于连接主义的建模框架,可以表达数据内在的 丰富的粒度关系和结构。 特别是,深度学习在图像、 文字、语音等领域的识别方面取得了巨大成功,这些 数据类型正是多粒度数据的重要组成部分。 粒计算 与深度学习有机结合[13] 将是非常值得期待的研究 方向。 1.4 任务处理的多粒度性 在实际应用中,用户需求的多粒度特性决定了 信息处理任务的多粒度特性。 比如,在视频分析领 域,数据挖掘任务可能是面向视频主题进行分类的, 也可能是面向主角进行分类的,也可能是面向视频 性质进行分类的。 又如,在网络大数据领域,社团发 现任务本身就是不同的粒度水平决定了发现社团的 规模,不同的粒度水平观测到的网络动力学行为可 能都是有所区别的。 这些都使得挖掘任务可能同时 面向不同层次、不同粒度,这个多粒度特性要求数据 挖掘工具能够从多个粒度上同时探索数据隐含的模 式,并进行有效融合,形成对事物的整体客观认识。 借鉴人类的这种粒计算认知机理,开展数据驱 动的人工智能研究,有望诞生新的人工智能理论与 方法,对数据挖掘、知识发现、机器学习等领域的发 展具有重要的理论意义,同时对提高海量信息处理 的效率具有实际的应用价值。 需要指出的是,粒计 算自然地具有多学科交叉的特性,粒计算的研究与 发展有望推动信息科学、认知科学、数学等相关学科 的深度融合,为人工智能各领域的共同繁荣、人工智 能真正地成为类人智能做出贡献。 2 粒计算基本理论模型 随着粒计算研究工作的不断深入,人们从不同 的角度研究得到了不同的粒计算理论模型,主要有 模糊集理论模型、粗糙集理论模型、商空间理论模 型、云模型和三支决策理论模型等。 粒计算理论模 型大体分为两大类:一类是以信息的粒化为目标,如 模糊集理论模型;另一类则以多粒度计算为目标,如 粗糙集理论模型、商空间理论模型、云模型和三支决 策理论模型。 下面是它们的简单介绍。 2.1 模糊集理论模型 模糊集理论[14] 是 Zadeh 于 1965 年首先提出 的,他认为元素总是以一定的程度属于某个集合,也 可能以不同的程度属于几个集合。 它是对经典集合 理论的扩展,最主要的贡献在于引入了集合中元素 对该集合的“隶属度”,从而将经典集合理论的特征 函数取值范围由{0,1}推广到区间值[0,1],将经典 二值逻辑推广至多值逻辑,而集合中元素对集合本 身的“隶属度” 主要通过隶属函数来表示。 “隶属 度”的相关定义如下: 给定论域 U 上的一个模糊集 F, 对于任意 x ∈ U 都确定了一个 μF(x), μF(x) 称为 x 对 F 的隶属 度[15] 。 映射: μF :U → [0,1] , 称为 F 的隶属函数。 隶属函数的值域为 [0,1], 当 μF(x) ∈{0,1} 时,模 糊集 F 就是一个普通集合。 一般地,用 Fλ 表示 μF (x) ≥ λ 的集合,称为 λ 截集或 λ 水平集: Fλ = {x μF(x) ≥ λ, x ∈ U} 而 λ 强截集定义为 Fλ + = {x μF(x) > λ, x ∈ U} 模糊集理论中,隶属函数扮演着基石的角色。 王国胤教授[16]指出了模糊集是用不精确的方法来 刻画不确定问题,其原因在于获取隶属度值是不确 定的。 在后续的研究中将精确唯一的隶属度值进行 种种拓展,形成了许多新的理论体系,主要有直觉模 糊集、二型模糊集、区间模糊集和 Vague 集等。 模糊集理论研究的是一种不确定性现象,主要 针对于人类智能的研究,目的是使计算机能够模拟 人的智能,具有能够在不精确以及部分精确的环境 第 6 期 苗夺谦,等: 从人类智能到机器实现模型———粒计算理论与方法 ·745·
·746 智能系统学报 第11卷 下给出合理决策的能力,而这一能力的基础就是对 与知识的粒度粗细存在正相关的关系:知识粒度越 信息的模糊粒化。Zadeh在文献[17]中将粒定义为 粗,它的不确定性越大(边界域越大)。在粗糙集理 一个命题,定义并讨论了模糊粒的概率分布及概率 论中,知识被表示为对特定空间上的对象的划分能 的计算方法。随着模糊集理论的不断发展完善,使 力,知识粒度被表示为对象的等价类,相同的知识称 得以模糊逻辑和信息粒化为基础的模糊信息粒化理 为不可分辨。以粗糙集理论为基础的粒计算研究, 论,-1]得以更好地实现,它们为词计算的发展提 就是对知识空间上粒的表示、转换和相互依存等问 供了前提条件。 题进行相关研究,以期得到更精确的知识表达。 2.2粗糙集理论模型 2.3商空间理论模型 波兰学者Pawlak[1]在20世界80年代提出了 张钹院士和张铃教授[20]在研究问题求解时,开 粗糙集理论,它是一种处理不精确和不确定性知识 创性地提出了商空间理论。商空间理论模型可以用 的数学工具。粗糙集理论的本质是利用不可分辨关 一个三元组(X,f,T)来表示:X表示问题论域,f表 系(等价关系R)构成对象的等价类(X/R),而所 示论域的属性,T是表示论域的拓扑结构。对于 有的等价类形成论域(U)的划分,从而建立一个近 个给定的论域X的等价关系R,可以得到一个对应 似空间。在近似空间中,通过下近似集(R(X))和 于R的商集[X],然后将[X]当成新的论域,必有 上近似集(R(X))等概念刻画知识的不确定和不 一个对应的三元组([X],[f刀,[T]),称其为对应 精确性。它们的定义为 于R的商空间。商空间理论的推理模型主要依据 R(X)={x∈UI[x]RCX} 两个重要的性质:一个是“保真原理”,指若一个命 题在两个较细粒度的商空间中是真的,则(在一定 R(X)={x∈U1[x]R∩X≠☑ 条件下)在其合成的商空间中对应的问题也是真 下近似集和上近似集把论域分成3个部分,分 的:另一个是“保假原理”,指若一个命题在粗粒度 别为正区域(POS(X))、负区域(NEG.(X))和 空间中是假的,则该命题在比它细的商空间中也一 边界域(BNDx(X)): 定为假。 POS(X)=R(X) 商空间理论的目的是研究不同商空间之间的关 NEG(X)=U-R(X) 系、商空间的分解、合成和推理规律。它将复杂问题 表示成不同粗细的粒度空间,然后构建多粒度的分 BND(X)=R(X)-R(X) 层递阶商空间结构,并通过由粗到细或由细到粗的 从图1可知,在粒度一定的情况下,假设黑线勾 方式,利用“保真原理”和“保假原理”逐层在多粒度 勒出的知识表示概念X,那么概念X的下近似集就 空间中进行多级逼近推理,最后将多粒度空间中粒 是由完全属于边界域范围内粒子组成,在图形中用 的解组合成原始问题难题或整体粒的解,从而获得 黑体部分表示:概念X的上近似集包括灰色部分和 复杂问题的解。 黑色部分组成:概念X的边界域由是灰色部分组 2.4云模型 成。那么由此可以看出,当知识粒度越小,那么下近 1995年李德毅院士在概率论和模糊数学的基 似集越大,边界越小。 础上提出隶属云和隶属云发生器[21),并进一步发展 为云模型四。云的定义如下所示: 设U是一个用精确数值表示的定量论域,C是 U上的定性概念,若定量值x∈U,且x是定性概念 C的一次随机实现,x对C的确定度u(x)∈[0,1] 是具有稳定倾向的随机数。 若u:U→[0,1],x∈U,x一u(x)则x 在论域U上的分布称为云,每一个x称为云滴。 集合的边界X的下近似的上、下近似之差 云由若干云滴组成,云滴是某个定性概念的 图1粗糙集的上下近似集与边界域图 次随机实现,多次产生的云滴可以综合反映这个定 Fig.1 Upper approximation,lower approximation and 性概念的整体特征。某个概念的整体特征可以用云 boundary region of rough set 的3个数字特征来表示,即期望Ex、熵En和超熵 图1表明,知识是有粒度的,且知识的不确定性 He。云和云的数字特征如图2所示
下给出合理决策的能力,而这一能力的基础就是对 信息的模糊粒化。 Zadeh 在文献[17]中将粒定义为 一个命题,定义并讨论了模糊粒的概率分布及概率 的计算方法。 随着模糊集理论的不断发展完善,使 得以模糊逻辑和信息粒化为基础的模糊信息粒化理 论[1,17-18]得以更好地实现,它们为词计算的发展提 供了前提条件。 2.2 粗糙集理论模型 波兰学者 Pawlak [19] 在 20 世界 80 年代提出了 粗糙集理论,它是一种处理不精确和不确定性知识 的数学工具。 粗糙集理论的本质是利用不可分辨关 系(等价关系 R ) 构成对象的等价类( X / R ),而所 有的等价类形成论域( U )的划分,从而建立一个近 似空间。 在近似空间中,通过下近似集( R_ (X) )和 上近似集( R - (X) ) 等概念刻画知识的不确定和不 精确性。 它们的定义为 R_ (X) = {x ∈ U | [x] R ⊆ X} R - (X) = {x ∈ U | [x] R ∩ X ≠ ∅} 下近似集和上近似集把论域分成 3 个部分,分 别为正区域( POSR(X) )、负区域( NEGR(X) ) 和 边界域( BNDR(X) ): POSR(X) = R_ (X) NEGR(X) = U - R - (X) BNDR(X) = R - (X) - R_ (X) 从图 1 可知,在粒度一定的情况下,假设黑线勾 勒出的知识表示概念 X, 那么概念 X 的下近似集就 是由完全属于边界域范围内粒子组成,在图形中用 黑体部分表示;概念 X 的上近似集包括灰色部分和 黑色部分组成;概念 X 的边界域由是灰色部分组 成。 那么由此可以看出,当知识粒度越小,那么下近 似集越大,边界越小。 图 1 粗糙集的上下近似集与边界域图 Fig.1 Upper approximation, lower approximation and boundary region of rough set 图 1 表明,知识是有粒度的,且知识的不确定性 与知识的粒度粗细存在正相关的关系:知识粒度越 粗,它的不确定性越大(边界域越大)。 在粗糙集理 论中,知识被表示为对特定空间上的对象的划分能 力,知识粒度被表示为对象的等价类,相同的知识称 为不可分辨。 以粗糙集理论为基础的粒计算研究, 就是对知识空间上粒的表示、转换和相互依存等问 题进行相关研究,以期得到更精确的知识表达。 2.3 商空间理论模型 张钹院士和张铃教授[20]在研究问题求解时,开 创性地提出了商空间理论。 商空间理论模型可以用 一个三元组 (X,f,T) 来表示: X 表示问题论域, f 表 示论域的属性, T 是表示论域的拓扑结构。 对于一 个给定的论域 X 的等价关系 R, 可以得到一个对应 于 R 的商集 [X], 然后将 [X] 当成新的论域,必有 一个对应的三元组 ([X], [f], [T]), 称其为对应 于 R 的商空间。 商空间理论的推理模型主要依据 两个重要的性质:一个是“保真原理”,指若一个命 题在两个较细粒度的商空间中是真的,则(在一定 条件下) 在其合成的商空间中对应的问题也是真 的;另一个是“保假原理”,指若一个命题在粗粒度 空间中是假的,则该命题在比它细的商空间中也一 定为假。 商空间理论的目的是研究不同商空间之间的关 系、商空间的分解、合成和推理规律。 它将复杂问题 表示成不同粗细的粒度空间,然后构建多粒度的分 层递阶商空间结构,并通过由粗到细或由细到粗的 方式,利用“保真原理”和“保假原理”逐层在多粒度 空间中进行多级逼近推理,最后将多粒度空间中粒 的解组合成原始问题难题或整体粒的解,从而获得 复杂问题的解。 2.4 云模型 1995 年李德毅院士在概率论和模糊数学的基 础上提出隶属云和隶属云发生器[21] ,并进一步发展 为云模型[22] 。 云的定义如下所示: 设 U 是一个用精确数值表示的定量论域, C 是 U 上的定性概念,若定量值 x ∈ U, 且 x 是定性概念 C 的一次随机实现, x 对 C 的确定度 μ(x) ∈ [0,1] 是具有稳定倾向的随机数。 若 μ:U → [0,1], ∀ x ∈U, x → μ(x) 则 x 在论域 U 上的分布称为云,每一个 x 称为云滴。 云由若干云滴组成,云滴是某个定性概念的一 次随机实现,多次产生的云滴可以综合反映这个定 性概念的整体特征。 某个概念的整体特征可以用云 的 3 个数字特征来表示,即期望 Ex、熵 En 和超熵 He。 云和云的数字特征如图 2 所示。 ·746· 智 能 系 统 学 报 第 11 卷
第6期 苗夺谦,等:从人类智能到机器实现模型一粒计算理论与方法 .747. 1.0 象的属性进行粒度变换及多粒度运算后,使得不确 0.9 0.8 定域对象的粒度由粗糙逐步细化,从而我们对不确 0.7 定域对象逐步向接受域和拒绝域转换,使得不确定 0.6 0.5 He 域的认知愈加清晰。 0.4 03 0.2 3知识的多粒度表示 0.1 04 基于单粒度的粒计算模型虽然具有粒计算的所 Ex 有要素(粒化、粒层、粒算子、粒度),但是由于只能 图2高斯云及其数字特征示意 Fig.2 Gaussian cloud and its numerical characteristics 从某个角度近似求解,潜在地丢失了复杂问题中多 角度信息对问题求解的贡献。构造以单粒度为基础 云模型作为用语言值描述的某个定性概念与其 的多粒度可以融合单粒度的信息,充分利用不同粒 数值表示之间的不确定性转换模型,可以刻画语言 度之间的关系,具有更强的表示能力。因此,知识的 值中大量存在的随机性、模糊性以及两者之间的关 多粒度表示与信息融合具有内在的一致性。 联性。它主要基于高斯混合模型从原始数据中提取 许多研究表明,多粒度表示下的求解在计算复 概念(粒化),以云滴的方式对概念进行表示(粒度 杂度、求解性能等方面具有更好的效果。文献[26] 表达),通过云的跃迁构建云模型的层次结构(粒的 研究了社会网络中的平衡转化与计算问题,实验证 层次构建),利用云模型的3个数字特征进行云运 明通过结合不同社团内部和社团之间的结构化信 算和云推理(粒计算)。作为粒计算的基本模型之 息,提出的算法MOEA/D-SB具有最小的计算代价 一,云模型具有粒计算从不同的层次、不同的角度观 (H),如图3所示。文献[27]从图像和连环画两 察和分析问题的特点,具有粒计算将复杂问题分解 个本体的结构化设计出发,实现了对纸质连环画结 成若干子问题分别求解,降低计算复杂度的特点。 构的自动分析,如图4所示。 2.5三支决策理论模型 81 三支决策理论[2-]最初是由加拿大里贾纳大 -MOEA/D-SB -·-MOEA/D-CD 学的姚一豫在粒计算和粗糙集理论的研究基础上提 --NSGA-II-CD ---MODPSO 出的。三支决策的主要思想就是将待求解问题通过 MLMSB 映射f分解为3个部分:L域、M域和R-域,然后对 ◆FEC ·■ORE2014 不同的部分采用不同的处理方法进行分析求解,它 为复杂问题求解提供了一种有效的策略与方法。根 据映射∫的不同,分为定性三支决策和定量三支决 策。在定量三支决策模型中,通过映射函数,以及引 0.2 0.40.6 0.8 1.0 入的一对阈值(α,B)(一般1≥≥B≥0),在三支 Cost coefficient w 决策空间中进行3个区域的计算,如下所示[2]: (a)GGs网络 接受域:ACP(a,)(E,A)={x∈U1E(A)(x)≥ 300 a MOEA/D-SB 250F ··-MOEA/D-CD 拒绝域:REJa(E,A)={x∈UIE(A)(x)≤B ·--NSGA-I-CD --MODPSO 不确定域:UNC((E,A)={x∈UB<E(A)<a 200 MLMSB 式中:E(A)为论域U上关于集合A二U的映射函 ·FEC 150 ■ORE2014 数。一般情况下,不确定域与M-域相对应,接受域 和拒绝域则根据实际情况与L域和R-域相对应。 1004 ◆ 三支决策理论很好地模拟了人类解决实际问题 50 “、 的思维,首先确定了接受域(即明确接受的部分)和 0.20.40.60.8 10 拒绝域(即明确拒绝的部分),然后重点研究不确定 Cost coefficient w 域的待确认部分。不确定域是不精确对象的集合, (b)War Network 对不确定域求解的目的就是降低其不精确性,实际 图3不同权重参数下无向符号社会网络转换代价 上就是对不确定域进行多粒度挖掘。不确定域的不 Fig.3 Transformation cost Hw with the parameter w 精确性主要受对象的粒度过粗影响,当我们基于对 for undirected signed network
图 2 高斯云及其数字特征示意 Fig.2 Gaussian cloud and its numerical characteristics 云模型作为用语言值描述的某个定性概念与其 数值表示之间的不确定性转换模型,可以刻画语言 值中大量存在的随机性、模糊性以及两者之间的关 联性。 它主要基于高斯混合模型从原始数据中提取 概念(粒化),以云滴的方式对概念进行表示(粒度 表达),通过云的跃迁构建云模型的层次结构(粒的 层次构建),利用云模型的 3 个数字特征进行云运 算和云推理(粒计算)。 作为粒计算的基本模型之 一,云模型具有粒计算从不同的层次、不同的角度观 察和分析问题的特点,具有粒计算将复杂问题分解 成若干子问题分别求解,降低计算复杂度的特点。 2.5 三支决策理论模型 三支决策理论[22-24] 最初是由加拿大里贾纳大 学的姚一豫在粒计算和粗糙集理论的研究基础上提 出的。 三支决策的主要思想就是将待求解问题通过 映射 f 分解为 3 个部分: L⁃域、M⁃域和R⁃域, 然后对 不同的部分采用不同的处理方法进行分析求解,它 为复杂问题求解提供了一种有效的策略与方法。 根 据映射 f 的不同,分为定性三支决策和定量三支决 策。 在定量三支决策模型中,通过映射函数,以及引 入的一对阈值 (α,β) (一般 1 ≥α≥β ≥0),在三支 决策空间中进行 3 个区域的计算,如下所示[25] : 接受域:ACP(α,β) (E,A) = { x∈U | E( A) ( x) ≥ α} 拒绝域:REJ(α,β)(E,A)= {x∈U| E(A)(x)≤β} 不确定域:UNC(α,β)(E,A)= {x∈U|β<E(A)<α} 式中: E(A) 为论域 U 上关于集合 A ⊆ U 的映射函 数。 一般情况下,不确定域与 M⁃ 域相对应,接受域 和拒绝域则根据实际情况与 L⁃ 域和 R⁃ 域相对应。 三支决策理论很好地模拟了人类解决实际问题 的思维,首先确定了接受域(即明确接受的部分)和 拒绝域(即明确拒绝的部分),然后重点研究不确定 域的待确认部分。 不确定域是不精确对象的集合, 对不确定域求解的目的就是降低其不精确性,实际 上就是对不确定域进行多粒度挖掘。 不确定域的不 精确性主要受对象的粒度过粗影响,当我们基于对 象的属性进行粒度变换及多粒度运算后,使得不确 定域对象的粒度由粗糙逐步细化,从而我们对不确 定域对象逐步向接受域和拒绝域转换,使得不确定 域的认知愈加清晰。 3 知识的多粒度表示 基于单粒度的粒计算模型虽然具有粒计算的所 有要素(粒化、粒层、粒算子、粒度),但是由于只能 从某个角度近似求解,潜在地丢失了复杂问题中多 角度信息对问题求解的贡献。 构造以单粒度为基础 的多粒度可以融合单粒度的信息,充分利用不同粒 度之间的关系,具有更强的表示能力。 因此,知识的 多粒度表示与信息融合具有内在的一致性。 许多研究表明,多粒度表示下的求解在计算复 杂度、求解性能等方面具有更好的效果。 文献[26] 研究了社会网络中的平衡转化与计算问题,实验证 明通过结合不同社团内部和社团之间的结构化信 息,提出的算法 MOEA/ D⁃SB 具有最小的计算代价 ( Hw ),如图 3 所示。 文献[27]从图像和连环画两 个本体的结构化设计出发,实现了对纸质连环画结 构的自动分析,如图 4 所示。 (a) GGS 网络 (b)War Network 图 3 不同权重参数下无向符号社会网络转换代价 Fig.3 Transformation cost Hw with the parameter w for undirected signed network 第 6 期 苗夺谦,等: 从人类智能到机器实现模型———粒计算理论与方法 ·747·
.748 智能系统学报 第11卷 分辨关系确定论域的层次划分构造多粒度的粒空 间,其中每个粒空间具有Pawlak意义下的上下近 似。基于多粒度论域空间上对目标概念近似逼近。 基于多粒度粗糙集可以有效处理单粒度粗糙集无法 解决的以下3种情况: /S=3 1)同一个对象在不同决策者下的分类情况存 S=3 在矛盾或不一致,此时商集不能进行交运算,因而目 1S=2 标概念不能以交运算来近似: 2)决策者的决策或观,点相互独立,任何两个商 /S=0 集的交运算是冗余的: (a)单页板块识别 (b)单页偏序结构(©)单页全序结构 3)在特定背景下,如针对分布式信息系统的数 据分析,没有必要进行交运算。 图4连环画结构的自动分析 Fig.4 Automatic analysis of comic structure 由于赋予了商集决策观点的语义,基于一组对 3.1多粒度表示的关键问题 同一个分类概念观点可以得到不同的概念近似,其 中具有最小决策正域的称为多粒度乐观粗糙集,具 多粒度表示是使用多粒度方法计算复杂问题的 前提,可以从多粒度的内涵、效果和表示形式3个层 有最大决策正域的称为多粒度悲观粗糙集。形象地 讲,乐观粗糙集的上下近似具有求同存异的语义,悲 面分析。 观粗糙集的上下近似具有求同排异的语义。在此基 1)从内涵来看:多粒度的实质是通过多个单粒 础上,许多关于多粒度粗糙集的变种相继提出。具 度的粒合成与分解,近似刻画对数据恰当表述的合 理结构[2-9]。这种隐藏的结构通常难以直接根据 体包括: 1)在二元关系的泛化方面:林国平[34研究了多 数据特点确定。通常情况下,多粒度的粒层并不是 粒度1型和2型邻域粗糙集模型:徐伟华[3]提出了 由单个粒化准则决定,也不是由多个单粒度简单地 基于容差覆盖信息粒的乐观多粒度粗糙集和悲观多 通过粒度交运算得到,是单粒度意义下的超粒。 粒度粗糙集;Chen等[36]通过对乐观悲观算子的模 2)从效果来看:多粒度下不同信息粒的合成, 糊化,定义了一种可调节的多粒度模糊粗糙集。 实际上是信息粒对问题求解效果的合成,最终目的 2)在信息粒融合策略的泛化方面:吴伟志等[3列 是提高问题求解的质量。因此,多粒度计算的实质 基于证据理论构造不完备信息系统下的悲观多粒度 是对潜在影响求解的不同信息粒重要性加权,使得 粗糙集:钱宇华等[3]通过将证据理论用于优化聚类 相对正向得益强化,相对负向得益弱化。 集成,提出了一种新的信息融合方法。 3)从表示形式来看:与粒计算模型的选择相 3.2.2多尺度粗糙集 关。如基于粗糙集的多粒度研究合成的信息粒以集 吴伟志等[)提出的多尺度粗糙集是信息系统 合[0的形式表达,基于商空间的多粒度研究合成的 条件属性在偏序结构意义下的推广。不同于传统粗 信息粒以商空间三元组1-的形式表达。针对不 糙集中每个条件属性信息以单一形式表示,多尺度 同的多粒度表示方式,王国胤等给出了在大数据 粗糙集的每个条件属性信息对应一个偏序结构,而 背景下模型选取和多粒度设计的框架性描述。 偏序结构本身是由于属性具有多粒度造成的。通过 3.2多粒度的主要模型 映射到不同的层次,丰富了决策依据的同时,可以根 由于多粒度本身是相对于单粒度而言,其语义 据需要在某一粒度上综合不同层次的属性信息综合 解释方面并没有任何附加的约束,因而模型中关于 决策。 多粒度的解释也不尽相同。本文将从信息系统角度 多尺度粗糙集属性粒度的选取是一个重要的问 出发,总结已有的5种主要的多粒度模型。 题。针对属性层次提升过程中决策一致性的变化, 3.2.1多粒度粗糙集 吴伟志等[39]从保持最大决策一致性角度出发,通过 钱宇华等[]提出的多粒度粗糙集模型能有效 定义信息表决策一致性、上近似一致性、下近似一致 模拟人类求解复杂问题时兼顾多个粒度综合评价的 性给出了最优粒度的评价标准。在此基础上,吴伟 思维方式。不同于经典Pawlak粗糙集中从一个属 志等0等研究了决策一致多尺度粗糙集和决策不 性集的角度定义基于等价划分的信息粒,多粒度粗 一致多尺度粗糙集的属性约简算法。 糙集的信息粒基于一个属性集序列建立。多个不可 3.2.3覆盖粗糙集
图 4 连环画结构的自动分析 Fig.4 Automatic analysis of comic structure 3.1 多粒度表示的关键问题 多粒度表示是使用多粒度方法计算复杂问题的 前提,可以从多粒度的内涵、效果和表示形式 3 个层 面分析。 1) 从内涵来看:多粒度的实质是通过多个单粒 度的粒合成与分解,近似刻画对数据恰当表述的合 理结构[28-29] 。 这种隐藏的结构通常难以直接根据 数据特点确定。 通常情况下,多粒度的粒层并不是 由单个粒化准则决定,也不是由多个单粒度简单地 通过粒度交运算得到,是单粒度意义下的超粒。 2) 从效果来看:多粒度下不同信息粒的合成, 实际上是信息粒对问题求解效果的合成,最终目的 是提高问题求解的质量。 因此,多粒度计算的实质 是对潜在影响求解的不同信息粒重要性加权,使得 相对正向得益强化,相对负向得益弱化。 3) 从表示形式来看:与粒计算模型的选择相 关。 如基于粗糙集的多粒度研究合成的信息粒以集 合 [30]的形式表达,基于商空间的多粒度研究合成的 信息粒以商空间三元组 [31-32] 的形式表达。 针对不 同的多粒度表示方式,王国胤等 [33] 给出了在大数据 背景下模型选取和多粒度设计的框架性描述。 3.2 多粒度的主要模型 由于多粒度本身是相对于单粒度而言,其语义 解释方面并没有任何附加的约束,因而模型中关于 多粒度的解释也不尽相同。 本文将从信息系统角度 出发,总结已有的 5 种主要的多粒度模型。 3.2.1 多粒度粗糙集 钱宇华等[33] 提出的多粒度粗糙集模型能有效 模拟人类求解复杂问题时兼顾多个粒度综合评价的 思维方式。 不同于经典 Pawlak 粗糙集中从一个属 性集的角度定义基于等价划分的信息粒,多粒度粗 糙集的信息粒基于一个属性集序列建立。 多个不可 分辨关系确定论域的层次划分构造多粒度的粒空 间,其中每个粒空间具有 Pawlak 意义下的上下近 似。 基于多粒度论域空间上对目标概念近似逼近。 基于多粒度粗糙集可以有效处理单粒度粗糙集无法 解决的以下 3 种情况: 1) 同一个对象在不同决策者下的分类情况存 在矛盾或不一致,此时商集不能进行交运算,因而目 标概念不能以交运算来近似; 2) 决策者的决策或观点相互独立,任何两个商 集的交运算是冗余的; 3) 在特定背景下,如针对分布式信息系统的数 据分析,没有必要进行交运算。 由于赋予了商集决策观点的语义,基于一组对 同一个分类概念观点可以得到不同的概念近似,其 中具有最小决策正域的称为多粒度乐观粗糙集,具 有最大决策正域的称为多粒度悲观粗糙集。 形象地 讲,乐观粗糙集的上下近似具有求同存异的语义,悲 观粗糙集的上下近似具有求同排异的语义。 在此基 础上,许多关于多粒度粗糙集的变种相继提出。 具 体包括: 1)在二元关系的泛化方面:林国平[34]研究了多 粒度 1 型和 2 型邻域粗糙集模型;徐伟华[35] 提出了 基于容差覆盖信息粒的乐观多粒度粗糙集和悲观多 粒度粗糙集;Chen 等[36] 通过对乐观悲观算子的模 糊化,定义了一种可调节的多粒度模糊粗糙集。 2)在信息粒融合策略的泛化方面:吴伟志等[37] 基于证据理论构造不完备信息系统下的悲观多粒度 粗糙集;钱宇华等[38]通过将证据理论用于优化聚类 集成,提出了一种新的信息融合方法。 3.2.2 多尺度粗糙集 吴伟志等[11] 提出的多尺度粗糙集是信息系统 条件属性在偏序结构意义下的推广。 不同于传统粗 糙集中每个条件属性信息以单一形式表示,多尺度 粗糙集的每个条件属性信息对应一个偏序结构,而 偏序结构本身是由于属性具有多粒度造成的。 通过 映射到不同的层次,丰富了决策依据的同时,可以根 据需要在某一粒度上综合不同层次的属性信息综合 决策。 多尺度粗糙集属性粒度的选取是一个重要的问 题。 针对属性层次提升过程中决策一致性的变化, 吴伟志等[39]从保持最大决策一致性角度出发,通过 定义信息表决策一致性、上近似一致性、下近似一致 性给出了最优粒度的评价标准。 在此基础上,吴伟 志等 [40]等研究了决策一致多尺度粗糙集和决策不 一致多尺度粗糙集的属性约简算法。 3.2.3 覆盖粗糙集 ·748· 智 能 系 统 学 报 第 11 卷
第6期 苗夺谦,等:从人类智能到机器实现模型一粒计算理论与方法 .749. 覆盖意义下的上下近似语义要求对概念给出最 样的信息,有时候是确定的,更多时候是不确定的。 大(最小)描述。由于满足这一描述的刻画方式与 进入21世纪以来,不确定性问题的研究工作受到越 语义之间是多对一的关系,为了尽可能准确地基于 来越多的关注。如何对不确定性信息和数据进 覆盖描述概念而对已有覆盖近似算子的合成,自然 行有效的处理,从而发现不确定性信息中蕴涵的知 地形成了多粒度研究前提。祝峰等)给出了拓扑 识和规律,是一个重要的研究课题[s)。度量自然现 视角下最大(最小)描述方式,总结出覆盖粗糙集下 象的不确定性程度称为不确定性度量6]。常见的 上下近似相互依赖关系。在此基础上,提出了3种 方法有概率论、熵、证据理论等。 不同的覆盖粗糙集及其相互近似转化关系回。祝 4.1单粒度下不确定性度量与推理 4.1.1单粒度下不确定性度量 峰等4)指出,广义粗糙集模型邻域化在一定条件下 单粒度下的不确定性度量可以具有不同的语 可以构造覆盖粗糙集,但是由于覆盖粗糙集的多粒 义,是传统度量在应用领域的具体实现。然而一般 度性,两者并不等价。苗夺谦等4]通过结合已有覆 来说具有以下三点共同的性质。 盖粗糙集研究的基础,提出了4种多粒度乐观覆盖 1)有界性:度量的最大值/最小值对应当前粒 粗糙集,并分析了多种粗糙集上下近似之间的包含 结构对问题最完美/最不完美的表达,多数度量的取 关系。在此基础上,Pedryez等进一步研究了模 值范围为[0,1]: 糊近似空间下多粒度覆盖粗糙集。 2)单调性:如果结构A对问题的描述比结构B 3.2.4层次粗糙集 对问题的描述更完美,结构C对问题的描述比结构 人类在复杂问题求解前具有与问题求解相关 A对问题的描述更完美,则结构C对问题的描述比 的、结构化的先验知识,先验知识本身由于个体的差 结构B对问题的描述更完美; 异和对问题的认识,表现为属性层次的多样性。苗 3)对称性:如果结构A对问题的度量和结构B 夺谦等6]提出了层次粗糙集模型,使得不同属性扩 对问题的度量在某种程度范围内无差别,那么结构 展为不同的概念层次树,从而由一个决策表可以衍 B对问题的度量和结构A对问题的度量在相同程度 生出多个局部具有偏序关系的决策表,不仅有效提 范围内无差别。 升了求解效率,还能在不同层次得到不同的决策知 通常意义下,不确定性度量具有语义和计算视 识。钱进等基于MapReduce机制,提出了大数据 角两个层面。下面从概率论、信息嫡、证据理论3种 下层次粗糙集属性约简算法。李天瑞等s-9)进一 计算视角出发,简要回顾单粒度下不确定性度量研 步研究了在不完备动态环境下,由于属性层次的粗 究现状。 化/细化导致的粗糙近似的更新问题及相应算法。 1)基于概率论的度量 3.2.5双量化粗糙集 1933年前苏联科学家Kolmogorov在提出的公理 粗糙集近似空间的本质是二维的,同时考虑概 化的概率论[列。下面介绍概率论有关的基本概念。 念的相对量化与绝对量化将有助于近似空间的完备 定义1[s设2是非空集合,是由2的一些 化。张贤勇0提出了相对和绝对量化可以分别通 子集(也称事件)构成的σ代数。若集函数Pr满足 过概率粗糙集和程度粗糙集构造,并提出了一系列 如下3条公理 基于逻辑运算的双量化粗糙集及其区域保持约简算 公理1Pr{2)=1: 法。此后,学者从双量化粗糙集的构造方式上开展 公理2对任意事件A∈都有Pr{A}≥0: 了一系列研究。徐伟华5]等提出基于精度程度近 公理3对任意可列个不相交的事件{A:} 似组合的策略:胡宝清]等提出统一概率表示策 成立Pr(心A}=∑PrA,{,则称集函数Pr为一个 略。随着研究的深人;张贤勇和苗夺谦提出双量 概率测度。 化粗糙集的关键在于定义一对具有相对、绝对语义 定义2[s)设2是非空集合,是由2的一些 的度量,在此基础上研究了基于重要性-精确度的 子集构成的σ代数。而Pr为概率测度,则三元组 定性、定量约简。 (2,,Pr)称为概率空间。 定义37一个随机变量就是从概率空间 4粒计算不确定性度量与推理 (2,,Pr)到实数集的可测函数。 当今世界处在一个信息时代。信息是人类认识 定义47]n维随机变量就是从概率空间(2, 世界和改造世界的知识源泉。人们接触到的各种各 ,Pr)到n维实数向量空间的一个可测函数
覆盖意义下的上下近似语义要求对概念给出最 大(最小)描述。 由于满足这一描述的刻画方式与 语义之间是多对一的关系,为了尽可能准确地基于 覆盖描述概念而对已有覆盖近似算子的合成,自然 地形成了多粒度研究前提。 祝峰等 [41] 给出了拓扑 视角下最大(最小)描述方式,总结出覆盖粗糙集下 上下近似相互依赖关系。 在此基础上,提出了 3 种 不同的覆盖粗糙集及其相互近似转化关系 [42] 。 祝 峰等 [43]指出,广义粗糙集模型邻域化在一定条件下 可以构造覆盖粗糙集,但是由于覆盖粗糙集的多粒 度性,两者并不等价。 苗夺谦等[44] 通过结合已有覆 盖粗糙集研究的基础,提出了 4 种多粒度乐观覆盖 粗糙集,并分析了多种粗糙集上下近似之间的包含 关系。 在此基础上,Pedrycz 等 [45] 进一步研究了模 糊近似空间下多粒度覆盖粗糙集。 3.2.4 层次粗糙集 人类在复杂问题求解前具有与问题求解相关 的、结构化的先验知识,先验知识本身由于个体的差 异和对问题的认识,表现为属性层次的多样性。 苗 夺谦等[46]提出了层次粗糙集模型,使得不同属性扩 展为不同的概念层次树,从而由一个决策表可以衍 生出多个局部具有偏序关系的决策表,不仅有效提 升了求解效率,还能在不同层次得到不同的决策知 识。 钱进等[47]基于 MapReduce 机制,提出了大数据 下层次粗糙集属性约简算法。 李天瑞等 [48-49] 进一 步研究了在不完备动态环境下,由于属性层次的粗 化/ 细化导致的粗糙近似的更新问题及相应算法。 3.2.5 双量化粗糙集 粗糙集近似空间的本质是二维的,同时考虑概 念的相对量化与绝对量化将有助于近似空间的完备 化。 张贤勇 [50]提出了相对和绝对量化可以分别通 过概率粗糙集和程度粗糙集构造,并提出了一系列 基于逻辑运算的双量化粗糙集及其区域保持约简算 法。 此后,学者从双量化粗糙集的构造方式上开展 了一系列研究。 徐伟华 [51] 等提出基于精度程度近 似组合的策略;胡宝清[52] 等提出统一概率表示策 略。 随着研究的深入;张贤勇和苗夺谦 [53] 提出双量 化粗糙集的关键在于定义一对具有相对、绝对语义 的度量,在此基础上研究了基于重要性-精确度的 定性、定量约简。 4 粒计算不确定性度量与推理 当今世界处在一个信息时代。 信息是人类认识 世界和改造世界的知识源泉。 人们接触到的各种各 样的信息,有时候是确定的,更多时候是不确定的。 进入 21 世纪以来,不确定性问题的研究工作受到越 来越多的关注 [54] 。 如何对不确定性信息和数据进 行有效的处理,从而发现不确定性信息中蕴涵的知 识和规律,是一个重要的研究课题[55] 。 度量自然现 象的不确定性程度称为不确定性度量[56] 。 常见的 方法有概率论、熵、证据理论等。 4.1 单粒度下不确定性度量与推理 4.1.1 单粒度下不确定性度量 单粒度下的不确定性度量可以具有不同的语 义,是传统度量在应用领域的具体实现。 然而一般 来说具有以下三点共同的性质。 1) 有界性:度量的最大值/ 最小值对应当前粒 结构对问题最完美/ 最不完美的表达,多数度量的取 值范围为[0,1]; 2) 单调性:如果结构 A 对问题的描述比结构 B 对问题的描述更完美,结构 C 对问题的描述比结构 A 对问题的描述更完美,则结构 C 对问题的描述比 结构 B 对问题的描述更完美; 3) 对称性:如果结构 A 对问题的度量和结构 B 对问题的度量在某种程度范围内无差别,那么结构 B 对问题的度量和结构 A 对问题的度量在相同程度 范围内无差别。 通常意义下,不确定性度量具有语义和计算视 角两个层面。 下面从概率论、信息熵、证据理论 3 种 计算视角出发,简要回顾单粒度下不确定性度量研 究现状。 1) 基于概率论的度量 1933 年前苏联科学家 Kolmogorov 在提出的公理 化的概率论[57] 。 下面介绍概率论有关的基本概念。 定义 1 [57] 设 Ω 是非空集合, A 是由 Ω 的一些 子集(也称事件)构成的 σ 代数。 若集函数 Pr 满足 如下 3 条公理: 公理 1 Pr{Ω} = 1; 公理 2 对任意事件 A ∈ A 都有 Pr{A} ≥ 0; 公理 3 对任意可列个不相交的事件 Ai { } ¥ i = 1 成立 Pr ∪ ¥ i = 1 Ai { } =∑ ¥ i = 1 Pr{Ai}, 则称集函数 Pr 为一个 概率测度。 定义 2 [57] 设 Ω 是非空集合, A 是由 Ω 的一些 子集构成的 σ 代数。 而 Pr 为概率测度,则三元组 (Ω,A,Pr) 称为概率空间。 定义 3 [57] 一个随机变量就是从概率空间 (Ω,A,Pr) 到实数集的可测函数。 定义 4 [57] n 维随机变量就是从概率空间 (Ω, A,Pr) 到 n 维实数向量空间的一个可测函数。 第 6 期 苗夺谦,等: 从人类智能到机器实现模型———粒计算理论与方法 ·749·
·750 智能系统学报 第11卷 定义5列]随机变量专的概率分布定义为 价关系,P在U上导出的划分A={X,X2,…,X}, Φ(x)=Pr{w∈I(ω)≤x},也就是说,④(x)是 则知识P的嫡H(P)为 随机变量专取值小于或等于x的概率。 定义6)设专为一随机变量,中是专的概率 H(P)=- 立p(x)logp(x) 分布函数。如果对所有的x∈(-0,+0),函数p: 定义12[s9)设U是论域,P、Q是U上的两 R→[0,+o)满足 个等价关系,P、Q在U上导出的划分分别为A、 (x)=∫φ()d B,其中A={X,X2,…,Xn},B={Y,Y2,…,Ym} 则知识Q相对于知识P的条件熵为 则称P为随机变量专的概率密度函数。 定义7设(传,52,,5)是概率空间(D, H(Q1P)=- p(X)p(logsp(1X) ,Pr)上的随机向量,如果函数④:(-0,+o)”→ 定义13[01知识P与Q的互信息为 [0,1]满足Φ(x1,x2,…,x)= I(P:Q)=H(Q)-H(QI P) Pr{w∈21专(ω)≤x1,52(ω)≤x2,, 定义146)】设A是论域U上的一个模糊集, 专(ω)≤xn},则称中为随机向量(51,52,…,专)的 x∈,u(x:)是x:的隶属度函数,值域为[0,1]。 联合概率分布。 则A的模糊熵为 定义8s]设(1,52,…,5)是概率空间(D ,P)上的随机向量。如果对于所有(x1,x2,, H(A)=- ∑{μ,(x)log,(x)+ i=1 xn)∈(-0,+∞)",存在p:R"→[0,+0)满足 [1-u(x)]log[1-u(x:)]} D(x1,x2,…,xn)= 定义1561】在信息系统(U,A)中,论域U= p(xd {x1,x2…,xn},属性集A={a1,a2…,am},XCU, B二A,对象子集X关于B的近似精度、粗糙度分别 则称p为随机向量(51,52,…,专n)的联合概率 定义为 密度函数。 B(X) 2)基于嫡的度量 aB(X)=- 随着通信技术的发展,Shannon于1948年提出 B(X) 了信息熵的概念[。将粒化后的结构看成论域的 PB(X)=1-aB(X) 不同划分,并与模糊集、粗糙集等模型相结合,人们 定义1662]在信息系统(,4)中,属性子集 先后提出了模糊熵、粗糙嫡等概念。 B二A对论域的划分U/B={X1,X2,…,Xn},属性 定义9s9]设U是论域,P是U上的一个等价 集B的熵定义如下: 关系,P在U上导出的划分A={X1,X2,…,Xn},则 E(B)=- P在U的子集组成的σ代数上定义的概率分布为 三哥司 「X X2…X X≤U在划分U/B上的粗糙熵定义为 [A;p]= p(X)p(X2)…p(Xn) Eg(X)=PB(X)E(B) 3)基于证据理论的度量 |X: 式中:p(X,)=,i=12,…n。 证据理论是由Dempster首先提出的,后经他的 学生Shafer发扬光大,所以也称D-S理论[6-6)。 定义10s)设U是论域,P、Q是U上的两个 定义17基本概率分配函数(又称为mass函 等价关系,P、Q在U上导出的划分分别为A、B, 数):对于任意一个属于U的子集A(命题),对应于 其中A={X,X2,…,X},B={Y,Y2,…,Ym},则P 一个数m∈[0,1],且满足 与Q的联合概率分布为 [X,ny1…Xny…x.Or. m(☑)=0,∑m(A)=1 [AB:p]= p(X,Y)… p(Xy)…p(XnYm) 则称函数m为幂集2”上的基本概率分配函数, m(A)称为A基本概率数。 I XO Y I 式中:p(XY)= ,i=1,2,…,n,j=1,2, 定义18信任函数:命题A的信任函数Bl: 2"→[0,1]为Bel(A)=∑m(B),HACU,表示 定义11列)设U是论域,P是U上的一个等 对A的总信任。即命题A的信任函数的值是A的所
定义 5 [57] 随机变量 ξ 的概率分布定义为 Φ(x) = Pr{ω ∈ ξ | ξ(ω) ≤ x}, 也就是说, Φ(x) 是 随机变量 ξ 取值小于或等于 x 的概率。 定义 6 [57] 设 ξ 为一随机变量, Φ 是 ξ 的概率 分布函数。 如果对所有的 x ∈ ( - ¥, + ¥), 函数 φ: ℝ → [0, + ¥) 满足 Φ(x) = ∫ x -¥ φ(y)dy 则称 φ 为随机变量 ξ 的概率密度函数。 定义 7 [57] 设 (ξ1 ,ξ2 ,…,ξn ) 是概率空间 (Ω, A,Pr) 上的随机向量,如果函数 Φ:( - ¥, + ¥) n → [0,1] 满足 Φ(x1 ,x2 ,…,xn ) = Pr{ω ∈ Ω | ξ1(ω) ≤ x1 ,ξ2(ω) ≤ x2 ,…, ξn(ω) ≤xn }, 则称 Φ 为随机向量 (ξ1 ,ξ2 ,…,ξn ) 的 联合概率分布。 定义 8 [57] 设 (ξ1 ,ξ2 ,…,ξn ) 是概率空间 (Ω, A,Pr) 上的随机向量。 如果对于所有 (x1 ,x2 ,…, xn ) ∈ ( - ¥, + ¥) n , 存在 φ:ℝ n → [0, + ¥) 满足 Φ(x1 ,x2 ,…,xn ) = ∫ x1 -¥ ∫ x2 -¥ … ∫ xn -¥ φ(y1 ,y2 ,…,yn )dy1 dy2…dyn , 则称 φ 为随机向量 (ξ1 ,ξ2 ,…,ξn ) 的联合概率 密度函数。 2) 基于熵的度量 随着通信技术的发展,Shannon 于 1948 年提出 了信息熵的概念[58] 。 将粒化后的结构看成论域的 不同划分,并与模糊集、粗糙集等模型相结合,人们 先后提出了模糊熵、粗糙熵等概念。 定义 9 [59] 设 U 是论域, P 是 U 上的一个等价 关系, P 在 U 上导出的划分 A = {X1 ,X2 ,…,Xn }, 则 P 在 U 的子集组成的 σ 代数上定义的概率分布为 [A;p] = X1 p(X1 ) X2 p(X2 ) … … Xn p(Xn ) é ë ê ê ù û ú ú 式中: p(Xi) = Xi U , i = 1,2,…,n 。 定义 10 [59] 设 U 是论域, P 、 Q 是 U 上的两个 等价关系, P 、 Q 在 U 上导出的划分分别为 A 、 B, 其中 A = {X1 ,X2 ,…,Xn }, B = {Y1 ,Y2 ,…,Ym }, 则 P 与 Q 的联合概率分布为 [AB;p] = X1 ∩ Y1 p(X1Y1 ) … Xi ∩ Yj … p(XiYj) … … Xn ∩ Ym p(XnYm ) é ë ê êê ù û ú úú 式中: p(XiYj) = | Xi ∩ Yj | U , i = 1,2,…,n, j = 1,2, …,m 。 定义 11 [59] 设 U 是论域, P 是 U 上的一个等 价关系, P 在 U 上导出的划分 A = {X1 ,X2 ,…,Xn }, 则知识 P 的熵 H(P) 为 H(P) = - ∑ n i = 1 p(Xi) log2 p(Xi) 定义 12 [59] 设 U 是论域, P 、 Q 是 U 上的两 个等价关系, P 、 Q 在 U 上导出的划分分别为 A 、 B, 其中 A = {X1 ,X2 ,…,Xn }, B = {Y1 ,Y2 ,…,Ym }, 则知识 Q 相对于知识 P 的条件熵为 H(Q | P) = - ∑ n i = 1 p(Xi)∑ m j = 1 p(Yj | Xi) log2 p(Yj | Xi) 定义 13 [60] 知识 P 与 Q 的互信息为 I(P;Q) = H(Q) - H(Q | P) 定义 14 [61] 设 A 是论域 U 上的一个模糊集, xi ∈U, μA(xi) 是 xi 的隶属度函数,值域为 [0,1] 。 则 A 的模糊熵为 H(A) = - ∑ n i = 1 {μA(xi)logμA(xi) + [1 - μA(xi)]log[1 - μA(xi)]} 定义 15 [61] 在信息系统 (U,A) 中,论域 U = {x1 ,x2…,xn }, 属性集 A = {a1 ,a2…,am }, X ⊆ U, B ⊆A, 对象子集 X 关于 B 的近似精度、粗糙度分别 定义为 αB(X) = B_ (X) B - (X) ρB(X) = 1 - αB(X) 定义 16 [62] 在信息系统 (U,A) 中,属性子集 B ⊆ A 对论域的划分 U/ B = {X1 ,X2 ,…,Xm }, 属性 集 B 的熵定义如下: E(B) = - ∑ m i = 1 Xi U log2( 1 Xi ) X ⊆ U 在划分 U/ B 上的粗糙熵定义为 EB(X) = ρB(X)E(B) 3) 基于证据理论的度量 证据理论是由 Dempster 首先提出的,后经他的 学生 Shafer 发扬光大,所以也称 D⁃S 理论[63-64] 。 定义 17 基本概率分配函数(又称为 mass 函 数):对于任意一个属于 U 的子集 A (命题),对应于 一个数 m ∈ [0,1], 且满足 m(∅) = 0,∑A⊆U m(A) = 1 则称函数 m 为幂集 2 U 上的基本概率分配函数, m(A) 称为 A 基本概率数。 定义 18 信任函数:命题 A 的信任函数 Bel: 2 U →[0,1] 为 Bel(A) = ∑B⊆A m(B), ∀A ⊆ U, 表示 对 A 的总信任。 即命题 A 的信任函数的值是 A 的所 ·750· 智 能 系 统 学 报 第 11 卷
第6期 苗夺谦,等:从人类智能到机器实现模型一粒计算理论与方法 ·751 有子集的基本概率的和。 UI C-Cis 定义19[】似然函数:命题A的似然函数P1: CE(A)=- 而 CTul 2→[0,1]为:PI(A)=1-Bl(~A)= 王俊红等[]给出了不完备信息系统中知识粒 ∑m(B),HACU,表示对于不否定A的信任 度的定义: 度,是所有与A相交的子集的基本概率之和。 GK(A)= 定义20证据的信任函数:对任何命题ACU mΣ1s,u,)川 的信任函数为 为了对不完备信息系统的知识粒度有更加直观 Bel(A)=∑m(B)=∑m({a}) 的理解,钱宇华和梁吉业[6]在不完备信息系统中提 出了组合粒度的概念: Bel(U)=∑m(B)=∑m({a)+m(U)=l 1 1Cis(O 定义21证据的似然函数:对任何命题ACU CG(A)=Cu 的似然函数为 为了更好地理解不确定性度量的本质,梁吉业 Pl(A)=1 -Bel(~A)=m(U)+Bel(A) 等[6]建立了信息熵、粗糙熵、组合嫡、知识粒度和组 根据以上定义,可以看出命题的信任函数和似然函 合粒度之间的如下关系: 数之间满足下列关系: E(A)+GK(A)=1 PI(A)≥Bel(A) H(A)+E,(A)=log2 I UI Pl(A)-Bel(A)=m(U) CE(A)+CG(A)=1 除了以A[Bl(A),PI(A)]作为A的不确定性度量 4.1.2单粒度下不确定性推理[63-川 外,还可用类概率函数来度量。 1)基于概率论的不确定性推理 定义22类概率函数:设U为有限域,对任何 贝叶斯决策论是不确定性推理的重要工具。在 命题ACU,A的类概率函数为 概率论下,对象信息的分布被认为服从一个概率分 )Bel(A)+(PI(A)-Bel( 布。最小化错误率和最小化决策代价是两种典型的 推理目标。为了便于表达,我们假定x、x代表论域 定义23-6)设K=(U,R)是一个知识库,R 中对象x及其所属的粒结构x,对于类别集合D,我 ∈R为论域U上的等价关系,称为知识。知识R∈ R的粒度,记为GD(R),定义为 们有如下关于x的模式分类结果h(x)的结论。 CO( ①当不确定性推理的目标是最小化错误率时: h(x)=argmaxP(d;x) 定义24[6-6]设K=(U,R)是一个知识库,知 ②当不确定性推理的目标是最小化决策代价时: 识R∈R的分辨度,记为Dis(R),定义为 h()argmin P(d) Dis(R)=1-GD(R) 梁吉业和史忠植[6]给出了不完备信息系统中 式中:P(d:|x)代表条件概率,入,代表将一个真实 的信息嫡的形式,其形式如下: 标记为d的对象识别为d,所产生的代价。条件概 I S(u;)I 率可以根据贝叶斯定理计算得到,即条件概率等于 H(A)=- 1可 先验乘以似然除以证据: 为了区别于Shannon信息熵,梁吉业和史忠 植信息熵的另一种形式,即 P(d)=P(d)P(d) P(x) 1 I S(u:)I 宫1- 决策粗糙集模型是代价敏感下以最小化代价为 E(A)= 目标的三支求解模型。根据属性条件独立性假设的 后来,钱宇华和梁吉业[6]将粗糙熵引入到不完 强弱,可构造朴素贝叶斯分类器、半朴素贝叶斯分类 备信息系统中,给出了不完备信息系统的粗糙嫡: 器。此外,考虑到对象对粒结构隶属的不确定性,概 1 率论可与其他策略(如集成学习)组合构成新的推 E,(A)=- 1 台T可lo8:1s(u)T 理机制。 钱字华和梁吉业[6]在不完备信息系统中给出 2)基于证据理论的不确定性推理 了组合熵的定义: 证据理论是一种广义的概率论,天然地具有不
有子集的基本概率的和。 定义 19 [ 66 ] 似然函数:命题 A 的似然函数 Pl: 2 U → [0,1] 为: Pl(A) = 1 - Bel( ~ A) = B∩∑A≠∅ m(B), ∀A ⊆ U, 表示对于不否定 A 的信任 度,是所有与 A 相交的子集的基本概率之和。 定义 20 证据的信任函数:对任何命题 A ⊆ U 的信任函数为 Bel(A) = ∑B⊆A m(B) = ∑a∈A m({a}) Bel(U) = ∑B⊆U m(B) = ∑a∈U m({a}) + m(U) = 1 定义 21 证据的似然函数:对任何命题 A ⊆ U 的似然函数为 Pl(A) = 1 - Bel( ~ A) = m(U) + Bel(A) 根据以上定义,可以看出命题的信任函数和似然函 数之间满足下列关系: Pl(A) ≥ Bel(A) Pl(A) - Bel(A) = m(U) 除了以 A[Bel(A),Pl(A)] 作为 A 的不确定性度量 外,还可用类概率函数来度量。 定义 22 类概率函数:设 U 为有限域,对任何 命题 A ⊆ U, A 的类概率函数为 f 1(A) = Bel(A) + A U (Pl(A) - Bel(A)) 定义 23 [65-66] 设 K = (U,R) 是一个知识库, R ∈ ℝ 为论域 U 上的等价关系,称为知识。 知识 R ∈ ℝ 的粒度,记为 GD(R), 定义为 GD(R) = R | U × U | = R | U | 2 定义 24 [65-66] 设 K = (U,R) 是一个知识库,知 识 R ∈ ℝ 的分辨度,记为 Dis(R), 定义为 Dis(R) = 1 - GD(R) 梁吉业和史忠植[62] 给出了不完备信息系统中 的信息熵的形式,其形式如下: H(A) = - ∑ U i = 1 1 U log2 | SA(ui) | U 为了区别于 Shannon 信息熵,梁吉业和史忠 植 [58]信息熵的另一种形式,即 E(A) = ∑ U i = 1 1 U (1 - | SA(ui) | U ) 后来,钱宇华和梁吉业[68]将粗糙熵引入到不完 备信息系统中,给出了不完备信息系统的粗糙熵: Er(A) = - ∑ U i = 1 1 U log2( 1 | SA(ui) | ) 钱宇华和梁吉业[67] 在不完备信息系统中给出 了组合熵的定义: CE(A) = 1 U ∑ U i = 1 ( C 2 U - C 2 | SA (ui )| C 2 U ) 王俊红等[69] 给出了不完备信息系统中知识粒 度的定义: GK(A) = 1 | U | 2∑ U i = 1 | SA(ui) | 为了对不完备信息系统的知识粒度有更加直观 的理解,钱宇华和梁吉业[68]在不完备信息系统中提 出了组合粒度的概念: CG(A) = 1 U ∑ U i = 1 C 2 | SA (ui )| C 2 U 为了更好地理解不确定性度量的本质,梁吉业 等[68]建立了信息熵、粗糙熵、组合熵、知识粒度和组 合粒度之间的如下关系: E(A) + GK(A) = 1 H(A) + Er(A) = log2 | U | CE(A) + CG(A) = 1 4.1.2 单粒度下不确定性推理[63-71] 1) 基于概率论的不确定性推理 贝叶斯决策论是不确定性推理的重要工具。 在 概率论下,对象信息的分布被认为服从一个概率分 布。 最小化错误率和最小化决策代价是两种典型的 推理目标。 为了便于表达,我们假定 x、x ~ 代表论域 中对象 x 及其所属的粒结构 x ~ , 对于类别集合 D ,我 们有如下关于 x ~ 的模式分类结果 h x ~ ( ) 的结论。 ①当不确定性推理的目标是最小化错误率时: h x ~ ( ) = argmax di∈D P di x ~ ( ) ②当不确定性推理的目标是最小化决策代价时: h x ~ ( ) = argmin di∈D ∑ j λijP dj x ~ ( ) 式中: P di x ~ ( ) 代表条件概率, λij 代表将一个真实 标记为 dj 的对象识别为 di 所产生的代价。 条件概 率可以根据贝叶斯定理计算得到,即条件概率等于 先验乘以似然除以证据: P di x ~ ( ) = P di ( ) P x ~ di ( ) P x ~ ( ) 决策粗糙集模型是代价敏感下以最小化代价为 目标的三支求解模型。 根据属性条件独立性假设的 强弱,可构造朴素贝叶斯分类器、半朴素贝叶斯分类 器。 此外,考虑到对象对粒结构隶属的不确定性,概 率论可与其他策略(如集成学习)组合构成新的推 理机制。 2) 基于证据理论的不确定性推理 证据理论是一种广义的概率论,天然地具有不 第 6 期 苗夺谦,等: 从人类智能到机器实现模型———粒计算理论与方法 ·751·
.752 智能系统学报 第11卷 同证据合成的推理方法,表述如下。 据粒计算模型选择的不同,多粒度推理的内涵也有 ①当条件部分为命题的逻辑组合时,整个条件 所不同。从粗糙集角度来看,多粒度推理的主要任 部分的计算: 务是在保持分类能力不变的前提下信息粒和粒空间 f(A.A A2)=minif(A)f(A2) 的约简,而其关键问题在于对约简目标的定义。从 fi(A V A2)=maxif(A)f(A2) 商空间角度来看,推理的主要任务在于如何利用不 ②结论部分的计算,即已知f(A),A一→B(c1, 同商空间之间的层次关系实现基于分层递阶模型的 c2,…,c),计算fi(B)。 信息粒合成。 首先计算基本分配函数m(B),然后计算结论 多粒度推理代表性工作如下:基于一组对原有信 部分命题B的信任函数Bl(B)、似然函数PI(B), 息表覆盖的子系统,梁吉业等在多粒度视角下对 最后计算类概率函数和正确性。 大规模数据进行有效分解,在此基础上提出了一种针 ③独立证据导出统一假设。 对大规模数据的高效的属性约简算法:李进金等[例 如果有n条规则支持同一命题时,根据Demp- 基于不同邻域半径的属性约简效果,提出了基于斯皮 ster组合规则,总的基本概率分配函数m为各规则 尔曼尺距离的约简排序算法:钱宇华等如通过定义 结论得到的基本概率分配函数的正交和。 多粒度空间中粒度重要性,提出了基于分布约简的悲 4.2多粒度下不确定性度量与推理 观多粒度粗糙集粒度约简方法;折延宏等8]提出了 4.2.1多粒度不确定性度量 基于局部最优属性粒度的属性约简方法:邓大勇 多粒度不确定性度量可以评价多粒度的分类质 量以及不同粒度的重要性,是多粒度精准决策的基 等2将信息表划分为多个相关联的子信息系统簇, 础。多粒度不确定性度量方式有多种,目前多以数 提出了基于并行约简的概念漂移探测方法。 字特征的形式表示,是传统单粒度研究意义下的拓 5 粒计算理论应用研究展望 展。常见的度量包括以下几类: 1)以近似分类精度为代表的概念近似刻画不 粒计算,作为人类对复杂问题求解的一种认知 确定性度量: 模式,已经在知识发现、数据挖掘、图像处理等方面 2)以属性重要度为代表的决策知识不确定性 取得了重要的进展,显现出重大的应用价值。下面 度量; 将从大数据分析、计算生物学、社交网络分析、多粒 3)以粒度为代表的多粒度层次不确定性度量。 度联合计算、认知计算以及粒计算形式化描述6个 上述不确定性度量在多粒度研究中因粒计算模 方面展望未来的研究方向。 型选取、定义角度、多粒度构造策略的差异而有所不 5.1大数据分析 同。例如徐伟华[]等研究了多粒度优势粗糙集下 大数据的挑战带来了人工智能技术、存储技术 的近似分类精度度量:梁吉业]等研究了多粒度近 以及下一代网络技术的发展机遇。大数据经常具有 似空间中不确定性度量的粒度单调性保持:王国 多层次或多粒度特性。粒计算已经成为目前发展迅 胤[74]等分析了多粒度概率粗糙集的粒度变化导致 速的海量信息处理模式[别]。在已有粒计算方法处 区域不确定性。 理大规模数据的研究中,如Ruan等[]使用模糊信 不确定性度量的计算策略可以从不同角度展 息粒化方法先对时间序列进行粒化,然后使用SVMs 开。信息嫡是一种有效度量不确定性的工具,刻画 对粒化了的时间序列进行回归分析和预测,提高了 了信息粒度的关于问题求解的信息量。自从苗夺 大规模时间序列分析的速度。 谦[们等将信息熵引入度量粗糙集不确定性以来,被 5.2计算生物学 广泛用于度量信息系统、知识粒度的不确定性,其变 计算生物学与生物信息学的研究内容往往交织 种条件熵、互补嫡、拓扑熵、组合熵等提供了不同的 在一起,都属于交叉学科。在对生物学中信息的采 度量视角。代表性工作有:张清华[31]提出了用信息 集、存储和分析处理基础上,计算生物学主要侧重于 嫡序列度量分层递阶商空间不确定性:米据生等[] 利用数学模型和计算仿真技术对生物学问题进行研 引入知识粒改进了已有融合熵中的非单调性问题; 究。已有研究工作中,如He等s]在由聚类算法所 李华雄等[)给出了多粒度直觉模糊粗糙集下的粗 智能分割的信息粒上建立各个SVM模型进行蛋白 糙熵和信息嫡。 质预测,有效地解决了海量数据的多分类问题。 4.2.2多粒度下不确定性推理 5.3社交网络分析 多粒度的推理是实现精准决策的重要方法,根 通过分析社交树络数据,建立模型,从而挖掘出
同证据合成的推理方法,表述如下。 ①当条件部分为命题的逻辑组合时,整个条件 部分的计算: f 1(A1 ∧ A2 ) = min{f 1(A1 ),f 1(A2 )} f 1(A1 ∨ A2 ) = max{f 1(A1 ),f 1(A2 )} ②结论部分的计算,即已知 f 1(A), A → B(c1 , c2 ,…,ck), 计算 f 1(B) 。 首先计算基本分配函数 m(B), 然后计算结论 部分命题 B 的信任函数 Bel(B) 、似然函数 Pl(B), 最后计算类概率函数和正确性。 ③独立证据导出统一假设。 如果有 n 条规则支持同一命题时,根据 Demp⁃ ster 组合规则,总的基本概率分配函数 m 为各规则 结论得到的基本概率分配函数的正交和。 4.2 多粒度下不确定性度量与推理 4.2.1 多粒度不确定性度量 多粒度不确定性度量可以评价多粒度的分类质 量以及不同粒度的重要性,是多粒度精准决策的基 础。 多粒度不确定性度量方式有多种,目前多以数 字特征的形式表示,是传统单粒度研究意义下的拓 展。 常见的度量包括以下几类: 1) 以近似分类精度为代表的概念近似刻画不 确定性度量; 2) 以属性重要度为代表的决策知识不确定性 度量; 3) 以粒度为代表的多粒度层次不确定性度量。 上述不确定性度量在多粒度研究中因粒计算模 型选取、定义角度、多粒度构造策略的差异而有所不 同。 例如徐伟华[72] 等研究了多粒度优势粗糙集下 的近似分类精度度量;梁吉业[73] 等研究了多粒度近 似空间中不确定性度量的粒度单调性保持;王国 胤[7 4 ]等分析了多粒度概率粗糙集的粒度变化导致 区域不确定性。 不确定性度量的计算策略可以从不同角度展 开。 信息熵是一种有效度量不确定性的工具,刻画 了信息粒度的关于问题求解的信息量。 自从苗夺 谦[75]等将信息熵引入度量粗糙集不确定性以来,被 广泛用于度量信息系统、知识粒度的不确定性,其变 种条件熵、互补熵、拓扑熵、组合熵等提供了不同的 度量视角。 代表性工作有:张清华[31] 提出了用信息 熵序列度量分层递阶商空间不确定性;米据生等[76] 引入知识粒改进了已有融合熵中的非单调性问题; 李华雄等[ [77]给出了多粒度直觉模糊粗糙集下的粗 糙熵和信息熵。 4.2.2 多粒度下不确定性推理 多粒度的推理是实现精准决策的重要方法,根 据粒计算模型选择的不同,多粒度推理的内涵也有 所不同。 从粗糙集角度来看,多粒度推理的主要任 务是在保持分类能力不变的前提下信息粒和粒空间 的约简,而其关键问题在于对约简目标的定义。 从 商空间角度来看,推理的主要任务在于如何利用不 同商空间之间的层次关系实现基于分层递阶模型的 信息粒合成。 多粒度推理代表性工作如下:基于一组对原有信 息表覆盖的子系统,梁吉业等 [78] 在多粒度视角下对 大规模数据进行有效分解,在此基础上提出了一种针 对大规模数据的高效的属性约简算法;李进金等[79] 基于不同邻域半径的属性约简效果,提出了基于斯皮 尔曼尺距离的约简排序算法;钱宇华等 [80] 通过定义 多粒度空间中粒度重要性,提出了基于分布约简的悲 观多粒度粗糙集粒度约简方法;折延宏等[81] 提出了 基于局部最优属性粒度的属性约简方法;邓大勇 等 [82]将信息表划分为多个相关联的子信息系统簇, 提出了基于并行约简的概念漂移探测方法。 5 粒计算理论应用研究展望 粒计算,作为人类对复杂问题求解的一种认知 模式,已经在知识发现、数据挖掘、图像处理等方面 取得了重要的进展,显现出重大的应用价值。 下面 将从大数据分析、计算生物学、社交网络分析、多粒 度联合计算、认知计算以及粒计算形式化描述 6 个 方面展望未来的研究方向。 5.1 大数据分析 大数据的挑战带来了人工智能技术、存储技术 以及下一代网络技术的发展机遇。 大数据经常具有 多层次或多粒度特性。 粒计算已经成为目前发展迅 速的海量信息处理模式[83] 。 在已有粒计算方法处 理大规模数据的研究中,如 Ruan 等[84] 使用模糊信 息粒化方法先对时间序列进行粒化,然后使用 SVMs 对粒化了的时间序列进行回归分析和预测,提高了 大规模时间序列分析的速度。 5.2 计算生物学 计算生物学与生物信息学的研究内容往往交织 在一起,都属于交叉学科。 在对生物学中信息的采 集、存储和分析处理基础上,计算生物学主要侧重于 利用数学模型和计算仿真技术对生物学问题进行研 究。 已有研究工作中,如 He 等[85] 在由聚类算法所 智能分割的信息粒上建立各个 SVM 模型进行蛋白 质预测,有效地解决了海量数据的多分类问题。 5.3 社交网络分析 通过分析社交网络数据,建立模型,从而挖掘出 ·752· 智 能 系 统 学 报 第 11 卷