第11卷第1期 智能系统学报 Vol.11 No.1 2016年2月 CAAI Transactions on Intelligent Systems Feb.2016 D0I:10.11992/is.201509011 网络出版地址：htp:/www.cmki.net/kcms/detail/23.1538.TP.20160105.1526.002.html 结合Copula理论与贝叶斯决策理论的分类算法 钱冬1，王蓓1，张涛2，王行愚 (1.华东理工大学信息科学与工程学院，上海200237：2.清华大学自动化系，北京100086)】 摘要：传统的贝叶斯决策分类算法易受类条件概率密度函数估计的影响，可能会对分类结果造成干扰。对此本文 提出来一种改进的贝叶斯决策分类算法，即Bayesian-Copula判别分类器(BCDC)。该方法无需对类条件概率密度函 数的形式进行假设，而是将Copula理论和核密度估计相结合进行函数构建，利用核密度估计平滑特征的概率分布， 概率积分变换将特征的累计概率分布转化为均匀分布，Copula函数构建2个类别的边缘累积分布之间的相关性。随 后，用极大似然估计方法确定Copula函数的参数，贝叶斯信息准则(BIC)用于选择最合适的Copula函数。通过生物 电信号的仿真实验进行模型验证，结果表明相比传统的概率模型，提出的分类算法在分类精度和AUC两个性能指标 上表现较好，鲁棒性更强，说明了BCDC模型充分利用Copula理论和核密度估计的优点，提高了估计的准确性和灵 活性。 关键词：机器学习：贝叶斯决策理论：Copula理论：核密度估计：生物电信号 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2016)01-0078-06 中文引用格式：钱冬，王蓓，张涛，等.结合Copula理论与贝叶斯决策理论的分类算法[J].智能系统学报，2016,11(1)：78-83. 英文引用格式：QIAN Dong,WANG Bei,ZHANG Tao,etal.Classification algorithm based on Copula theory and Bayesian deci-- sion theory[J].CAAI Transactions on Intelligent Systems,2016,11(1):78-83. Classification algorithm based on Copula theory and Bayesian decision theory QIAN Dong',WANG Bei',ZHANG Tao2,WANG Xingyu' (1.School of Information Science and Engineering,East China University of Science and Technology,Shanghai 200237,China;2. Department of Automation,Tsinghua University,Beijing 100086,China) Abstract:Traditional Bavesian decision classification algorithm is easily affected by the estimation of class-condi- tional probability densities,a fact that may result in incorrect classification results.Therefore,this paper proposes an improved classification algorithm based on Bayesian decision,i.e.,Bayesian-Copula Discriminant Classifier (BCDC).This method constructs class-conditional probability densities by combining Copula theory and kernel density estimation instead of making assumptions on the form of class-conditional probability densities.Kernel densi- ty estimation is used to smooth the probability distribution of each feature.By performing probability integral trans- form,continuous distribution is converted to random variables having a uniform distribution.Then,Copula func- tions are used to construct the dependency structure between these probability distributions for two categories.More- over,the maximum likelihood estimation is applied to determine the parameters of Copula functions,and two well- fitted Copula functions for two categories are selected based on Bayesian information criterion.The BCDC method was validated with experimental datasets of physiological signals.The obtained results showed that the proposed method outperforms other traditional methods in terms of classification accuracy and AUC as well as robustness.Mo- reover,it takes full advantage of Copula theory and kernel density estimation and improves the accuracy and flexi- bility of the estimation. Keywords:machine learning;Bayesian decision theory;Copula theory;kernel density estimation;physiological signals 机器学习在人工智能领域的研究中具有十分 分支，如模式识别、计算机视觉、数据挖掘、医学诊 重要的地位。目前，其应用已遍及人工智能的各个断、自然语言处理等领域-6)。概率模型则是模式 识别中被研究较多的一类模型，它给予了数据产生 收稿日期：2015-09-06.网络出版日期：2016-01-05. 基金项目：上海市科委科技创新行动计划-生物医药领域产学研医合作 的复杂现象和内在机理的描述方式。其中，贝叶斯 资助项目(12DZ1940903). 理论是基于概率表达的机器学习的主要工具，其认 通信作者：王蓓.E-mail:beiwang@ecust..cdu.cn
第 １１ 卷第 １ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．１ ２０１６ 年 ２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｆｅｂ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５０９０１１ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０１０５．１５２６．００２．ｈｔｍｌ 结合 Ｃｏｐｕｌａ 理论与贝叶斯决策理论的分类算法 钱冬１ ，王蓓１ ，张涛２ ，王行愚１ （１．华东理工大学 信息科学与工程学院，上海 ２００２３７； ２．清华大学 自动化系，北京 １０００８６） 摘 要：传统的贝叶斯决策分类算法易受类条件概率密度函数估计的影响，可能会对分类结果造成干扰。 对此本文 提出来一种改进的贝叶斯决策分类算法，即 Ｂａｙｅｓｉａｎ⁃Ｃｏｐｕｌａ 判别分类器（ＢＣＤＣ）。 该方法无需对类条件概率密度函 数的形式进行假设，而是将 Ｃｏｐｕｌａ 理论和核密度估计相结合进行函数构建，利用核密度估计平滑特征的概率分布， 概率积分变换将特征的累计概率分布转化为均匀分布，Ｃｏｐｕｌａ 函数构建 ２ 个类别的边缘累积分布之间的相关性。 随 后，用极大似然估计方法确定 Ｃｏｐｕｌａ 函数的参数，贝叶斯信息准则（ＢＩＣ）用于选择最合适的 Ｃｏｐｕｌａ 函数。 通过生物 电信号的仿真实验进行模型验证，结果表明相比传统的概率模型，提出的分类算法在分类精度和 ＡＵＣ 两个性能指标 上表现较好，鲁棒性更强，说明了 ＢＣＤＣ 模型充分利用 Ｃｏｐｕｌａ 理论和核密度估计的优点，提高了估计的准确性和灵 活性。 关键词：机器学习；贝叶斯决策理论；Ｃｏｐｕｌａ 理论；核密度估计；生物电信号 中图分类号：ＴＰ３９１．４ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０１⁃００７８⁃０６ 中文引用格式：钱冬，王蓓，张涛，等．结合 Ｃｏｐｕｌａ 理论与贝叶斯决策理论的分类算法［Ｊ］． 智能系统学报， ２０１６， １１（１）： ７８⁃８３． 英文引用格式：ＱＩＡＮ Ｄｏｎｇ， ＷＡＮＧ Ｂｅｉ， ＺＨＡＮＧ Ｔａｏ， ｅｔ ａｌ． Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ Ｃｏｐｕｌａ ｔｈｅｏｒｙ ａｎｄ Ｂａｙｅｓｉａｎ ｄｅｃｉ⁃ ｓｉｏｎ ｔｈｅｏｒｙ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１６， １１（１）： ７８⁃８３． Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ Ｃｏｐｕｌａ ｔｈｅｏｒｙ ａｎｄ Ｂａｙｅｓｉａｎ ｄｅｃｉｓｉｏｎ ｔｈｅｏｒｙ ＱＩＡＮ Ｄｏｎｇ １ ， ＷＡＮＧ Ｂｅｉ １ ， ＺＨＡＮＧ Ｔａｏ ２ ， ＷＡＮＧ Ｘｉｎｇｙｕ １ （１． Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｅａｓｔ Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｓｈａｎｇｈａｉ ２００２３７， Ｃｈｉｎａ； ２． Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ａｕｔｏｍａｔｉｏｎ， Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００８６， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｒａｄｉｔｉｏｎａｌ Ｂａｙｅｓｉａｎ ｄｅｃｉｓｉｏｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｉｓ ｅａｓｉｌｙ ａｆｆｅｃｔｅｄ ｂｙ ｔｈｅ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｃｌａｓｓ⁃ｃｏｎｄｉ⁃ ｔｉｏｎａｌ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｉｅｓ， ａ ｆａｃｔ ｔｈａｔ ｍａｙ ｒｅｓｕｌｔ ｉｎ ｉｎｃｏｒｒｅｃｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｒｅｓｕｌｔｓ． Ｔｈｅｒｅｆｏｒｅ， ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａｎ ｉｍｐｒｏｖｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ Ｂａｙｅｓｉａｎ ｄｅｃｉｓｉｏｎ， ｉ． ｅ．， Ｂａｙｅｓｉａｎ⁃Ｃｏｐｕｌａ Ｄｉｓｃｒｉｍｉｎａｎｔ Ｃｌａｓｓｉｆｉｅｒ （ＢＣＤＣ）． Ｔｈｉｓ ｍｅｔｈｏｄ ｃｏｎｓｔｒｕｃｔｓ ｃｌａｓｓ⁃ｃｏｎｄｉｔｉｏｎａｌ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｉｅｓ ｂｙ ｃｏｍｂｉｎｉｎｇ Ｃｏｐｕｌａ ｔｈｅｏｒｙ ａｎｄ ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｉｎｓｔｅａｄ ｏｆ ｍａｋｉｎｇ ａｓｓｕｍｐｔｉｏｎｓ ｏｎ ｔｈｅ ｆｏｒｍ ｏｆ ｃｌａｓｓ⁃ｃｏｎｄｉｔｉｏｎａｌ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｉｅｓ． Ｋｅｒｎｅｌ ｄｅｎｓｉ⁃ ｔｙ ｅｓｔｉｍａｔｉｏｎ ｉｓ ｕｓｅｄ ｔｏ ｓｍｏｏｔｈ ｔｈｅ ｐｒｏｂａｂｉｌｉｔｙ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ ｅａｃｈ ｆｅａｔｕｒｅ． Ｂｙ ｐｅｒｆｏｒｍｉｎｇ ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｇｒａｌ ｔｒａｎｓ⁃ ｆｏｒｍ， ｃｏｎｔｉｎｕｏｕｓ ｄｉｓｔｒｉｂｕｔｉｏｎ ｉｓ ｃｏｎｖｅｒｔｅｄ ｔｏ ｒａｎｄｏｍ ｖａｒｉａｂｌｅｓ ｈａｖｉｎｇ ａ ｕｎｉｆｏｒｍ ｄｉｓｔｒｉｂｕｔｉｏｎ． Ｔｈｅｎ， Ｃｏｐｕｌａ ｆｕｎｃ⁃ ｔｉｏｎｓ ａｒｅ ｕｓｅｄ ｔｏ ｃｏｎｓｔｒｕｃｔ ｔｈｅ ｄｅｐｅｎｄｅｎｃｙ ｓｔｒｕｃｔｕｒｅ ｂｅｔｗｅｅｎ ｔｈｅｓｅ ｐｒｏｂａｂｉｌｉｔｙ ｄｉｓｔｒｉｂｕｔｉｏｎｓ ｆｏｒ ｔｗｏ ｃａｔｅｇｏｒｉｅｓ． Ｍｏｒｅ⁃ ｏｖｅｒ， ｔｈｅ ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｅｓｔｉｍａｔｉｏｎ ｉｓ ａｐｐｌｉｅｄ ｔｏ ｄｅｔｅｒｍｉｎｅ ｔｈｅ ｐａｒａｍｅｔｅｒｓ ｏｆ Ｃｏｐｕｌａ ｆｕｎｃｔｉｏｎｓ， ａｎｄ ｔｗｏ ｗｅｌｌ⁃ ｆｉｔｔｅｄ Ｃｏｐｕｌａ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｔｗｏ ｃａｔｅｇｏｒｉｅｓ ａｒｅ ｓｅｌｅｃｔｅｄ ｂａｓｅｄ ｏｎ Ｂａｙｅｓｉａｎ ｉｎｆｏｒｍａｔｉｏｎ ｃｒｉｔｅｒｉｏｎ． Ｔｈｅ ＢＣＤＣ ｍｅｔｈｏｄ ｗａｓ ｖａｌｉｄａｔｅｄ ｗｉｔｈ ｅｘｐｅｒｉｍｅｎｔａｌ ｄａｔａｓｅｔｓ ｏｆ ｐｈｙｓｉｏｌｏｇｉｃａｌ ｓｉｇｎａｌｓ． Ｔｈｅ ｏｂｔａｉｎｅｄ ｒｅｓｕｌｔｓ ｓｈｏｗｅｄ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｏｕｔｐｅｒｆｏｒｍｓ ｏｔｈｅｒ ｔｒａｄｉｔｉｏｎａｌ ｍｅｔｈｏｄｓ ｉｎ ｔｅｒｍｓ ｏｆ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ａｎｄ ＡＵＣ ａｓ ｗｅｌｌ ａｓ ｒｏｂｕｓｔｎｅｓｓ． Ｍｏ⁃ ｒｅｏｖｅｒ， ｉｔ ｔａｋｅｓ ｆｕｌｌ ａｄｖａｎｔａｇｅ ｏｆ Ｃｏｐｕｌａ ｔｈｅｏｒｙ ａｎｄ ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｉｍｐｒｏｖｅｓ ｔｈｅ ａｃｃｕｒａｃｙ ａｎｄ ｆｌｅｘｉ⁃ ｂｉｌｉｔｙ ｏｆ ｔｈｅ ｅｓｔｉｍａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ； Ｂａｙｅｓｉａｎ ｄｅｃｉｓｉｏｎ ｔｈｅｏｒｙ； Ｃｏｐｕｌａ ｔｈｅｏｒｙ； ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ； ｐｈｙｓｉｏｌｏｇｉｃａｌ ｓｉｇｎａｌｓ 收稿日期：２０１５⁃０９⁃０６． 网络出版日期：２０１６⁃０１⁃０５． 基金项目：上海市科委科技创新行动计划－生物医药领域产学研医合作 资助项目（１２ＤＺ１９４０９０３）． 通信作者：王蓓． Ｅ⁃ｍａｉｌ：ｂｅｉｗａｎｇ＠ ｅｃｕｓｔ．ｅｄｕ．ｃｎ． 机器学习在人工智能领域的研究中具有十分 重要的地位。 目前，其应用已遍及人工智能的各个 分支，如模式识别、计算机视觉、数据挖掘、医学诊 断、自然语言处理等领域［１－６］ 。 概率模型则是模式 识别中被研究较多的一类模型，它给予了数据产生 的复杂现象和内在机理的描述方式。 其中，贝叶斯 理论是基于概率表达的机器学习的主要工具，其认
第1期 钱冬，等：结合Copula理论与贝叶斯决策理论的分类算法 ·79 为：先验信息反映了试验前对总体参数分布的认识， 型的验证。由于从生物电信号中提取的特征之间存 在观察到样本信息后，对此认识有了改变，其结果反 在依赖关系，在分类精度和AUC两个指标上，相比 映在后验信息中，后验信息综合了样本信息和参数 于传统的GDC、GNBC和LR模型，所提出的方法呈 的先验信息[。 现出更好的分类效果。因此，该模型可以被用于处 产生式模型(generative model)和判别式模型 理特征间存在一定的相关性的实际问题，为机器学 (discriminative model)是2个比较常见的有监督学 习问题提供了一种新的方法。 习的分类模型。产生式模型可以指定数据结构的先 验信息，但需要对观测数据建立正确的模型，而不是 1 Bayesian-Copula判别分类器 对类别分布进行建模，如贝叶斯决策理论：判别式模 1.1贝叶斯决策理论 型则是通过最大化类别的概率学习模型，如Logistic 贝叶斯决策理论表明对未知的数据x所属的类 Regression(LR)[s9。然而，在实际使用中，贝叶斯 别做出判决，可以通过计算x属于某一个类别的概 决策理论仍然存在着一定的局限性。 率值得到，因此通过贝叶斯公式，该概率值可表示为 贝叶斯决策理论是解决模式分类问题的一种基 本统计方法。该理论的出发点是利用概率的不同分 P(C.Ix)=P(I C)P(C) p(r)】 类决策与相应的决策代价之间的定量折中：目的则 是对未知的数据所属的类别做出判决[1o。由于缺 p(x)=∑p(xIC)P(C) k=1 乏对于数据结构的信息，贝叶斯决策理论中类条件 k=1,2,…,K (1) 概率密度函数通常是很难准确估计的。 式中：x表示特征向量，即x={x1,x2,…,x。},n为 目前，估计类条件概率密度函数的方法主要有 特征的个数，K为类别个数，P(C:)是类别C的先验 2种，但两者都是基于一定的假设条件。第一种是 概率，P(Clx)则是相应的后验概率，p(x1C)是类 假设类条件概率密度函数服从多元高斯分布，简称 条件概率密度函数。此外，P(x)仅仅是一个标量， 为高斯判别分类器(Gaussian discriminant classifier, 以保证各类别的后验概率总和为1。贝叶斯公式表 GDC)【。然而，多元高斯分布的边缘分布是一元 明，通过观察数据x,先验概率可以转换为后验 高斯分布，该一元高斯分布并非和实际特征的概率 概率。 分布相吻合。所以，该假设条件并不能准确地表现 根据最小化误差概率的准则，未知数据x将被 出多元变量的依赖结构。更重要的是，多元高斯分 归于后验概率P(CIx)最大的类别。考虑到p(x) 布中的协方差矩阵只能反映出各个特征之间的线性 只是一个标量因子，所以式(1)可以简化为 关系，难以精确地描述特征之间的非线性关系。第 P(CIx)p(xI Cg)P(Cg) (2) 2种则是基于朴素贝叶斯条件独立的特点，假设类 注意到，在式(2)中，后验概率P(C:Ix)主要由 条件概率密度函数服从若干个一元高斯分布，简称 先验概率P(C)和类条件概率密度函数p(xIC)的 为高斯朴素分类器(Gaussian naive Bayes classifier, 乘积所决定。先验概率P(C)可以经验性地获得， GNBC)【!。该假设条件虽然可以有效地减少参数 计算在训练数据中属于某一类别的数据个数，再除 估计的个数，但它过于简单，直接忽略了各个特征之 以训练数据的总个数即可得到。 间的依赖结构。因此，该方法也不能准确地估计出 在下面小节中，我们将通过Copula函数和核密 多个特征的联合分布。 度估计的方法来构建类条件概率密度函数。 由上述可知，现有的估计方法都存在着一定的 1.2 Copula理论 不足和局限性。本文考虑了特征之间存在的依赖关 近年来，在统计领域里，Copula理论引起了研究 系，提出了将贝叶斯决策理论和Copula理论相结合 者的关注。该理论可以理解为：多维随机变量的联 的分类器，简称为Bayesian-Copula判别分类器。该 合分布函数可以分解成若干个一维的分布函数和一 模型将Copula函数和核密度估计相结合构建类条 个Copula函数，而Copula函数则将若干个分布函数 件概率密度函数。Copula函数能够描述变量间的线 连接起来，它可以描述随机变量间的依赖关系。目 性或者非线性相关性，该理论表明多元联合分布函 前，该理论被广泛应用于经济、金融等领域[1]。 数可以通过Copula函数和任意的随机变量的边缘 Sklar定理是Copula理论的核心部分，也是Copula 分布函数构建135)。而核密度估计则是一种非参 理论在统计学中应用的基础，在建立联合分布函数 数估计方法，它不需要假设概率分布的形式，可以直 和它们相应边缘分布函数之间的关联中起着关键的 接计算得到概率密度值16。最后，将改进的BCDC 作用。 算法用于生物电信号分类识别的实际问题中进行模 定理 (Sklar定理(1959))：令H为n个随机
为：先验信息反映了试验前对总体参数分布的认识， 在观察到样本信息后，对此认识有了改变，其结果反 映在后验信息中，后验信息综合了样本信息和参数 的先验信息［７］ 。 产生式模型（ ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ） 和判别式模型 （ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｍｏｄｅｌ）是 ２ 个比较常见的有监督学 习的分类模型。 产生式模型可以指定数据结构的先 验信息，但需要对观测数据建立正确的模型，而不是 对类别分布进行建模，如贝叶斯决策理论；判别式模 型则是通过最大化类别的概率学习模型，如 Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ （ＬＲ） ［８⁃９］ 。 然而，在实际使用中，贝叶斯 决策理论仍然存在着一定的局限性。 贝叶斯决策理论是解决模式分类问题的一种基 本统计方法。 该理论的出发点是利用概率的不同分 类决策与相应的决策代价之间的定量折中；目的则 是对未知的数据所属的类别做出判决［１０］ 。 由于缺 乏对于数据结构的信息，贝叶斯决策理论中类条件 概率密度函数通常是很难准确估计的。 目前，估计类条件概率密度函数的方法主要有 ２ 种，但两者都是基于一定的假设条件。 第一种是 假设类条件概率密度函数服从多元高斯分布，简称 为高斯判别分类器（Ｇａｕｓｓｉａｎ ｄｉｓｃｒｉｍｉｎａｎｔ ｃｌａｓｓｉｆｉｅｒ， ＧＤＣ） ［１１］ 。 然而，多元高斯分布的边缘分布是一元 高斯分布，该一元高斯分布并非和实际特征的概率 分布相吻合。 所以，该假设条件并不能准确地表现 出多元变量的依赖结构。 更重要的是，多元高斯分 布中的协方差矩阵只能反映出各个特征之间的线性 关系，难以精确地描述特征之间的非线性关系。 第 ２ 种则是基于朴素贝叶斯条件独立的特点，假设类 条件概率密度函数服从若干个一元高斯分布，简称 为高斯朴素分类器（Ｇａｕｓｓｉａｎ ｎａｉｖｅ Ｂａｙｅｓ ｃｌａｓｓｉｆｉｅｒ， ＧＮＢＣ） ［１２］ 。 该假设条件虽然可以有效地减少参数 估计的个数，但它过于简单，直接忽略了各个特征之 间的依赖结构。 因此，该方法也不能准确地估计出 多个特征的联合分布。 由上述可知，现有的估计方法都存在着一定的 不足和局限性。 本文考虑了特征之间存在的依赖关 系，提出了将贝叶斯决策理论和 Ｃｏｐｕｌａ 理论相结合 的分类器，简称为 Ｂａｙｅｓｉａｎ⁃Ｃｏｐｕｌａ 判别分类器。 该 模型将 Ｃｏｐｕｌａ 函数和核密度估计相结合构建类条 件概率密度函数。 Ｃｏｐｕｌａ 函数能够描述变量间的线 性或者非线性相关性，该理论表明多元联合分布函 数可以通过 Ｃｏｐｕｌａ 函数和任意的随机变量的边缘 分布函数构建［１３⁃１５］ 。 而核密度估计则是一种非参 数估计方法，它不需要假设概率分布的形式，可以直 接计算得到概率密度值［１６］ 。 最后，将改进的 ＢＣＤＣ 算法用于生物电信号分类识别的实际问题中进行模 型的验证。 由于从生物电信号中提取的特征之间存 在依赖关系，在分类精度和 ＡＵＣ 两个指标上，相比 于传统的 ＧＤＣ、ＧＮＢＣ 和 ＬＲ 模型，所提出的方法呈 现出更好的分类效果。 因此，该模型可以被用于处 理特征间存在一定的相关性的实际问题，为机器学 习问题提供了一种新的方法。 １ Ｂａｙｅｓｉａｎ⁃Ｃｏｐｕｌａ 判别分类器 １．１ 贝叶斯决策理论 贝叶斯决策理论表明对未知的数据 ｘ 所属的类 别做出判决，可以通过计算 ｘ 属于某一个类别的概 率值得到，因此通过贝叶斯公式，该概率值可表示为 Ｐ（Ｃｋ ｜ ｘ） ＝ ｐ（ｘ ｜ Ｃｋ）Ｐ（Ｃｋ） ｐ（ｘ） ｐ（ｘ） ＝ ∑ Ｋ ｋ ＝ １ ｐ（ｘ ｜ Ｃｋ）Ｐ（Ｃｋ） ｋ ＝ １，２，…，Ｋ （１） 式中：ｘ 表示特征向量，即 ｘ ＝ ｛ ｘ１ ， ｘ２ ，…， ｘｎ ｝，ｎ 为 特征的个数，Ｋ 为类别个数，Ｐ（Ｃｋ）是类别 Ｃｋ的先验 概率，Ｐ（Ｃｋ ｜ ｘ）则是相应的后验概率，ｐ（ ｘ ｜ Ｃｋ）是类 条件概率密度函数。 此外，ｐ（ ｘ） 仅仅是一个标量， 以保证各类别的后验概率总和为 １。 贝叶斯公式表 明，通过观察数据 ｘ， 先验概率可以转换为后验 概率。 根据最小化误差概率的准则，未知数据 ｘ 将被 归于后验概率 Ｐ（Ｃｋ ｜ ｘ）最大的类别。 考虑到 ｐ（ ｘ） 只是一个标量因子，所以式（１）可以简化为 Ｐ（Ｃｋ ｜ ｘ） ∝ ｐ（ｘ ｜ Ｃｋ）Ｐ（Ｃｋ） （２） 注意到，在式（２）中，后验概率 Ｐ（Ｃｋ ｜ ｘ）主要由 先验概率 Ｐ（Ｃｋ）和类条件概率密度函数 ｐ（ｘ ｜ Ｃｋ）的 乘积所决定。 先验概率 Ｐ（Ｃｋ）可以经验性地获得， 计算在训练数据中属于某一类别的数据个数，再除 以训练数据的总个数即可得到。 在下面小节中，我们将通过 Ｃｏｐｕｌａ 函数和核密 度估计的方法来构建类条件概率密度函数。 １．２ Ｃｏｐｕｌａ 理论 近年来，在统计领域里，Ｃｏｐｕｌａ 理论引起了研究 者的关注。 该理论可以理解为：多维随机变量的联 合分布函数可以分解成若干个一维的分布函数和一 个 Ｃｏｐｕｌａ 函数，而 Ｃｏｐｕｌａ 函数则将若干个分布函数 连接起来，它可以描述随机变量间的依赖关系。 目 前，该理论被广泛应用于经济、金融等领域［１７⁃１８］ 。 Ｓｋｌａｒ 定理是 Ｃｏｐｕｌａ 理论的核心部分，也是 Ｃｏｐｕｌａ 理论在统计学中应用的基础，在建立联合分布函数 和它们相应边缘分布函数之间的关联中起着关键的 作用。 定理 （Ｓｋｌａｒ 定理 （１９５９））：令 Ｈ 为 ｎ 个随机 第 １ 期 钱冬，等：结合 Ｃｏｐｕｌａ 理论与贝叶斯决策理论的分类算法 ·７９·
·80 智能系统学报 第11卷 变量X1,X2,…,Xn的联合分布函数，令F(x1),F2 1.4 Copula函数参数估计 (x2),…,F(xn)为随机变量的边缘分布函数，如 采用极大似然估计的方法对Copula密度函数 果所有的边缘分布函数都是连续的，那么存在唯一 的参数0进行估计，可以得到0的估计值： 一个Copula函数C满足： 0°=argmax∑logc{Fa(xi),…,Fn(xn);0 H(x1,…,xn)=C(F(x1）,…,F(xn)) (3) 联合密度函数h被定义为 (9) 此外，为了校准参数6，我们充分使用了随机数 h(x1,…,xn）=c(F(x1),…,F(xn))· 的性质，从估计的Copula密度函数中生成10000个 (4) 随机数，然后用极大似然估计的方法对生成的随机 c(E,(x),…,F(x)= aC(F(x1),…,F(xn)) 数重新进行参数拟合，估计出最终的参数0。 aF(x1)…aFn(xn) 1.5模型选择 (5) 目前广泛使用的Copula密度函数主要分为两 式中：c(F(x1),…,Fn(xn)是一个n维的Copula 大类：elliptical Copulas和Archimedean Copulas。在 密度函数，f(x:)则是每个随机变量的密度函数。 本文中，主要使用的是elliptical Copulas中的多元 推论如果C是一个Copula函数，C的值域为 Gaussian Copula函数和多元Student--t Copula函数。 [0,1]",F(x1),F(x2),…,F(xn)为随机变量的 通常，Copula模型的选择会对后续步骤造成 边缘分布函数，那么C(F(x),…,F(x.))可以 定的影响。因此，贝叶斯信息准则(Bayesian infor- 定义一个联合分布函数。 mation criterion,BIC)用来对Copula模型进行选择， 通过Copula理论，式(2)可以被推导出 它是模型拟合程度和模型复杂度之间的权衡，BIC P(CsIx)ccF(x1),…,F(xn)I0;C4}· 值较小的Copula密度函数会被用于构建类条件概 率密度函数。 Πf(xIC)·P(C) (6) BIC =-2logL(0)mlog(k) (10) 式中：0是Copula密度函数的参数，右边第1项表示 式中：L(a·)是估计的似然值，m表示Copula密度 属于类别C,的Copula密度函数，右边第2项表示属 函数中参数的个数，k表示数据的个数。 于类别C的核密度函数。 2生物电信号的分类识别 Copula函数连接的是每个特征的累积分布函数 F(x:),而累积分布函数的值域是[0,1]，因此，当每 通过检测受试者在白天短时睡眠过程中的困倦 个特征都是连续的随机变量时，需对数据进行概率 状态(drowsiness)和觉醒状态(alertness)这一个实际 积分变换，计算出每个特征的经验累积分布，该方法 问题，验证所提出方法的有效性。通常对生物电信 可以使任意给定的分布转换为均匀分布。 号问题进行分析和识别，需要经过信号的数据采集、 1.3边缘分布估计 特征提取和模式分类3个步骤922】。考虑到从生 式(4)表明，一个联合概率密度函数可以分解 物电信号中提取的特征参数能反映人的生理状态， 为一个Copula密度函数和n个边缘密度函数。非 而且特征之间可能存在一定的相关性，所以BCDC 参数估计的方法，如直方图和核密度估计，可以直接 模型可以用于进行状态检测。 利用样本来估计变量的密度函数。考虑到直方图的 2.1数据采集 缺点，核密度估计被用来估计每个特征的概率密度 共有8名受试者参与了白天短时睡眠的实验， 函数。假设有N个样本x:,对于一个新来的样本x, 将受试者安排在一个安静舒适的环境内，记录其午 核密度估计的方法可以定义为 后30分钟的睡眠数据。原始睡眠数据的采集按照 f(x)= 1正K(x-)= 多导睡眠描记图(PSG,Ploysomnograph)的标准记 录方式，包括了4导脑电信号(C3-A2,C4-A1,01A2, Nh (7) 02-A1),并同步采集了2导眼电信号(L0C-A1, R0C-A2),1导肌电信号和1导心电信号。其中脑 式中：K(·)是核函数，h是平滑参数，本文中，采用 电、眼电和心电信号的采样频率为100Hz,肌电信 高斯核函数，因此，式(7)可以表示为 号的采样频率为200Hz,高频截至频率是30Hz,时 f(x)= 1 。 (8) 间常数是0.3s。本文主要分析4导脑电信号 e V2T Nh i=1 (EEG)和2导眼电信号(EOG)
变量 Ｘ１ ， Ｘ２ ， …， Ｘｎ 的联合分布函数，令Ｆ１（ｘ１ ）， Ｆ２ （ｘ２ ）， …， Ｆｎ（ ｘｎ ）为随机变量的边缘分布函数，如 果所有的边缘分布函数都是连续的，那么存在唯一 一个 Ｃｏｐｕｌａ 函数 Ｃ 满足： Ｈ（ｘ１ ，…，ｘｎ ） ＝ Ｃ（Ｆ１（ｘ１ ），…，Ｆｎ（ｘｎ ）） （３） 联合密度函数 ｈ 被定义为 ｈ（ｘ１ ，…，ｘｎ ） ＝ ｃ（Ｆ１（ｘ１ ），…，Ｆｎ（ｘｎ ））·∏ ｎ ｉ ＝ １ ｆ ｉ（ｘｉ） （４） ｃ（Ｆ１（ｘ１ ），…，Ｆｎ（ｘｎ ）） ＝ ∂Ｃ（Ｆ１（ｘ１ ），…，Ｆｎ（ｘｎ ）） ∂Ｆ１（ｘ１ ）…∂Ｆｎ（ｘｎ ） （５） 式中：ｃ（Ｆ１（ｘ１ ）， …， Ｆｎ（ｘｎ ））是一个 ｎ 维的 Ｃｏｐｕｌａ 密度函数，ｆ ｉ（ｘｉ）则是每个随机变量的密度函数。 推论 如果 Ｃ 是一个 Ｃｏｐｕｌａ 函数，Ｃ 的值域为 ［０，１］ ｎ ，Ｆ１（ｘ１ ）， Ｆ２（ｘ２ ）， …， Ｆｎ（ｘｎ ）为随机变量的 边缘分布函数，那么 Ｃ（Ｆ１（ ｘ１ ）， …， Ｆｎ （ ｘｎ ）） 可以 定义一个联合分布函数。 通过 Ｃｏｐｕｌａ 理论，式（２）可以被推导出 Ｐ（Ｃｋ ｜ ｘ） ∝ ｃ｛Ｆ１（ｘ１ ），…，Ｆｎ（ｘｎ ） ｜ θ；Ｃｋ｝· ∏ ｎ ｉ ＝ １ ｆ ｉ（ｘｉ ｜ Ｃｋ）·Ｐ（Ｃｋ） （６） 式中：θ 是 Ｃｏｐｕｌａ 密度函数的参数，右边第 １ 项表示 属于类别 Ｃｋ的 Ｃｏｐｕｌａ 密度函数，右边第 ２ 项表示属 于类别 Ｃｋ的核密度函数。 Ｃｏｐｕｌａ 函数连接的是每个特征的累积分布函数 Ｆｉ（ｘｉ），而累积分布函数的值域是［０，１］，因此，当每 个特征都是连续的随机变量时，需对数据进行概率 积分变换，计算出每个特征的经验累积分布，该方法 可以使任意给定的分布转换为均匀分布。 １．３ 边缘分布估计 式（４）表明，一个联合概率密度函数可以分解 为一个 Ｃｏｐｕｌａ 密度函数和 ｎ 个边缘密度函数。 非 参数估计的方法，如直方图和核密度估计，可以直接 利用样本来估计变量的密度函数。 考虑到直方图的 缺点，核密度估计被用来估计每个特征的概率密度 函数。 假设有 Ｎ 个样本 ｘｉ，对于一个新来的样本 ｘ， 核密度估计的方法可以定义为 ｆ ＾ ｈ （ｘ） ＝ １ Ｎ∑ Ｎ ｉ ＝ １ Ｋｈ（ｘ － ｘｉ） ＝ １ Ｎｈ∑ Ｎ ｉ ＝ １ Ｋ（ ｘ － ｘｉ ｈ ） （７） 式中：Ｋ（·）是核函数，ｈ 是平滑参数，本文中，采用 高斯核函数，因此，式（７）可以表示为 ｆ ＾ ｈ （ｘ） ＝ １ ２πＮｈ ∑ Ｎ ｉ ＝ １ ｅ － （ｘ－ｘ ｉ ） ２ ２ｈ ２ （８） １．４ Ｃｏｐｕｌａ 函数参数估计 采用极大似然估计的方法对 Ｃｏｐｕｌａ 密度函数 的参数 θ 进行估计，可以得到 θ 的估计值： θ ∗ ＝ ａｒｇｍａｘ θ ∑ Ｎ ｉ ＝ １ ｌｏｇｃ｛Ｆｉ１（ｘｉ１ ），…，Ｆｉｎ（ｘｉｎ ）；θ｝ （９） 此外，为了校准参数 θ，我们充分使用了随机数 的性质，从估计的 Ｃｏｐｕｌａ 密度函数中生成 １０ ０００ 个 随机数，然后用极大似然估计的方法对生成的随机 数重新进行参数拟合，估计出最终的参数 θ。 １．５ 模型选择 目前广泛使用的 Ｃｏｐｕｌａ 密度函数主要分为两 大类：ｅｌｌｉｐｔｉｃａｌ Ｃｏｐｕｌａｓ 和 Ａｒｃｈｉｍｅｄｅａｎ Ｃｏｐｕｌａｓ。 在 本文中，主要使用的是 ｅｌｌｉｐｔｉｃａｌ Ｃｏｐｕｌａｓ 中的多元 Ｇａｕｓｓｉａｎ Ｃｏｐｕｌａ 函数和多元 Ｓｔｕｄｅｎｔ－ｔ Ｃｏｐｕｌａ 函数。 通常，Ｃｏｐｕｌａ 模型的选择会对后续步骤造成一 定的影响。 因此，贝叶斯信息准则（Ｂａｙｅｓｉａｎ ｉｎｆｏｒ⁃ ｍａｔｉｏｎ ｃｒｉｔｅｒｉｏｎ， ＢＩＣ）用来对 Ｃｏｐｕｌａ 模型进行选择， 它是模型拟合程度和模型复杂度之间的权衡，ＢＩＣ 值较小的 Ｃｏｐｕｌａ 密度函数会被用于构建类条件概 率密度函数。 ＢＩＣ ＝ － ２ｌｏｇＬ（θ ∗ ） ＋ ｍｌｏｇ（ｋ） （１０） 式中：Ｌ（ θ ∗ ） 是估计的似然值，ｍ 表示 Ｃｏｐｕｌａ 密度 函数中参数的个数，ｋ 表示数据的个数。 ２ 生物电信号的分类识别 通过检测受试者在白天短时睡眠过程中的困倦 状态（ｄｒｏｗｓｉｎｅｓｓ）和觉醒状态（ａｌｅｒｔｎｅｓｓ）这一个实际 问题，验证所提出方法的有效性。 通常对生物电信 号问题进行分析和识别，需要经过信号的数据采集、 特征提取和模式分类 ３ 个步骤［１９⁃２２］ 。 考虑到从生 物电信号中提取的特征参数能反映人的生理状态， 而且特征之间可能存在一定的相关性，所以 ＢＣＤＣ 模型可以用于进行状态检测。 ２．１ 数据采集 共有 ８ 名受试者参与了白天短时睡眠的实验， 将受试者安排在一个安静舒适的环境内，记录其午 后 ３０ 分钟的睡眠数据。 原始睡眠数据的采集按照 多导睡眠描记图（ ＰＳＧ， Ｐｌｏｙｓｏｍｎｏｇｒａｐｈ） 的标准记 录方式，包括了 ４ 导脑电信号（Ｃ３ ⁃Ａ２ ， Ｃ４ ⁃Ａ１ ， Ｏ１ ⁃Ａ２ ， Ｏ２ ⁃Ａ１ ）， 并 同 步 采 集 了 ２ 导 眼 电 信 号 （ ＬＯＣ⁃Ａ１ ， ＲＯＣ⁃Ａ２ ），１ 导肌电信号和 １ 导心电信号。 其中脑 电、眼电和心电信号的采样频率为 １００ Ｈｚ，肌电信 号的采样频率为 ２００ Ｈｚ，高频截至频率是３０ Ｈｚ，时 间常 数 是 ０．３ ｓ。 本 文 主 要 分 析 ４ 导 脑 电 信 号 （ＥＥＧ）和 ２ 导眼电信号（ＥＯＧ）。 ·８０· 智 能 系 统 学 报 第 １１ 卷
第1期 钱冬，等：结合Copula理论与贝叶斯决策理论的分类算法 ·81 2.2特征提取 这主要是由于不同的受试者对2个状态存在一定的 考虑到在20s的时间内，受试者的状态可能有 差异性。 所变化，因而特征参数可能也会有较大的波动，所以 随后，对Copula密度函数的参数0进行极大似 将受试者原始每段20s的脑电和眼电信号进一步 然估计，并用随机数的性质重新校准参数0。最后， 划分为5s一段和2.5s的重叠窗，提高特征参数的 采用BIC选取最合适的Copula密度函数，并与核密 准确性，并对5s的数据进行512个点的快速傅立 度估计相结合，构建类条件概率密度函数，BIC选取 叶变换(F℉T),计算每个5s内脑电信号和眼电信号 的模型如表2所示。 的特征，对所有5s的特征参数取平均值，将其作为 表2基于BIC选取的2个类别的Copula密度函数 20s数据的特征参数，以减少干扰。选取的特征分 Table 2 Copula density functions for two categories based 别对应于C3/C4导联的9波(4~8Hz)和0，/02导 on BIC 联的aα波(8~13Hz)的脑电能量占空比和左、右眼 Copula密度函数 觉醒状态(A) 困倦状态(D) 电信号的频域能量和(2~10Hz),即特征向量x= {Da,D.,Soc,Soc}。特征参数计算公式如表1。 Gaussian Copula -451.63 -477.25 表1脑电信号和眼电信号中提取的特征参数 Table 1 Features extracted from EEG and EOG signals Student-t Copula -459.46 -471.83 信号意义 特征参数 BIC值较小的Copula函数会被选择，所以针对 D。= alertness类别选取的是Student-t Copula函数，而 S。(C) S.(C.) 能量占 max ×10%,S,(C) ×100%} drowsiness类别选取的是Gaussian Copula函数。 S(C) EEG空比/% 2.3.2模式分类和模型比较 D。= 将改进的BCDC算法与GDC、GNBC和LR对测 S.(01) S.(02) mas,(0,) 100%s,0, ×100%} 试数据进行分析和比较。ROC曲线被用来表现分 类器的性能，它通过将连续变量设定出多个不同的 频域 阈值来揭示真阳率(true positive rate,TPR)和假阳 EOG 能量和 SLoc(LOC),SRoc(ROC) 率(false positive rate,FPR)的相互关系。其横轴表 uv 示真阳率，纵轴表示假阳率，曲线下面积越大，分类 表1中0(4~8Hz),(8~13Hz),T(0.5- 器分类的能力越强。图1呈现出4个分类器在测试 25Hz);L0C,R0C(2~10Hz)。 数据上的R0C曲线，其中连接点(0,0)和(1,1)的 2.3模式分类 直线表示随机猜测。相比其他3个方法，BCDC算 2.3.1参数优化和模型选择 法的曲线处于左上角，所以该方法表现出较好的分 首先，对数据集做归一化处理，随机选取70% 类能力。 的数据作为训练数据，30%的数据作为测试数据进 1.0 行分析。然后，针对每一个类别，通过概率积分变换 0.9 计算训练数据中4个特征的经验累积分布，并用 0.8 kendall秩相关系数表示两两特征之间的相关性。 0.7 相关性如下所示： 0.6 1 -0.4137-02753-028957 0.5 -04137 02288 0.2470 0.4 C"= -02753 0.2288 1 0.8018 0.3 -0.289502470 0.8018 1 0.2 GDC ----GNBC 1 -0.5399 -0.1745 -0.18757 0.1 ---BCDC +LR -0.5399 0.2541 0.1983 C 00.10.20.30.40.50.60.70.80.91.0 -0.1745 02541 1 0.7286 假阳率 -0.1875 0.1983 0.7286 1 图1GDC、GNBC、BCDC、LR的ROC曲线 (11) Fig.1 ROC curves obtained by GDC,GNBC,BCDC, 从以上2个矩阵可知，每一个类别的特征之间 LR,respectively 存在正、负相关性，有些特征间的相关性比较微弱
２．２ 特征提取 考虑到在 ２０ ｓ 的时间内，受试者的状态可能有 所变化，因而特征参数可能也会有较大的波动，所以 将受试者原始每段 ２０ ｓ 的脑电和眼电信号进一步 划分为 ５ ｓ 一段和 ２．５ ｓ 的重叠窗，提高特征参数的 准确性，并对 ５ ｓ 的数据进行 ５１２ 个点的快速傅立 叶变换（ＦＦＴ），计算每个 ５ ｓ 内脑电信号和眼电信号 的特征，对所有 ５ ｓ 的特征参数取平均值，将其作为 ２０ ｓ 数据的特征参数，以减少干扰。 选取的特征分 别对应于 Ｃ３ ／ Ｃ４ 导联的 θ 波（４ ～ ８ Ｈｚ）和 Ｏ１ ／ Ｏ２ 导 联的 α 波（８～１３ Ｈｚ）的脑电能量占空比和左、右眼 电信号的频域能量和（２ ～ １０ Ｈｚ），即特征向量ｘ ＝ ｛Ｄθ， Ｄα ， ＳＬＯＣ ， ＳＲＯＣ ｝。 特征参数计算公式如表 １。 表 １ 脑电信号和眼电信号中提取的特征参数 Ｔａｂｌｅ １ Ｆｅａｔｕｒｅｓ ｅｘｔｒａｃｔｅｄ ｆｒｏｍ ＥＥＧ ａｎｄ ＥＯＧ ｓｉｇｎａｌｓ 信号 意义 特征参数 ＥＥＧ 能量占 空比／ ％ Ｄθ ＝ ｍａｘ｛ Ｓθ（Ｃ３ ） ＳＴ（Ｃ３ ） × １００％， Ｓθ（Ｃ４ ） ＳＴ（Ｃ４ ） × １００％｝ Ｄα ＝ ｍａｘ｛ Ｓα（Ｏ１ ） ＳＴ（Ｏ１ ） × １００％， Ｓα（Ｏ２ ） ＳＴ（Ｏ２ ） × １００％｝ ＥＯＧ 频域 能量和 ／ μＶ ２ ＳＬＯＣ（ＬＯＣ）， ＳＲＯＣ（ＲＯＣ） 表 １ 中 θ （ ４ ～ ８Ｈｚ），α （ ８ ～ １３ Ｈｚ）， Ｔ （ ０． ５ ～ ２５ Ｈｚ）；ＬＯＣ， ＲＯＣ（２～１０ Ｈｚ）。 ２．３ 模式分类 ２．３．１ 参数优化和模型选择 首先，对数据集做归一化处理，随机选取 ７０％ 的数据作为训练数据，３０％的数据作为测试数据进 行分析。 然后，针对每一个类别，通过概率积分变换 计算训练数据中 ４ 个特征的经验累积分布，并用 ｋｅｎｄａｌｌ 秩相关系数表示两两特征之间的相关性。 相关性如下所示： Ｃ ｔａｕ １ ＝ １ － ０．４１３ ７ － ０．２７５ ３ － ０．２８９ ５ － ０．４１３ ７ １ ０．２２８ ８ ０．２４７ ０ － ０．２７５ ３ ０．２２８ ８ １ ０．８０１ ８ － ０．２８９ ５ ０．２４７ ０ ０．８０１ ８ １ é ë ê ê ê ê ê ù û ú ú ú ú ú Ｃ ｔａｕ ２ ＝ １ － ０．５３９ ９ － ０．１７４ ５ － ０．１８７ ５ － ０．５３９ ９ １ ０．２５４ １ ０．１９８ ３ － ０．１７４ ５ ０．２５４ １ １ ０．７２８ ６ － ０．１８７ ５ ０．１９８ ３ ０．７２８ ６ １ é ë ê ê ê ê ê ù û ú ú ú ú ú （１１） 从以上 ２ 个矩阵可知，每一个类别的特征之间 存在正、负相关性，有些特征间的相关性比较微弱， 这主要是由于不同的受试者对 ２ 个状态存在一定的 差异性。 随后，对 Ｃｏｐｕｌａ 密度函数的参数 θ 进行极大似 然估计，并用随机数的性质重新校准参数 θ。 最后， 采用 ＢＩＣ 选取最合适的 Ｃｏｐｕｌａ 密度函数，并与核密 度估计相结合，构建类条件概率密度函数，ＢＩＣ 选取 的模型如表 ２ 所示。 表 ２ 基于 ＢＩＣ 选取的 ２ 个类别的 Ｃｏｐｕｌａ 密度函数 Ｔａｂｌｅ ２ Ｃｏｐｕｌａ ｄｅｎｓｉｔｙ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｔｗｏ ｃａｔｅｇｏｒｉｅｓ ｂａｓｅｄ ｏｎ ＢＩＣ Ｃｏｐｕｌａ 密度函数 觉醒状态（Ａ） 困倦状态（Ｄ） Ｇａｕｓｓｉａｎ Ｃｏｐｕｌａ －４５１．６３ －４７７．２５ Ｓｔｕｄｅｎｔ⁃ｔ Ｃｏｐｕｌａ －４５９．４６ －４７１．８３ ＢＩＣ 值较小的 Ｃｏｐｕｌａ 函数会被选择，所以针对 ａｌｅｒｔｎｅｓｓ 类别选取的是 Ｓｔｕｄｅｎｔ⁃ｔ Ｃｏｐｕｌａ 函数， 而 ｄｒｏｗｓｉｎｅｓｓ 类别选取的是 Ｇａｕｓｓｉａｎ Ｃｏｐｕｌａ 函数。 ２．３．２ 模式分类和模型比较 将改进的 ＢＣＤＣ 算法与 ＧＤＣ、ＧＮＢＣ 和 ＬＲ 对测 试数据进行分析和比较。 ＲＯＣ 曲线被用来表现分 类器的性能，它通过将连续变量设定出多个不同的 阈值来揭示真阳率（ｔｒｕｅ ｐｏｓｉｔｉｖｅ ｒａｔｅ， ＴＰＲ）和假阳 率（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ ｒａｔｅ， ＦＰＲ）的相互关系。 其横轴表 示真阳率，纵轴表示假阳率，曲线下面积越大，分类 器分类的能力越强。 图 １ 呈现出 ４ 个分类器在测试 数据上的 ＲＯＣ 曲线，其中连接点（０，０）和（１，１）的 直线表示随机猜测。 相比其他 ３ 个方法，ＢＣＤＣ 算 法的曲线处于左上角，所以该方法表现出较好的分 类能力。 图 １ ＧＤＣ、ＧＮＢＣ、ＢＣＤＣ、ＬＲ 的 ＲＯＣ 曲线 Ｆｉｇ．１ ＲＯＣ ｃｕｒｖｅｓ ｏｂｔａｉｎｅｄ ｂｙ ＧＤＣ， ＧＮＢＣ， ＢＣＤＣ， ＬＲ， ｒｅｓｐｅｃｔｉｖｅｌｙ 第 １ 期 钱冬，等：结合 Ｃｏｐｕｌａ 理论与贝叶斯决策理论的分类算法 ·８１·
·82 智能系统学报 第11卷 为了进一步定量地检验4个分类器识别的准确 分析数据可得：当训练数据较少时(10%)，4个 性，通过分类精度和AUC两个性能指标对分类器进 方法表现出几乎相同的平均精度，BCDC并没有产 行评价。考虑到训练数据和测试数据是随机选取 生显著的识别精度。当训练数据增加(30%)，提出 的，数据中存在的个体差异性可能会影响分类器的 的方法的分类表现很快超越了其他3个分类器。当 性能评估，所以将随机实验循环50次，得到分类器 数据量大于30%，BCDC表现出更高的分类表现。 的平均分类精度和平均AUC,如表3所示。 表3GDC、GNBC、BCDC、LR的平均精度、平均AUC值 总而言之，当30%、50%、70%和90%作为训练数据 和相应的标准差 时，相比较GDC、GNBC、LR,改进的BCDC的分类能 Table 3 Average Accuracy,Average AUC and corre- 力更强。由图2表明，增加训练数据个数能够提供 sponding standard deviation obtained by GDC, 更多的某种特定类别的信息，从而更加准确地判断 GNBC,BCDC and LR,respectively 类别。 分类器 平均精度（标准差） 平均AUC(标准差) 作为一种监督式学习方法，BCDC算法通过参 GDC 0.8559(0.0257) 0.9408(0.0129) 数优化和模型选择提高了类条件概率密度函数估计 GNBC 0.8588(0.0258) 0.9253(0.0169) 的准确性。虽然训练时间大约是10s,但是在不同 LR 0.8382(0.0239) 0.9120(0.0173) 数据量的条件下，BCDC算法呈现出更好的平均分 BCDC 0.9026(0.0179) 0.9634(0.0103) 从表3可知，本文提出的BCDC算法在两个分 类精度和平均AUC。 类指标上呈现出更好的分类表现。就平均精度而 3结束语 言，BCDC识别的精度高于其他3个分类器大约5% 左右，同时标准差也小于其他3个分类器。而对于 本文提出了基于贝叶斯决策理论和Copula理 AUC,尽管GDC相对接近于BCDC,但BCDC的 论的分类算法。该算法在实际运用过程中，参数 AUC值大于其他3个方法，且标准差也较小，呈现 Copula模型和核密度估计相结合提升类条件概率密 出更强的稳定性。 度函数估计的准确性。相比较其他传统的贝叶斯决 为了了解不同分类器在不同数量的数据集上的 策模型，Bayesian-Copula判别分类器能够在实际的 分类能力，从数据中分别随机选取10%、30%、50%、 生物电信号分类识别问题中得到较好的分类效果。 70%和90%的数据作为训练数据，用剩余的测试数 Copula模型的优势主要是不需要对边缘分布的 据评估4个分类方法，结果如图2所示。 形式进行假设，在模型中，我们仅仅计算每个特征的 1.0 1.0 经验累积分布，用不同的Copula函数建立特征间的 依赖结构。该模型简单、易懂，在对未知数据建立模 0.9 09888 型时，具有更多的灵活性。对于许多实际问题，概率 米 888 冠 模型中独立同分布的假设通常是不成立的。所以， 通过Copula理论能够提高对联合分布估计的准 腰0.8 确性。 0.7 日一GDC 0.7 参考文献： 7一GNBC 米一BCDC [1]TIPPING M E.Sparse Bayesian learning and the relevance LR 0. 0.6L vector machine[J].Journal of machine learning research, 0103050709011001030507090110 2001,1(3):211-244. 训练数据 训练数据 [2XUE Jinghao,HALL P.Why does rebalancing class-unbal- (a)平均精度 (b)平均AUC anced data improve AUC for linear discriminant analysis? 图2GDC、GNBC、BCDC、LR在不同训练数据个数下 [J].IEEE transactions on pattern analysis and machine in- 的平均精度和平均AUC telligence,2015,37(5):1109-1112. Fig.2 Average accuracy and average AUC obtained by [3]FERNANDEZ-DELGADO M,CERNADAS E,BARRO S, GDC,GNBC,BCDC,and LR based on the dif- et al.Do we need hundreds of classifiers to solve real world ferent subsets of the training data classification problems?[]].Journal of machine learning research,2014,15(1):3133-3181
为了进一步定量地检验 ４ 个分类器识别的准确 性，通过分类精度和 ＡＵＣ 两个性能指标对分类器进 行评价。 考虑到训练数据和测试数据是随机选取 的，数据中存在的个体差异性可能会影响分类器的 性能评估，所以将随机实验循环 ５０ 次，得到分类器 的平均分类精度和平均 ＡＵＣ，如表 ３ 所示。 表 ３ ＧＤＣ、ＧＮＢＣ、ＢＣＤＣ、ＬＲ 的平均精度、平均 ＡＵＣ 值 和相应的标准差 Ｔａｂｌｅ ３ Ａｖｅｒａｇｅ Ａｃｃｕｒａｃｙ， Ａｖｅｒａｇｅ ＡＵＣ ａｎｄ ｃｏｒｒｅ⁃ ｓｐｏｎｄｉｎｇ ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ ｏｂｔａｉｎｅｄ ｂｙ ＧＤＣ， ＧＮＢＣ， ＢＣＤＣ ａｎｄ ＬＲ， ｒｅｓｐｅｃｔｉｖｅｌｙ 分类器 平均精度（标准差） 平均 ＡＵＣ（标准差） ＧＤＣ ０．８５５ ９（０．０２５ ７） ０．９４０ ８（０．０１２ ９） ＧＮＢＣ ０．８５８ ８（０．０２５ ８） ０．９２５ ３（０．０１６ ９） ＬＲ ０．８３８ ２（０．０２３ ９） ０．９１２ ０（０．０１７ ３） ＢＣＤＣ ０．９０２ ６（０．０１７ ９） ０．９６３ ４（０．０１０ ３） 从表 ３ 可知，本文提出的 ＢＣＤＣ 算法在两个分 类指标上呈现出更好的分类表现。 就平均精度而 言，ＢＣＤＣ 识别的精度高于其他 ３ 个分类器大约 ５％ 左右，同时标准差也小于其他 ３ 个分类器。 而对于 ＡＵＣ，尽管 ＧＤＣ 相对接近于 ＢＣＤＣ， 但 ＢＣＤＣ 的 ＡＵＣ 值大于其他 ３ 个方法，且标准差也较小，呈现 出更强的稳定性。 为了了解不同分类器在不同数量的数据集上的 分类能力，从数据中分别随机选取 １０％、３０％、５０％、 ７０％和 ９０％的数据作为训练数据，用剩余的测试数 据评估 ４ 个分类方法，结果如图 ２ 所示。 （ａ）平均精度 （ｂ）平均 ＡＵＣ 图 ２ ＧＤＣ、ＧＮＢＣ、ＢＣＤＣ、ＬＲ 在不同训练数据个数下 的平均精度和平均 ＡＵＣ Ｆｉｇ．２ Ａｖｅｒａｇｅ ａｃｃｕｒａｃｙ ａｎｄ ａｖｅｒａｇｅ ＡＵＣ ｏｂｔａｉｎｅｄ ｂｙ ＧＤＣ， ＧＮＢＣ， ＢＣＤＣ， ａｎｄ ＬＲ ｂａｓｅｄ ｏｎ ｔｈｅ ｄｉｆ⁃ ｆｅｒｅｎｔ ｓｕｂｓｅｔｓ ｏｆ ｔｈｅ ｔｒａｉｎｉｎｇ ｄａｔａ 分析数据可得：当训练数据较少时（１０％），４ 个 方法表现出几乎相同的平均精度，ＢＣＤＣ 并没有产 生显著的识别精度。 当训练数据增加（３０％），提出 的方法的分类表现很快超越了其他 ３ 个分类器。 当 数据量大于 ３０％，ＢＣＤＣ 表现出更高的分类表现。 总而言之，当 ３０％、５０％、７０％和 ９０％作为训练数据 时，相比较 ＧＤＣ、ＧＮＢＣ、ＬＲ，改进的 ＢＣＤＣ 的分类能 力更强。 由图 ２ 表明，增加训练数据个数能够提供 更多的某种特定类别的信息，从而更加准确地判断 类别。 作为一种监督式学习方法，ＢＣＤＣ 算法通过参 数优化和模型选择提高了类条件概率密度函数估计 的准确性。 虽然训练时间大约是 １０ ｓ，但是在不同 数据量的条件下，ＢＣＤＣ 算法呈现出更好的平均分 类精度和平均 ＡＵＣ。 ３ 结束语 本文提出了基于贝叶斯决策理论和 Ｃｏｐｕｌａ 理 论的分类算法。 该算法在实际运用过程中，参数 Ｃｏｐｕｌａ 模型和核密度估计相结合提升类条件概率密 度函数估计的准确性。 相比较其他传统的贝叶斯决 策模型，Ｂａｙｅｓｉａｎ⁃Ｃｏｐｕｌａ 判别分类器能够在实际的 生物电信号分类识别问题中得到较好的分类效果。 Ｃｏｐｕｌａ 模型的优势主要是不需要对边缘分布的 形式进行假设，在模型中，我们仅仅计算每个特征的 经验累积分布，用不同的 Ｃｏｐｕｌａ 函数建立特征间的 依赖结构。 该模型简单、易懂，在对未知数据建立模 型时，具有更多的灵活性。 对于许多实际问题，概率 模型中独立同分布的假设通常是不成立的。 所以， 通过 Ｃｏｐｕｌａ 理论能够提高对联合分布估计的准 确性。 参考文献： ［１］ＴＩＰＰＩＮＧ Ｍ Ｅ． Ｓｐａｒｓｅ Ｂａｙｅｓｉａｎ ｌｅａｒｎｉｎｇ ａｎｄ ｔｈｅ ｒｅｌｅｖａｎｃｅ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈ， ２００１， １（３）： ２１１⁃２４４． ［２］ＸＵＥ Ｊｉｎｇｈａｏ， ＨＡＬＬ Ｐ． Ｗｈｙ ｄｏｅｓ ｒｅｂａｌａｎｃｉｎｇ ｃｌａｓｓ⁃ｕｎｂａｌ⁃ ａｎｃｅｄ ｄａｔａ ｉｍｐｒｏｖｅ ＡＵＣ ｆｏｒ ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ？ ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎ⁃ ｔｅｌｌｉｇｅｎｃｅ， ２０１５， ３７（５）： １１０９⁃１１１２． ［３］ ＦＥＲＮÁＮＤＥＺ⁃ＤＥＬＧＡＤＯ Ｍ， ＣＥＲＮＡＤＡＳ Ｅ， ＢＡＲＲＯ Ｓ， ｅｔ ａｌ． Ｄｏ ｗｅ ｎｅｅｄ ｈｕｎｄｒｅｄｓ ｏｆ ｃｌａｓｓｉｆｉｅｒｓ ｔｏ ｓｏｌｖｅ ｒｅａｌ ｗｏｒｌｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐｒｏｂｌｅｍｓ？ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈ， ２０１４， １５（１）： ３１３３⁃３１８１． ·８２· 智 能 系 统 学 报 第 １１ 卷
第1期 钱冬，等：结合Copula理论与贝叶斯决策理论的分类算法 ·83 [4]RODRIGUEZ A,LAlo A.Clustering by fast search and find [18]PATTON A J.A review of Copula models for economic of density peaks[].Science,2014,344(6191):1492- time series[J].Journal of multivariate analysis,2012, 1496. 110:4-18. [5]李宏伟，刘扬，卢汉清，等.结合半监督核的高斯过程 [19]AUBASI A.Classification of EMG signals using PSO opti- 分类[J].自动化学报，2009,35(7)：888-895 mized SVM for diagnosis of neuromuscular disorders[J]. LI Hongwei,LIU Yang,LU Hanqing,et al.Gaussian Computers in biology and medicine,2013,43(5):576- processes classification combined with semi-supervised ker- 586. nels[J].Acta automatica sinica,2009,35(7):888-895. [20]TAGLUK M E,SEZGIN N,AKIN M.Estimation of sleep [6]BLEI D M,NG A Y,JORDAN M I.Latent dirichlet alloca- stages by an artificial neural network employing EEG, tion[J.Journal of machine learning research,2001,3(4- EMG and EOG[J].Journal of medical systems,2010,34 5):993-1022. (4):717-725. [7]BISHOP C M.Pattern Recognition and Machine Learning [21]CICHOCKI A,MANDIC D.DE LATHAUWER L,et al. [M].New York:Springer,2006:21-31. Tensor decompositions for signal processing applications: [8]NG A Y,JORDAN M I.On discriminative vs.generative from two-way to multiway component analysis[J].IEEE classifiers:a comparison of logistic regression and naive signal processing,2015,32(2):145-163. Bayes[C]//Advances in Neural Information Processing Sys- [22]KHUSHABA R N,KODAGODA S,LAL S,et al.Driver tems.Vancouver,British Columbia,Canada,2002,14: drowsiness classification using fuzzy wavelet-packet-based 841-848. feature-extraction algorithm[J.IEEE transactions on bio- [9]李航.统计学习方法[M].北京：清华大学出版社， medical engineering,2011,58(1):121-131. 2012:77-91 作者简介： [10]JAIN A K,DUIN R P W,MAO Jianchang.Statistical pat- 钱冬，男，1990年生，硕士研究生 tern recognition:a review[].IEEE transactions on pat- 主要研究方向为机器学习、生物电 tern analysis and machine intelligence,2000,22(1):4- 信号。 37. [11]DUDA R O,HART P E,STORK D G.Pattern Classifica- tion[M].2nd ed.New York:Wiley,2001:20-45. [12]MURPHY K P.Machine Learning:A Probabilistic Per- spective[M].England:MIT,2012:82-87. 王蓓，女，1976年生，副研究员，主 [13]NELSEN R B.An Introduction to Copulas M].2nd ed. 要研究方向为智能信息处理和模式分 Springer:Berlin,2006. 类、复杂系统及其在人工生命科学中的 [14]GENEST C,FAVRE A C.Everything you always wanted to 应用。曾参与国家自然科学基金、上海 know about Copula modeling but were afraid to ask[J]. 市科委科技创新行动计划等项目。发 Journal of hydrologie engineering.2007,12(4):347-368. 表学术论文50余篇，被SCI、EI检索30 [15]EBAN E,ROTHSCHILD G,MIZRAHI A,et al.Dynamic 余篇。 Copula networks for modeling real-valued time series [C]//Proceedings of the 16th International Conference on 张涛.男，1969年生，教授，博士生 Artificial Intelligence and Statistics.Scottsdale,AZ,USA, 导师，主要研究方向为控制理论及应 2013.4:247-255. 用、信号处理、机器人控制等。主持或 [16]KRISTAN M,LEONARDIS A,SKOC AJ D.Multivariate 参与国家973项目、国家863项目、国 online kernel density estimation with Gaussian kernels[]]. 家自然科学基金项目多项。曾获得教 Pattern recognition,.2011,44(10-11):2630-2642. 育部自然科学奖、军队科技进步奖、中 [17]CHERUBINI U,LUCIANO E,VECCHIATO W.Copula 国电子信息科学技术奖等。发表论文200余篇，其中被$CI Methods in Finance[M].England:John Wiley Sons, 检索40余篇，EI检索120余篇。 2004
［４］ＲＯＤＲＩＧＵＥＺ Ａ， ＬＡＩｏ Ａ． Ｃｌｕｓｔｅｒｉｎｇ ｂｙ ｆａｓｔ ｓｅａｒｃｈ ａｎｄ ｆｉｎｄ ｏｆ ｄｅｎｓｉｔｙ ｐｅａｋｓ ［ Ｊ］． Ｓｃｉｅｎｃｅ， ２０１４， ３４４ （ ６１９１）： １４９２⁃ １４９６． ［５］李宏伟， 刘扬， 卢汉清， 等． 结合半监督核的高斯过程 分类［Ｊ］． 自动化学报， ２００９， ３５（７）： ８８８⁃８９５． ＬＩ Ｈｏｎｇｗｅｉ， ＬＩＵ Ｙａｎｇ， ＬＵ Ｈａｎｑｉｎｇ， ｅｔ ａｌ． Ｇａｕｓｓｉａｎ ｐｒｏｃｅｓｓｅｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｃｏｍｂｉｎｅｄ ｗｉｔｈ ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｋｅｒ⁃ ｎｅｌｓ［Ｊ］． Ａｃｔａ ａｕｔｏｍａｔｉｃａ ｓｉｎｉｃａ， ２００９， ３５（７）： ８８８⁃８９５． ［６］ＢＬＥＩ Ｄ Ｍ， ＮＧ Ａ Ｙ， ＪＯＲＤＡＮ Ｍ Ｉ． Ｌａｔｅｎｔ ｄｉｒｉｃｈｌｅｔ ａｌｌｏｃａ⁃ ｔｉｏｎ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈ， ２００１， ３（４⁃ ５）： ９９３⁃１０２２． ［７］ ＢＩＳＨＯＰ Ｃ Ｍ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ［Ｍ］． Ｎｅｗ Ｙｏｒｋ： Ｓｐｒｉｎｇｅｒ， ２００６： ２１⁃３１． ［８］ＮＧ Ａ Ｙ， ＪＯＲＤＡＮ Ｍ Ｉ． Ｏｎ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｖｓ． ｇｅｎｅｒａｔｉｖｅ ｃｌａｓｓｉｆｉｅｒｓ： ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ ａｎｄ ｎａïｖｅ Ｂａｙｅｓ［Ｃ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓ⁃ ｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ， Ｂｒｉｔｉｓｈ Ｃｏｌｕｍｂｉａ， Ｃａｎａｄａ， ２００２， １４： ８４１⁃８４８． ［９］李航． 统计学习方法 ［ Ｍ］． 北京： 清华大学出版社， ２０１２： ７７⁃９１． ［１０］ＪＡＩＮ Ａ Ｋ， ＤＵＩＮ Ｒ Ｐ Ｗ， ＭＡＯ Ｊｉａｎｃｈａｎｇ． Ｓｔａｔｉｓｔｉｃａｌ ｐａｔ⁃ ｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ： ａ ｒｅｖｉｅｗ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔ⁃ ｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０００， ２２（１）： ４⁃ ３７． ［１１］ＤＵＤＡ Ｒ Ｏ， ＨＡＲＴ Ｐ Ｅ， ＳＴＯＲＫ Ｄ Ｇ． Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａ⁃ ｔｉｏｎ［Ｍ］． ２ｎｄ ｅｄ． Ｎｅｗ Ｙｏｒｋ： Ｗｉｌｅｙ， ２００１： ２０⁃４５． ［１２］ ＭＵＲＰＨＹ Ｋ Ｐ． Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ： Ａ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｐｅｒ⁃ ｓｐｅｃｔｉｖｅ［Ｍ］． Ｅｎｇｌａｎｄ： ＭＩＴ， ２０１２： ８２⁃８７． ［１３］ＮＥＬＳＥＮ Ｒ Ｂ． Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｃｏｐｕｌａｓ［ Ｍ］． ２ｎｄ ｅｄ． Ｓｐｒｉｎｇｅｒ： Ｂｅｒｌｉｎ， ２００６． ［１４］ＧＥＮＥＳＴ Ｃ， ＦＡＶＲＥ Ａ Ｃ． Ｅｖｅｒｙｔｈｉｎｇ ｙｏｕ ａｌｗａｙｓ ｗａｎｔｅｄ ｔｏ ｋｎｏｗ ａｂｏｕｔ Ｃｏｐｕｌａ ｍｏｄｅｌｉｎｇ ｂｕｔ ｗｅｒｅ ａｆｒａｉｄ ｔｏ ａｓｋ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｈｙｄｒｏｌｏｇｉｃ ｅｎｇｉｎｅｅｒｉｎｇ， ２００７， １２（４）： ３４７⁃３６８． ［１５］ＥＢＡＮ Ｅ， ＲＯＴＨＳＣＨＩＬＤ Ｇ， ＭＩＺＲＡＨＩ Ａ， ｅｔ ａｌ． Ｄｙｎａｍｉｃ Ｃｏｐｕｌａ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｏｄｅｌｉｎｇ ｒｅａｌ⁃ｖａｌｕｅｄ ｔｉｍｅ ｓｅｒｉｅｓ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ． Ｓｃｏｔｔｓｄａｌｅ， ＡＺ， ＵＳＡ， ２０１３， ４： ２４７⁃２５５． ［１６］ＫＲＩＳＴＡＮ Ｍ， ＬＥＯＮＡＲＤＩＳ Ａ， ＳＫＯＣ ＡＪ Ｄ． Ｍｕｌｔｉｖａｒｉａｔｅ ｏｎｌｉｎｅ ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｇａｕｓｓｉａｎ ｋｅｒｎｅｌｓ［Ｊ］． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ２０１１， ４４（１０⁃１１）： ２６３０⁃２６４２． ［１７］ ＣＨＥＲＵＢＩＮＩ Ｕ， ＬＵＣＩＡＮＯ Ｅ， ＶＥＣＣＨＩＡＴＯ Ｗ． Ｃｏｐｕｌａ Ｍｅｔｈｏｄｓ ｉｎ Ｆｉｎａｎｃｅ［Ｍ］． Ｅｎｇｌａｎｄ： Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， ２００４． ［１８］ ＰＡＴＴＯＮ Ａ Ｊ． Ａ ｒｅｖｉｅｗ ｏｆ Ｃｏｐｕｌａ ｍｏｄｅｌｓ ｆｏｒ ｅｃｏｎｏｍｉｃ ｔｉｍｅ ｓｅｒｉｅｓ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｍｕｌｔｉｖａｒｉａｔｅ ａｎａｌｙｓｉｓ， ２０１２， １１０： ４⁃１８． ［１９］ＡＵＢＡＳＩ Ａ． Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ＥＭＧ ｓｉｇｎａｌｓ ｕｓｉｎｇ ＰＳＯ ｏｐｔｉ⁃ ｍｉｚｅｄ ＳＶＭ ｆｏｒ ｄｉａｇｎｏｓｉｓ ｏｆ ｎｅｕｒｏｍｕｓｃｕｌａｒ ｄｉｓｏｒｄｅｒｓ ［ Ｊ］． Ｃｏｍｐｕｔｅｒｓ ｉｎ ｂｉｏｌｏｇｙ ａｎｄ ｍｅｄｉｃｉｎｅ， ２０１３， ４３（ ５）： ５７６⁃ ５８６． ［２０］ＴＡＧＬＵＫ Ｍ Ｅ， ＳＥＺＧＩＮ Ｎ， ＡＫＩＮ Ｍ． Ｅｓｔｉｍａｔｉｏｎ ｏｆ ｓｌｅｅｐ ｓｔａｇｅｓ ｂｙ ａｎ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｅｍｐｌｏｙｉｎｇ ＥＥＧ， ＥＭＧ ａｎｄ ＥＯＧ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｍｅｄｉｃａｌ ｓｙｓｔｅｍｓ， ２０１０， ３４ （４）： ７１７⁃７２５． ［２１］ＣＩＣＨＯＣＫＩ Ａ， ＭＡＮＤＩＣ Ｄ， ＤＥ ＬＡＴＨＡＵＷＥＲ Ｌ， ｅｔ ａｌ． Ｔｅｎｓｏｒ ｄｅｃｏｍｐｏｓｉｔｉｏｎｓ ｆｏｒ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ａｐｐｌｉｃａｔｉｏｎｓ： ｆｒｏｍ ｔｗｏ⁃ｗａｙ ｔｏ ｍｕｌｔｉｗａｙ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ ［ Ｊ］． ＩＥＥＥ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ， ２０１５， ３２（２）： １４５⁃１６３． ［２２］ＫＨＵＳＨＡＢＡ Ｒ Ｎ， ＫＯＤＡＧＯＤＡ Ｓ， ＬＡＬ Ｓ， ｅｔ ａｌ． Ｄｒｉｖｅｒ ｄｒｏｗｓｉｎｅｓｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ｆｕｚｚｙ ｗａｖｅｌｅｔ⁃ｐａｃｋｅｔ⁃ｂａｓｅｄ ｆｅａｔｕｒｅ⁃ｅｘｔｒａｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｂｉｏ⁃ ｍｅｄｉｃａｌ ｅｎｇｉｎｅｅｒｉｎｇ， ２０１１， ５８（１）： １２１⁃１３１． 作者简介： 钱冬，男，１９９０ 年生，硕士研究生， 主要 研 究 方 向 为 机 器 学 习、 生 物 电 信号。 王蓓，女，１９７６ 年生，副研究员，主 要研究方向为智能信息处理和模式分 类、复杂系统及其在人工生命科学中的 应用。 曾参与国家自然科学基金、上海 市科委科技创新行动计划等项目。 发 表学术论文 ５０ 余篇，被 ＳＣＩ、ＥＩ 检索 ３０ 余篇。 张涛，男，１９６９ 年生，教授，博士生 导师，主要研究方向为控制理论及应 用、信号处理、机器人控制等。 主持或 参与国家 ９７３ 项目、国家 ８６３ 项目、国 家自然科学基金项目多项。 曾获得教 育部自然科学奖、军队科技进步奖、中 国电子信息科学技术奖等。 发表论文 ２００ 余篇，其中被 ＳＣＩ 检索 ４０ 余篇，ＥＩ 检索 １２０ 余篇。 第 １ 期 钱冬，等：结合 Ｃｏｐｕｌａ 理论与贝叶斯决策理论的分类算法 ·８３·