第10卷第2期 智能系统学报 Vol.10 No.2 2015年4月 CAAI Transactions on Intelligent Systems Apr.2015 D0:10.3969/j.issn.1673-4785.201312041 网络出版地址：http://www.enki..net/kcms/detail/23.1538.TP.20150317.1025.002.html 一种新颖的领域自适应概率密度估计器 许敏12，俞林2 (1.江南大学数字媒体学院，江苏无锡214122；2.无锡职业技术学院物联网技术学院，江苏无锡214121) 摘要：传统概率密度估计法建立好密度估计模型后，无法将源域知识传递给相关目标域密度估计模型。提出用无 偏置-SVR的回归函数来表示传统概率密度估计法获得密度估计信息，并说明无偏置SVR等价于中心约束最小 包含球及概率密度回归函数可由中心约束最小包含球中心点表示。在上述理论基础上提出中心点知识传递领域自 适应概率密度估计法，用于解决因目标域信息不足而无法建立概率密度函数的场景。实验表明，此种领域自适应方 法进行领域间知识传递的同时，还能达到源域隐私保护的目的。 关键词：概率密度函数；无偏置-SVR;中心约束最小包含球：核心集：领域自适应 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2015)02-0221-06 中文引用格式：许敏，俞林.一种新颖的领域自适应概率密度估计器[J].智能系统学报，2015,10(2)：221-226. 英文引用格式：XU Min,YULin.A probability density estimator for domain adaptation[J].CAAI Transactions on Intelligent Sys- tems,2015,10(2):221-226. A probability density estimator for domain adaptation XU Min'2,YU Lin2 (1.School of Digital Media,Jiangnan University,Wuxi 214122,China;2.School of Internet of Things Technology,Wuxi Institute of Technology,Wuxi 214121,China) Abstract:This paper proposes that the density information received from the traditional probability density estima- tion method can be represented by no bias v-SVRregression function.It addresses the problem that after the source domain's probability density estimation model is established using the traditional probability density estimation method its source domain knowledge can not be transferred to the relevant target domain's density estimation model. In this paper,no bias v-SVR is equivalent to the center-constrained minimum enclosing ball (CC-MEB)and the probability density regression function is constrained by CC-MEB's center point is described.On the basis of the a- bove theory,an adaptive probability density evaluation method for transferring knowledge through the center point was put forward to solve the problem that an accurate probability density estimation model can not be established because of the lack of information of the target domain.The experiments showed that this adaptive method can reach the goals of knowledge transfer between domains and privacy protection in the source domain. Keywords:probability density estimation;no bias v-SVR center-constrained minimum enclosing ball(CC-MEB); core set;domain adaptation 概率密度估计常见的做法是根据所得数据建立 概率密度函数(probability density function,PDF),在 机器学习和模式识别中具有非常重要的作用)，如 收稿日期：2013-12-20.网络出版日期：2015-03-17 基金项目：江苏省高校自然科学研究资助项目(13KJB520001):江苏省聚类分析[2)]等。通常概率密度估计法分参数估计 高校哲学社会科学基金资助项目(2012SB880077):江苏省 研究生创新工程资助项目(CXZZ12-0759). 和非参数估计2类。因真实数据概率密度分布不可 通信作者：许敏.E-mail:xum@wit.cdu.cm. 知，故非参数核密度估计法(kernel density estima-
第 １０ 卷第 ２ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．２ ２０１５ 年 ４ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｐｒ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３１２０４１ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１５０３１７．１０２５．００２．ｈｔｍｌ 一种新颖的领域自适应概率密度估计器 许敏１ ，２ ，俞林２ （１．江南大学 数字媒体学院，江苏 无锡 ２１４１２２； ２． 无锡职业技术学院 物联网技术学院，江苏 无锡 ２１４１２１） 摘 要：传统概率密度估计法建立好密度估计模型后，无法将源域知识传递给相关目标域密度估计模型。 提出用无 偏置 ｖ⁃ＳＶＲ 的回归函数来表示传统概率密度估计法获得密度估计信息，并说明无偏置 ｖ⁃ＳＶＲ 等价于中心约束最小 包含球及概率密度回归函数可由中心约束最小包含球中心点表示。 在上述理论基础上提出中心点知识传递领域自 适应概率密度估计法，用于解决因目标域信息不足而无法建立概率密度函数的场景。 实验表明，此种领域自适应方 法进行领域间知识传递的同时，还能达到源域隐私保护的目的。 关键词：概率密度函数；无偏置 ｖ⁃ＳＶＲ ；中心约束最小包含球；核心集；领域自适应 中图分类号： ＴＰ３９１．４ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０２⁃０２２１⁃０６ 中文引用格式：许敏，俞林． 一种新颖的领域自适应概率密度估计器［Ｊ］． 智能系统学报， ２０１５， １０（２）： ２２１⁃２２６． 英文引用格式：ＸＵ Ｍｉｎ， ＹＵ Ｌｉｎ． Ａ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｏｒ ｆｏｒ ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓ⁃ ｔｅｍｓ， ２０１５， １０（２）： ２２１⁃２２６． Ａ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｏｒ ｆｏｒ ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ ＸＵ Ｍｉｎ １ ，２ ， ＹＵ Ｌｉｎ ２ （１． Ｓｃｈｏｏｌ ｏｆ Ｄｉｇｉｔａｌ Ｍｅｄｉａ， Ｊｉａｎｇｎａｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｗｕｘｉ ２１４１２２， Ｃｈｉｎａ； ２． Ｓｃｈｏｏｌ ｏｆ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ Ｔｅｃｈｎｏｌｏｇｙ， Ｗｕｘｉ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｗｕｘｉ ２１４１２１， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ｔｈａｔ ｔｈｅ ｄｅｎｓｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｃｅｉｖｅｄ ｆｒｏｍ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａ⁃ ｔｉｏｎ ｍｅｔｈｏｄ ｃａｎ ｂｅ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ｎｏ ｂｉａｓ ｖ⁃ＳＶＲｒｅｇｒｅｓｓｉｏｎ ｆｕｎｃｔｉｏｎ． Ｉｔ ａｄｄｒｅｓｓｅｓ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ａｆｔｅｒ ｔｈｅ ｓｏｕｒｃｅ ｄｏｍａｉｎ＇ｓ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｍｏｄｅｌ ｉｓ ｅｓｔａｂｌｉｓｈｅｄ ｕｓｉｎｇ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｍｅｔｈｏｄ ｉｔｓ ｓｏｕｒｃｅ ｄｏｍａｉｎ ｋｎｏｗｌｅｄｇｅ ｃａｎ ｎｏｔ ｂｅ ｔｒａｎｓｆｅｒｒｅｄ ｔｏ ｔｈｅ ｒｅｌｅｖａｎｔ ｔａｒｇｅｔ ｄｏｍａｉｎ＇ｓ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｍｏｄｅｌ． Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｎｏ ｂｉａｓ ｖ⁃ＳＶＲ ｉｓ ｅｑｕｉｖａｌｅｎｔ ｔｏ ｔｈｅ ｃｅｎｔｅｒ⁃ｃｏｎｓｔｒａｉｎｅｄ ｍｉｎｉｍｕｍ ｅｎｃｌｏｓｉｎｇ ｂａｌｌ （ＣＣ⁃ＭＥＢ） ａｎｄ ｔｈｅ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｒｅｇｒｅｓｓｉｏｎ ｆｕｎｃｔｉｏｎ ｉｓ ｃｏｎｓｔｒａｉｎｅｄ ｂｙ ＣＣ⁃ＭＥＢ＇ｓ ｃｅｎｔｅｒ ｐｏｉｎｔ ｉｓ ｄｅｓｃｒｉｂｅｄ． Ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｔｈｅ ａ⁃ ｂｏｖｅ ｔｈｅｏｒｙ， ａｎ ａｄａｐｔｉｖｅ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｖａｌｕａｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ｔｒａｎｓｆｅｒｒｉｎｇ ｋｎｏｗｌｅｄｇｅ ｔｈｒｏｕｇｈ ｔｈｅ ｃｅｎｔｅｒ ｐｏｉｎｔ ｗａｓ ｐｕｔ ｆｏｒｗａｒｄ ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ａｎ ａｃｃｕｒａｔｅ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｍｏｄｅｌ ｃａｎ ｎｏｔ ｂｅ ｅｓｔａｂｌｉｓｈｅｄ ｂｅｃａｕｓｅ ｏｆ ｔｈｅ ｌａｃｋ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｔａｒｇｅｔ ｄｏｍａｉｎ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗｅｄ ｔｈａｔ ｔｈｉｓ ａｄａｐｔｉｖｅ ｍｅｔｈｏｄ ｃａｎ ｒｅａｃｈ ｔｈｅ ｇｏａｌｓ ｏｆ ｋｎｏｗｌｅｄｇｅ ｔｒａｎｓｆｅｒ ｂｅｔｗｅｅｎ ｄｏｍａｉｎｓ ａｎｄ ｐｒｉｖａｃｙ ｐｒｏｔｅｃｔｉｏｎ ｉｎ ｔｈｅ ｓｏｕｒｃｅ ｄｏｍａｉｎ． Ｋｅｙｗｏｒｄｓ：ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ； ｎｏ ｂｉａｓ ｖ⁃ＳＶＲ ； ｃｅｎｔｅｒ⁃ｃｏｎｓｔｒａｉｎｅｄ ｍｉｎｉｍｕｍ ｅｎｃｌｏｓｉｎｇ ｂａｌｌ（ＣＣ⁃ＭＥＢ）； ｃｏｒｅ ｓｅｔ； ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ 收稿日期：２０１３⁃１２⁃２０． 网络出版日期：２０１５⁃０３⁃１７． 基金项目：江苏省高校自然科学研究资助项目（ １３ＫＪＢ５２０００１）；江苏省 高校哲学社会科学基金资助项目（２０１２ＳＪＢ８８００７７）；江苏省 研究生创新工程资助项目（ＣＸＺＺ１２⁃０７５９）． 通信作者：许敏． Ｅ⁃ｍａｉｌ：ｘｕｍ＠ ｗｘｉｔ．ｅｄｕ．ｃｎ． 概率密度估计常见的做法是根据所得数据建立 概率密度函数（ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｆｕｎｃｔｉｏｎ， ＰＤＦ），在 机器学习和模式识别中具有非常重要的作用［１］ ，如 聚类分析［２］ 等。 通常概率密度估计法分参数估计 和非参数估计 ２ 类。 因真实数据概率密度分布不可 知，故非参数核密度估计法（ ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａ⁃
.222. 智能系统学报 第10卷 ion,KDE))是采用较广泛的方法。因KDE需要 故引入映射函数p(x)将x:映射到高维空间p(x:) 所有样本参与计算且需存储所有数据，故压缩集概 中。无偏置-SVR原始优化问题如下： 率密度估计器)和快速压缩集概率密度估计器) 被提出以解决存储空间和运行效率问题。上述传统 的概率密度估计法效果显著但均未考虑领域间自适 st.wp(x:)-y:≤E+ 应学习的问题。在实际应用中存在这样的场景，已 y:-wp(x:)≤E+专： 有源域数据集数据量大、密度估计精确：但相关目标 专)≥0 (1) 域数据集由于隐私保护或数据遗失等原因只获得少 式中：(*)表示向量有*号和无*号2种情况。为 量数据，这些数据是目标域真实信息但却不足以建 导出原始问题(1)的对偶问题，引入拉格朗日函数： 立目标域PDF。如何既保证目标域已知数据对建 L(w,),),7)= 立目标域PDF的作用，又能利用源域知识对目标域 信息不足部分加以弥补是本文研究的重点。 w+A(e+2(传+ 1 1 DADE模型 i=1 1.1DADE模型理论依据 (2) 领域自适应概率密度估计器的应用前提是存在 含ae+f+re)-d 两相关领域，两域通过传统密度估计法，如Parzen 式中：a)=[a1a1°…a1a],n)= 窗法获得概率密度估计值，形成(x,y)对。其中，x [,刀，·…刀，，]是拉格朗日乘子向量。 是输入向量，y是概率密度估计值。源域(x,y)对 为了使式(2)最小化，对L关于向量w和变量 足以构建概率密度函数，而出于隐私保护或数据遗 6、)求偏导数，得 失等原因，一些高度机密的数据无法获得，所得少量 0L/dw=0=>w= (a°-a)e(x)(3) 目标域(x,y)信息精确，但不足以构建目标域概率 =1 密度函数。 aL/a8=0=> ∑(a,+a)=A (4) 传统密度估计法本身不能进行领域间知识传 al/aE)=0=> dn-a=0(5) 入 递，本文的贡献在于使用无偏置-SVR回归函数表 示概率密度函数，这样做的优势在于： 将式(3)、(4)带入式(2)，可得对偶优化问题： 1)无偏置-SVR等价于CC-MEB的特性，可使 用核心集[6]代替源域所有数据建立概率密度函 min (a-a)(a-a)()- 2= 数，提高密度估计效率： 2)密度回归函数f(x)可由CC-MEB中心点表 含aax 示，提出中心点知识传递模型)，实现相似领域间 领域自适应概率密度器的建立，若使用源域核心集 s.t∑(a+a:)= 代替所有源域样本表示源域中心点，还可起到源域 0≤a,)≤ (6) 隐私保护的目的。 1.2DADE模型架构 最终所得回归函数： 设训练集T={(x1),…,(xy)},其中输 g(x)=w'p(x)=E(a,'-a)p(x)"p(x) 入向量x:∈R”,输出向量y:∈Y=R为概率密度估 =1 计值，i=1,2,…,l。本文用无偏置支持向量回归 (7) 函数y=w(x)建立概率密度估计函数，与传统 概率密度函数p(x)需满足p(x)≥O, -SVR相比，没有b项，文章下面部分介绍无偏置 p(x)=1的条件，但无偏置SVR进行概率密 B-SVR 度估计时不能满足上述条件，故需添加约束 1.2.1无偏置-SVR 无偏置-SVR试图寻找R”上的一个实值函数 三(a”-a)=1,且核函数的选择清足 g(x),以便使用y=g(x)来推断任一输入x所对应 的输出值y。通常训练集在输入空间线性不可分， K(x,')≥0，K(x,r)d=1
ｔｉｏｎ， ＫＤＥ） ［３］是采用较广泛的方法。 因 ＫＤＥ 需要 所有样本参与计算且需存储所有数据，故压缩集概 率密度估计器［４］ 和快速压缩集概率密度估计器［５］ 被提出以解决存储空间和运行效率问题。 上述传统 的概率密度估计法效果显著但均未考虑领域间自适 应学习的问题。 在实际应用中存在这样的场景，已 有源域数据集数据量大、密度估计精确；但相关目标 域数据集由于隐私保护或数据遗失等原因只获得少 量数据，这些数据是目标域真实信息但却不足以建 立目标域 ＰＤＦ。 如何既保证目标域已知数据对建 立目标域 ＰＤＦ 的作用，又能利用源域知识对目标域 信息不足部分加以弥补是本文研究的重点。 １ ＤＡＤＥ 模型 １．１ ＤＡＤＥ 模型理论依据 领域自适应概率密度估计器的应用前提是存在 两相关领域，两域通过传统密度估计法，如 Ｐａｒｚｅｎ 窗法获得概率密度估计值，形成 （ｘ，ｙ） 对。 其中， ｘ 是输入向量， ｙ 是概率密度估计值。 源域 （ｘ，ｙ） 对 足以构建概率密度函数，而出于隐私保护或数据遗 失等原因，一些高度机密的数据无法获得，所得少量 目标域 （ｘ，ｙ） 信息精确，但不足以构建目标域概率 密度函数。 传统密度估计法本身不能进行领域间知识传 递，本文的贡献在于使用无偏置 ｖ⁃ＳＶＲ 回归函数表 示概率密度函数，这样做的优势在于： １）无偏置 ｖ⁃ＳＶＲ 等价于 ＣＣ⁃ＭＥＢ 的特性，可使 用核心集［６⁃８］ 代替源域所有数据建立概率密度函 数，提高密度估计效率； ２）密度回归函数 ｆ（ｘ） 可由 ＣＣ⁃ＭＥＢ 中心点表 示，提出中心点知识传递模型［９］ ，实现相似领域间 领域自适应概率密度器的建立，若使用源域核心集 代替所有源域样本表示源域中心点，还可起到源域 隐私保护的目的。 １．２ ＤＡＤＥ 模型架构 设训练集 Ｔ ＝ ｛（ ｘ１ ，ｙ１ ），…，（ ｘｌ，ｙｌ）｝ ，其中输 入向量 ｘｉ ∈ Ｒ ｎ ，输出向量 ｙｉ ∈ Ｙ ＝ Ｒ 为概率密度估 计值， ｉ ＝ １，２，…，ｌ 。 本文用无偏置支持向量回归 函数 ｙ ＝ ｗ Ｔφ（ｘ） 建立概率密度估计函数，与传统 ｖ⁃ＳＶＲ 相比，没有 ｂ 项，文章下面部分介绍无偏置 ｖ⁃ＳＶＲ 。 １．２．１ 无偏置 ｖ⁃ＳＶＲ 无偏置 ｖ⁃ＳＶＲ 试图寻找 Ｒ ｎ 上的一个实值函数 ｇ（ｘ） ，以便使用 ｙ ＝ ｇ（ｘ） 来推断任一输入 ｘ 所对应 的输出值 ｙ 。 通常训练集在输入空间线性不可分， 故引入映射函数 φ（ｘ） 将 ｘｉ 映射到高维空间 φ（ｘｉ） 中。 无偏置 ｖ⁃ＳＶＲ 原始优化问题如下： ｍｉｎ １ ２ ‖ｗ‖２ ＋ λ（ｖε ＋ １ ｌ ∑ ｌ ｉ ＝ １ （ξｉ ＋ ξｉ ∗ ）） ｓ．ｔ．ｗ Ｔφ（ｘｉ） － ｙｉ ≤ ε ＋ ξｉ ｙｉ － ｗ Ｔφ（ｘｉ） ≤ ε ＋ ξｉ ∗ ξｉ （∗） ≥ ０ （１） 式中： （∗） 表示向量有∗号和无∗号 ２ 种情况。 为 导出原始问题（１）的对偶问题，引入拉格朗日函数： Ｌ（ｗ，ξ （∗） ，α （∗） ，η （∗） ） ＝ １ ２ ‖ｗ‖２ ＋ λ（ε ＋ １ ｖｌ∑ ｌ ｉ ＝ １ （ξｉ ＋ ξｉ ∗ ）） － ∑ ｌ ｉ ＝ １ （ηｉ ξｉ ＋ ηｉ ∗ ξｉ ∗ ） － ∑ ｌ ｉ ＝ １ αｉ（ε ＋ ξｉ － ｗ Ｔφ（ｘｉ） ＋ ｙｉ） － ∑ ｌ ｉ ＝ １ αｉ ∗ （ε ＋ ξｉ ∗ ＋ ｗ Ｔφ（ｘｉ） － ｙｉ） （２） 式中： α （∗） ＝ ［α１ α１ ∗ … αｌ αｌ ∗ ］ Ｔ ， η （∗） ＝ ［η１ η１ ∗ … ηｌ ηｌ ∗ ］ Ｔ 是拉格朗日乘子向量。 为了使式（２）最小化，对 Ｌ 关于向量 ｗ 和变量 ε、 ξｉ （∗） 求偏导数，得 ∂Ｌ ／ ∂ｗ ＝ ０ ＝ ＞ ｗ ＝ ∑ ｌ ｉ ＝ １ （αｉ ∗ － αｉ）φ（ｘｉ） （３） ∂Ｌ ／ ∂ε ＝ ０ ＝ ＞ ∑ ｌ ｉ ＝ １ （αｉ ＋ αｉ ∗ ） ＝ λ （４） ∂Ｌ ／ ∂ξｉ （∗） ＝ ０ ＝ ＞ λ ｖｌ － ηｉ （∗） － αｉ （∗） ＝ ０ （５） 将式（３） 、（４）带入式（２），可得对偶优化问题： ｍｉｎ １ ２ ∑ ｌ ｉ ＝ １ ∑ ｌ ｊ ＝ １ （αｉ ∗ － αｉ）（αｊ ∗ － αｊ）Ｋ（ｘｉ，ｘｊ） － ∑ ｌ ｉ ＝ １ （αｉ ∗ － αｉ）ｙｉ ｓ．ｔ．∑ ｌ ｉ ＝ １ （αｉ ＋ αｉ ∗ ） ＝ λ ０ ≤ αｉ （∗） ≤ λ ｖｌ （６） 最终所得回归函数： ｇ（ｘ） ＝ ｗ Ｔφ（ｘ） ＝ ∑ ｌ ｉ ＝ １ （αｉ ∗ － αｉ）φ （ｘｉ） Ｔφ（ｘ） （７） 概 率 密 度 函 数 ｐ（ｘ） 需 满 足 ｐ（ｘ） ≥ ０， ∫ ＋¥ －¥ ｐ（ｘ）ｄｘ ＝ １ 的条件，但无偏置 ｖ⁃ＳＶＲ 进行概率密 度估 计 时 不 能 满 足 上 述 条 件， 故 需 添 加 约 束 ∑ ｌ ｉ ＝ １ （αｉ ∗ － αｉ） ＝ １， 且 核 函 数 的 选 择 满 足 Ｋ（ｘ，ｘ′） ≥０， ∫ ＋¥ －¥ Ｋ（ｘ，ｘ′）ｄｘ ＝ １。 ·２２２· 智 能 系 统 学 报 第 １０ 卷
第2期 许敏，等：一种新颖的领域自适应概率密度估计器 ·223· 1.2.2无偏置-SVR与CC-MEB 0≤a)≤ (12) 1)CC-MEB d Tsang等在文献[6]中介绍了最小包含球(mini- 令a=[a·TaxT],式(12)式相应的矩阵形式： mum enclosing ball,MEB)与中心约束最小包含球 2 (center-constrained MEB,CC-MEB)。设S={x1, x2,…,xm},其中x:∈R,MEB的思想是找到包含 min a'ka-a 集合S所有样本(x:)的最小球，则属于该类的数 2y (13) 据就在球中，不属于该类的数据就在球外。为每个 p(x)增加一维8：，形成集合S”= sLa'1=1,0≤&≤J Avl {((x)',6:)1,将最后一维中心点坐标设为0， 即中心点坐标(c,0),则找到包含集合S'中所有样 式中：=[(x】=上K门 「K-K 本的最小超球最优化问题为 式(13)为无偏置-SVR的QP形式，与式(11) minR2 相比较，求4的值： C.h s.t.‖o(x:)-c‖2+82≤R2,i=1,2,…,m (8) 4-e风+1+[] (14) 设4=[62822…82]'≥0，式(8)对应对偶问 式中：实数7足够大，以使4≥0。式就可以写成 题的矩阵形式为 a"(diag(K)+A-n1)a"Ka max B(diag(K)+A)-BTKB 1=1 (15) s.t.B≥0，Br1=1 (9) 该形式用x替换了B与式(11)等价，是CC 式中：核矩阵Km=[(x,)】= MEB问题，可使用核心集快速解法求解。 [p(x:)p(x)]。 按式(15)求解，球心c可按下面公式计算： 使用最优解B,可得到半径R、中心点c的值： R=√B'(diag(K)+△)-BKp c=∑aa(x) i=1 c=∑B,(x) (10) 式中i=1,2,…,m时p(x:)=(x:),i=m+1, 因为B1=1,任意实数)加入公式，不会影响 m+2,…,2m时，p(x;)=-(x:),由此可得： B的取值。原对偶形式改为 c= ∑a,e(x)= maxB'(diag(K)）+A-n1)-B'K邓 s.tβ≥0，B1=1,4≥0 (11) 三e)·宫a~o 文献[6]指出，任意满足式(11)的QP问题均 能看作CC-MEB问题，可运用核心集快速算法求 三c-ae (16) 解。把整个数据集合S的求解转化成对S的一个子 式(3)中的w就可简化为w=入c。故 集Q的求解，可得到一个精确有效的近似解，其中Q g(x)=w'p(x)=入cp(x)= 被称为核心集。具体方法参见文献[6]。 2)无偏置-SVR与CC-MEB间关系 a(a-a,)e(x,)'e(x)= i=1 令a=,以满足三(a+a,)=1 A∑(a',-a:)() (17) 式(12)与式(6)等价。 由式(17)可获得以下两结论： 2名a”-- 1)无偏置-SVR等价于CC-MEB,故可用核心 min 集技术进行快速求解； (a.-a)y. 2)概率密度回归曲线可由其二次规划形式等 价的CC-MEB的中心点表示。 st∑(a+a)=1 1.2.3DADE模型 从1.2.2节分析可知，无偏置-SVR等价于CC-
１．２．２ 无偏置 ｖ⁃ＳＶＲ 与 ＣＣ⁃ＭＥＢ １） ＣＣ⁃ＭＥＢ Ｔｓａｎｇ 等在文献［６］中介绍了最小包含球（ｍｉｎｉ⁃ ｍｕｍ ｅｎｃｌｏｓｉｎｇ ｂａｌｌ， ＭＥＢ） 与中心约束最小包含球 （ ｃｅｎｔｅｒ⁃ｃｏｎｓｔｒａｉｎｅｄ ＭＥＢ， ＣＣ⁃ＭＥＢ）。 设 Ｓ ＝ ｛ ｘ１ ， ｘ２ ，…，ｘｍ ｝ ，其中 ｘｉ ∈ Ｒ ｄ ，ＭＥＢ 的思想是找到包含 集合 Ｓ 所有样本 φ（ｘｉ） 的最小球，则属于该类的数 据就在球中，不属于该类的数据就在球外。 为每个 φ（ ｘｉ） 增 加 一 维 δｉ ， 形 成 集 合 Ｓ′ ＝ ｛（φ（ｘｉ）′，δｉ）｝ ｍ ｉ ＝ １ ，将最后一维中心点坐标设为 ０， 即中心点坐标（ｃ，０），则找到包含集合 Ｓ’中所有样 本的最小超球最优化问题为 ｍｉｎ ｃ，Ｒ Ｒ ２ ｓ．ｔ．‖φ（ｘｉ） － ｃ‖２ ＋ δｉ ２ ≤ Ｒ ２ ， ｉ ＝ １，２，…，ｍ （８） 设 Δ ＝ ［δ １ ２ δ ２ ２ … δ ２ ｍ ］′ ≥ ０，式（８）对应对偶问 题的矩阵形式为 ｍａｘ β β Ｔ （ｄｉａｇ（Ｋ） ＋ Δ） － β ＴＫβ ｓ．ｔ． β ≥ ０，β Ｔ １ ＝ １ （９） 式 中： 核 矩 阵 Ｋｍ×ｍ ＝ ［ｋ（ ｘｉ， ｘｊ）］ ＝ ［φ （ｘｉ） Ｔ φ（ｘｊ）］。 使用最优解 β ，可得到半径 Ｒ、中心点 ｃ 的值： Ｒ ＝ β Ｔ （ｄｉａｇ（Ｋ） ＋ Δ） － β ＴＫβ ｃ ＝ ∑ ｍ ｉ ＝ １ βｉφ（ｘｉ） （１０） 因为 β Ｔ １ ＝ １，任意实数 η 加入公式，不会影响 β 的取值。 原对偶形式改为 ｍａｘ β β Ｔ （ｄｉａｇ（Ｋ） ＋ Δ － η １） － β ＴＫβ ｓ．ｔ．β ≥ ０，β Ｔ １ ＝ １ ，Δ ≥ ０ （１１） 文献［６］指出，任意满足式（１１） 的 ＱＰ 问题均 能看作 ＣＣ⁃ＭＥＢ 问题，可运用核心集快速算法求 解。 把整个数据集合 Ｓ 的求解转化成对 Ｓ 的一个子 集 Ｑ 的求解，可得到一个精确有效的近似解，其中 Ｑ 被称为核心集。 具体方法参见文献［６］。 ２） 无偏置 ｖ⁃ＳＶＲ 与 ＣＣ⁃ＭＥＢ 间关系 令 αｉ （∗） ′ ＝ αｉ （∗） λ ，以满足 ∑ ｌ ｉ ＝ １ （αｉ ′ ＋ αｉ ∗ ′） ＝ １， 式（１２）与式（６）等价。 ｍｉｎ １ ２ ∑ ｌ ｉ ＝ １ ∑ ｌ ｊ ＝ １ （αｉ ∗ ′ － αｉ ′）（αｊ ∗ ′ － αｊ ′）Ｋ（ｘｉ，ｘｊ） － １ λ∑ ｌ ｉ ＝ １ （αｉ ∗ ′ － αｉ ′）ｙｉ ｓ．ｔ．∑ ｌ ｉ ＝ １ （αｉ ′ ＋ αｉ ∗ ′） ＝ １ ０ ≤ αｉ （∗） ≤ １ ｖｌ （１２） 令 α ～ ＝ ［α ∗ ′ Ｔ α′ Ｔ ］ ，式（１２）式相应的矩阵形式： ｍｉｎ α ～ α ～ ＴＫ ～ α ～ － α ～ Ｔ ２ λ Ｙ － ２ λ Ｙ é ë ê ê ê ê ê ù û ú ú ú ú ú ｓ．ｔ．α ～ Ｔ １ ＝ １，０ ≤ α ～ ≤ １ λｖｌ （１３） 式中： Ｋ ～ ＝ ［ ｋ ～ （ｘｉ，ｘｊ）］ ＝ Ｋ － Ｋ － Ｋ Ｋ é ë ê ê ù û ú ú 。 式（１３）为无偏置 ｖ⁃ＳＶＲ 的 ＱＰ 形式，与式（１１） 相比较，求 Δ 的值： Δ ＝ － ｄｉａｇ（Ｋ ～ ） ＋ η １ ＋ ２ λ Ｙ － Ｙ é ë ê ê ù û ú ú （１４） 式中：实数 η 足够大，以使 Δ ≥ ０。 式就可以写成 α ～ Ｔ （ｄｉａｇ（Ｋ ～ ） ＋ Δ － η １） － α ～ ＴＫ ～ α ～ α ～ Ｔ １ ＝ １ （１５） 该形式用 α ～ 替换了 β 与式（１１） 等价，是 ＣＣ⁃ ＭＥＢ 问题，可使用核心集快速解法求解。 按式（１５）求解，球心 ｃ 可按下面公式计算： ｃ ＝ ∑ ２∗ｍ ｉ ＝ １ α ～ ｉφ ～ （ｘｉ） 式中 ｉ ＝ １，２，…，ｍ 时 φ ～ （ ｘｉ） ＝ φ（ ｘｉ） ， ｉ ＝ ｍ ＋ １， ｍ ＋２，…，２ｍ 时， φ ～ （ｘｉ） ＝ － φ（ｘｉ） ，由此可得： ｃ ＝ ∑ ２∗ｍ ｉ ＝ １ α ～ ｉφ ～ （ｘｉ） ＝ ∑ ｍ ｉ ＝ １ α′ｉφ（ｘｉ） ＋ ∑ ｍ ｉ ＝ １ α ∗ ′ｉ（ － φ（ｘｉ）） ＝ ∑ ｍ ｉ ＝ １ （α′ｉ － α ∗ ′ｉ）φ（ｘｉ） （１６） 式（３）中的 ｗ 就可简化为 ｗ ＝ λｃ 。 故 ｇ（ｘ） ＝ ｗ Ｔφ（ｘ） ＝ λ ｃ Ｔφ（ｘ） ＝ λ∑ ｍ ｉ ＝ １ （α ∗ ′ｉ － α′ｉ）φ （ｘｉ） Ｔφ（ｘ） ＝ λ∑ ｍ ｉ ＝ １ （α ∗ ′ｉ － α′ｉ）Ｋ（ｘｉ，ｘｊ） （１７） 由式（１７）可获得以下两结论： １）无偏置 ｖ⁃ＳＶＲ 等价于 ＣＣ⁃ＭＥＢ，故可用核心 集技术进行快速求解； ２）概率密度回归曲线可由其二次规划形式等 价的 ＣＣ⁃ＭＥＢ 的中心点表示。 １．２．３ ＤＡＤＥ 模型 从 １．２．２ 节分析可知，无偏置 ｖ⁃ＳＶＲ 等价于 ＣＣ⁃ 第 ２ 期 许敏，等：一种新颖的领域自适应概率密度估计器 ·２２３·
.224 智能系统学报 第10卷 MEB,概率密度函数由CC-MEB中心点表示。在此 文所提算法的优势。 理论基础上，本文提出通过学习源域中心点将源域 实验中将DADE方法与上述相关的方法进行性 知识传递给目标域，构造学习源域知识且与目标域 能比较，以目标域测试集概率密度估计精度作为评价 无偏置-SVR等价的CC-MEB,此CC-MEB的中心 指标，具体为：error= 点可用于目标域概率密度函数的建立。 之0)-脚 学习源域中心点的CC-MEB原始问题如下： x:表示目标域测试集元素，f(x:)表示x:的真实密度 minR2 +ullc-co ll 2 值，f(x:)表示各算法所得x:概率密度估计值，N值 c.A s.t.lp(x:)-c‖2+62≤R2 (18) 为500。实验通过网格搜索方式确定最优参数，高斯 引入拉格朗日乘子变量，在约束条件下构造式 核函数的方差h在网格{x/22,x/2,x/√2，x,2x, (18)的拉格朗日函数： 2x,22x}中搜索选取，其中x为训练样本平均2范 L=R2+u‖c-coI2+ 数的平方根；入参数在网格{1,2,3,4,5,6,7,8,9,10 盒1o)-e+-) (19) 中搜索选取：参数在网格{1×10,1×10,1×102， 1×10,1}中搜索选取：μ参数在网格{1,2,3,4,5,6， 由最优化理论可知，式(19)在鞍点处取极值， 7,8,9,10,15,20}中搜索选取。 在鞍点处L关于变量c和R的偏微分： 实验环境为：Intel Core22.40 GHz CPU,2.39 -R-2R克=0=>立x-1 GHz、1.94 GB RAM,Windows XP SP3,MATLAB7.1。 aR i=1 2.2实验结果与分析 aL =2μIc-c‖+2∑y.(e(x)-c)=0 为了利用源域知识弥补当前场景下信息过少造 ac i=1 成受训系统泛化能力下降之缺陷，模拟数据集的构 uco+∑y:e(x) 造需遵循以下原则：1)源域和目标域之间既有很大 相似性，又存在区别：2)已知的目标域数据集(x,y) =>C= (20) u I 是精确的，但由于样本过少，不能构建出概率密度估 将(20)代入(19)，该问题的对偶形式为： 计回归函数。 ma2(lex)12-2ce2+6.- 为了表征上述原则，首先生成样本数较多且能 u+1 精确表示概率密度分布均值为0、方差为1的源域 L立e(x)'p 数据集，需指出的是文章1.2.2节说明无偏置r-SVR p+1 与CC-MEB等价且概率密度函数可由CC-MEB中 心点组成，若源域有数据隐私保护的需要，还可通过 s.t∑y:=1 (21) 核心集技术，求得源域数据集的核心集，由少量核心 式中：(x:)p(x)=K(x,x),co由源域无偏 集元素表示源域CC-MEB的中心点，进行迁移学 置-SVR训练按式(16)获得，δ：由目标域样本按 习。另一方面，为了表示目标域与源域相近但不同， 式(14)获得。求解式(21)二次规划，按式(20) 目标域设置时对均值、方差进行漂移，分均值、方差、 获得中心点带入式(22)即可获得目标域概率密 均值方差均漂移3种情况，如表1所示。 表1数据源描述 度回归函数： Table 1 Description of the data source g(x)=w"o(x)=Ac"o(x)= 数据源 均值方差 ue,+∑e(x) 源域 0 1 0.1 1 入 (22) 目标域（均值漂移） u+1 一p(x) 目标域（方差漂移） 0 1.1 2 实验与分析 目标域（均值、方差漂移）0.1 1.1 由于隐私保护等原因，目标域获得信息量少且 2.1实验设置 精确，但不足以构建目标域概率密度函数。图1(a) 本文实验将本文所提算法与如下3个方面的回 虚线显示了均值为0、方差为1.1时目标域真实概率 归函数进行性能对比：1)直接使用源域数据构建概 密度分布图，图1(b)显示了此种情况下目标域自适 率密度回归函数：2)直接使用包含少量信息的目标 应学习效果图。图2将本文所提算法与另外3种训 域数据构建概率密度回归函数；3)使用源域、目标 练方法进行比较。 域数据共同构建概率密度回归函数。从而来体现本
ＭＥＢ，概率密度函数由 ＣＣ⁃ＭＥＢ 中心点表示。 在此 理论基础上，本文提出通过学习源域中心点将源域 知识传递给目标域，构造学习源域知识且与目标域 无偏置 ｖ⁃ＳＶＲ 等价的 ＣＣ⁃ＭＥＢ，此 ＣＣ⁃ＭＥＢ 的中心 点可用于目标域概率密度函数的建立。 学习源域中心点的 ＣＣ⁃ＭＥＢ 原始问题如下： ｍｉｎ ｃ，Ｒ Ｒ ２ ＋ μ‖ｃ － ｃ０‖２ ｓ．ｔ．‖φ（ｘｉ） － ｃ‖２ ＋ δｉ ２ ≤ Ｒ ２ （１８） 引入拉格朗日乘子变量，在约束条件下构造式 （１８）的拉格朗日函数： Ｌ ＝ Ｒ ２ ＋ μ‖ｃ － ｃ０‖２ ＋ ∑ ｌ ｉ ＝ １ γｉ（‖φ（ｘｉ） － ｃ‖２ ＋ δｉ ２ － Ｒ ２ ） （１９） 由最优化理论可知，式（１９） 在鞍点处取极值， 在鞍点处 Ｌ 关于变量 ｃ 和 Ｒ 的偏微分： ∂Ｌ ∂Ｒ ＝ ２Ｒ － ２Ｒ∑ Ｎ ｉ ＝ １ γｉ ＝ ０ ＝ ＞ ∑ Ｎ ｉ ＝ １ γｉ ＝ １ ∂Ｌ ∂ｃ ＝ ２μ‖ｃ － ｃ０‖ ＋ ２∑ Ｎ ｉ ＝ １ γｉ（φ（ｘｉ） － ｃ） ＝ ０ ＝ ＞ ｃ ＝ μ ｃ０ ＋ ∑ ｌ ｉ ＝ １ γｉφ（ｘｉ） μ ＋ １ （２０） 将（２０）代入（１９），该问题的对偶形式为： ｍａｘ γ ∑ Ｎ ｉ ＝ １ （‖φ（ｘｉ）‖２ － ２μ ｃ０ Ｔφ（ｘｉ） μ ＋ １ ＋ δｉ ２ ）γｉ － １ μ ＋ １∑ ｌ ｉ ＝ １ ∑ ｌ ｊ ＝ １ γｉγｊφ（ｘｉ） Ｔφ（ｘｊ） ｓ．ｔ．∑γｉ ＝ １ （２１） 式中： φ（ ｘｉ）φ（ ｘｊ） ＝ Ｋ ～ （ ｘｉ，ｘｊ） ， ｃ０ 由源域无偏 置 ｖ⁃ＳＶＲ 训练按式（ １６）获得， δ ｉ 由目标域样本按 式（ １４）获得。 求解式（ ２１） 二次规划，按式（ ２０） 获得中心点带入式（ ２２） 即可获得目标域概率密 度回归函数： ｇ（ｘ） ＝ ｗ Ｔφ（ｘ） ＝ λ ｃ Ｔφ（ｘ） ＝ λ μ ｃ０ Ｔ ＋ ∑ ｌ ｉ ＝ １ γｉφ （ｘｉ） Ｔ μ ＋ １ φ（ｘ） （２２） ２ 实验与分析 ２．１ 实验设置 本文实验将本文所提算法与如下 ３ 个方面的回 归函数进行性能对比：１）直接使用源域数据构建概 率密度回归函数； ２）直接使用包含少量信息的目标 域数据构建概率密度回归函数；３） 使用源域、目标 域数据共同构建概率密度回归函数。 从而来体现本 文所提算法的优势。 实验中将 ＤＡＤＥ 方法与上述相关的方法进行性 能比较，以目标域测试集概率密度估计精度作为评价 指标，具体为： ｅｒｒｏｒ ＝ １ Ｎ∑ Ｎ ｉ ＝ １ （ｆ（ｘｉ） － ｆ ＾ （ｘｉ）） ２ ， 其中 ｘｉ 表示目标域测试集元素， ｆ（ｘｉ） 表示 ｘｉ 的真实密度 值， ｆ ＾ （ｘｉ） 表示各算法所得 ｘｉ 概率密度估计值，Ｎ 值 为 ５００。 实验通过网格搜索方式确定最优参数，高斯 核函数的方差 ｈ 在网格 ｛ｘ ⁃ ／ ２ ２ ，ｘ － ／ ２，ｘ － ／ ２，ｘ － ， ２ ｘ － ， ２ｘ － ，２ ２ ｘ － ｝ 中搜索选取， 其中 ｘ － 为训练样本平均 ２ 范 数的平方根； λ 参数在网格｛１，２，３，４，５，６，７，８，９，１０｝ 中搜索选取； ｖ 参数在网格｛１×１０ －４ ，１×１０ －３ ，１×１０ －２ ， １×１０ －１ ，１｝中搜索选取； μ 参数在网格｛１，２，３，４，５，６， ７，８，９，１０，１５，２０｝中搜索选取。 实验环境为：Ｉｎｔｅｌ Ｃｏｒｅ ２ ２． ４０ ＧＨｚ ＣＰＵ， ２． ３９ ＧＨｚ、１．９４ ＧＢ ＲＡＭ，Ｗｉｎｄｏｗｓ ＸＰ ＳＰ３， ＭＡＴＬＡＢ ７．１。 ２．２ 实验结果与分析 为了利用源域知识弥补当前场景下信息过少造 成受训系统泛化能力下降之缺陷，模拟数据集的构 造需遵循以下原则：１）源域和目标域之间既有很大 相似性，又存在区别；２）已知的目标域数据集 （ｘ，ｙ） 是精确的，但由于样本过少，不能构建出概率密度估 计回归函数。 为了表征上述原则，首先生成样本数较多且能 精确表示概率密度分布均值为 ０、方差为 １ 的源域 数据集，需指出的是文章 １．２．２ 节说明无偏置 ｖ⁃ＳＶＲ 与 ＣＣ⁃ＭＥＢ 等价且概率密度函数可由 ＣＣ⁃ＭＥＢ 中 心点组成，若源域有数据隐私保护的需要，还可通过 核心集技术，求得源域数据集的核心集，由少量核心 集元素表示源域 ＣＣ⁃ＭＥＢ 的中心点，进行迁移学 习。 另一方面，为了表示目标域与源域相近但不同， 目标域设置时对均值、方差进行漂移，分均值、方差、 均值方差均漂移 ３ 种情况，如表 １ 所示。 表 １ 数据源描述 Ｔａｂｌｅ １ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｔｈｅ ｄａｔａ ｓｏｕｒｃｅ 数据源 均值 方差 源域 ０ １ 目标域（均值漂移） ０．１ １ 目标域（方差漂移） ０ １．１ 目标域（均值、方差漂移） ０．１ １．１ 由于隐私保护等原因，目标域获得信息量少且 精确，但不足以构建目标域概率密度函数。 图 １（ａ） 虚线显示了均值为 ０、方差为 １．１ 时目标域真实概率 密度分布图，图 １（ｂ）显示了此种情况下目标域自适 应学习效果图。 图 ２ 将本文所提算法与另外 ３ 种训 练方法进行比较。 ·２２４· 智 能 系 统 学 报 第 １０ 卷
第2期 许敏，等：一种新颖的领域自适应概率密度估计器 .225. 0.4 0.40 源域 目标域真实 目标域真实 0.35 : 一…目标域 0.3 ·目标域已知 0.30 0.25 、 0.2 0.20f 0.15 0.1 0.10 0.05 0 -0.05 -2 0. 0 -2 0 x (b)目标域性能 (a)源域、目标域概率密度分布图 0.40 ·,目标域直实 0.4 源域 0.35 ”·源域日标域合并 目标域真实 0.30 0.3 …目标域 0.25 从=] ! 0.20 ! =3 0.2 =4 0.15 ! 0.10 0.1 0.05 0 0 -0.05 4 0 x -0.1 -2 0 2 (©)源域目标域合并性能 0.40 (b)自适应学习效果图 ·目标域真实 0.35 目标域+知识 图1均值为0、方差为1.1自适应学习效果图 0.30 Fig.I Charts of adaptive learning on the data set with 0.25 mean 0,variance 1.1 0.20 0.40 0.15 …目标域真实 0.35 0.10 --源域 0.30 0.05 0.25 0 ! -4 0 =0.20 0.15 (d)自适应学习性能 0.10 图2 原始图像和退化仿真图像 0.05 Fig.2 Performance comparison charts of different algorithms 0 -2 0 2 表2列出了设置目标域不同均值方差后各算法 的性能。 (a)源域性能 表2不同算法性能比较 Table 2 Performances comparison of different algorithms 源域 目标域 源域+日标域 源域知识+目标域 均值 方差 密度估计性能 密度估计性能 密度估计性能 密度估计性能 u值 0 1.1 2.2821×104 0.0032 2.2792×104 3.1255×106 0 1.2 7.9592×10+ 0.0029 7.9591×104 1.6095×10-9 3 0.1 1.7574×104 0.0032 1.7573×10 3.7635×10-7 8 0.2 1 7.0032×104 0.0035 7.0030×104 6.6461×10-5 20 0.1 1.1 3.7952×104 0.0025 3.2576×104 1.4511×10-6 5 0.2 1.2 0.0013 0.0041 0.0013 5.4453×106 > 生成均值为0、方差为1源域样本10000个，如 可获得。虚线表示均值为0、方差为1.1的目标域真 图1(a)所示，实线表示源域概率密度函数曲线，使 实概率密度函数曲线。由图1(a)可以看出，源域、 用核心集技术获得源域的核心集由13个空心圆表 目标域分布近似但不相同。图1(a)中5实点表示 示，源域知识只需知道模型参数和这13个样本点即 目标域已知信息，为了体现数据隐私保护的目的，文
（ａ） 源域、目标域概率密度分布图 （ｂ）自适应学习效果图 图 １ 均值为 ０、方差为 １．１ 自适应学习效果图 Ｆｉｇ．１ Ｃｈａｒｔｓ ｏｆ ａｄａｐｔｉｖｅ ｌｅａｒｎｉｎｇ ｏｎ ｔｈｅ ｄａｔａ ｓｅｔ ｗｉｔｈ ｍｅａｎ ０， ｖａｒｉａｎｃｅ １．１ （ａ）源域性能 （ｂ）目标域性能 （ｃ）源域目标域合并性能 （ｄ）自适应学习性能 图 ２ 原始图像和退化仿真图像 Ｆｉｇ．２ Ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐａｒｉｓｏｎ ｃｈａｒｔｓ ｏｆ ｄｉｆｆｅｒｅｎｔ ａｌｇｏｒｉｔｈｍｓ 表 ２ 列出了设置目标域不同均值方差后各算法 的性能。 表 ２ 不同算法性能比较 Ｔａｂｌｅ ２ Ｐｅｒｆｏｒｍａｎｃｅｓ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｄｉｆｆｅｒｅｎｔ ａｌｇｏｒｉｔｈｍｓ 均值 方差 源域 密度估计性能 目标域 密度估计性能 源域＋目标域 密度估计性能 源域知识＋目标域 密度估计性能 μ 值 ０ １．１ ２．２８２ １×１０ －４ ０．００３ ２ ２．２７９ ２×１０ －４ ３．１２５ ５×１０ －６ ４ ０ １．２ ７．９５９ ２×１０ －４ ０．００２ ９ ７．９５９ １×１０ －４ １．６０９ ５×１０ －６ ２ ０．１ １ １．７５７ ４×１０ －４ ０．００３ ２ １． ７５７ ３×１０ －４ ３．７６３ ５×１０ －７ ８ ０．２ １ ７．００３ ２×１０ －４ ０．００３ ５ ７．００３ ０×１０ －４ ６．６４６ １×１０ －５ ２０ ０．１ １．１ ３．７９５ ２×１０ －４ ０．００２ ５ ３．２５７ ６×１０ －４ １．４５１ １×１０ －６ ５ ０．２ １．２ ０．００１ ３ ０．００４ １ ０．００１ ３ ５．４４５ ３×１０ －６ ７ 生成均值为 ０、方差为 １ 源域样本 １０ ０００ 个，如 图 １（ａ）所示，实线表示源域概率密度函数曲线，使 用核心集技术获得源域的核心集由 １３ 个空心圆表 示，源域知识只需知道模型参数和这 １３ 个样本点即 可获得。 虚线表示均值为 ０、方差为 １．１ 的目标域真 实概率密度函数曲线。 由图 １（ ａ）可以看出，源域、 目标域分布近似但不相同。 图 １（ ａ）中 ５ 实点表示 目标域已知信息，为了体现数据隐私保护的目的，文 第 ２ 期 许敏，等：一种新颖的领域自适应概率密度估计器 ·２２５·
·226· 智能系统学报 第10卷 中实验选取的5个样本均在[-1,1]之外。点划线 信息较少无法构建概率密度函数的问题。本文所提方 表示由这5个点获得的目标域概率密度函数曲线。 法不需要大量源域数据的支持，仅是继承历史知识（源 由图可知，虽然已知信息精确，但信息过少不能反映 域中心点)，且允许当前领域信息较少，不但能够根据 目标域真实概率密度分布。图1(b)显示了不同μ 历史知识进行当前领域的信息补偿，又能对源域数据 值自适应学习效果图，随着μ值的增大，目标域概率 进行隐私保护，这些特性是传统概率密度估计方法所 密度曲线向目标域真实分布靠拢。此种自适应学习 不具备的。通过合成数据的仿真实验表明本文方法较 的优势在于，既可保证目标域已知信息精确表示，又 之于传统方法具有更好的适应性。 可通过源域知识对未知信息进行自适应学习，极大 提高目标域概率密度估计性能。 参考文献： 根据表2和图2，可给出如下的观察： [1]VAPNIK V N.Statistical learning theory [M].New York: 1)从表2可知，本文提出的DA-PDF算法充分 John Wiley and Sons,1998:35-41. 利用目标域已知信息的同时，学习了源域知识，较之 [2]吉根林，姚瑶.一种分布式隐私保护的密度聚类算法 于两域各自训练、合并训练所得概率密度估计函数 [J].智能系统学报，2009,4(2)：137-141. 具有更好的性能。 JI Genlin,YAO Yao.Density-based privacy preserving dis- tributed clustering algorithm[J].CAAI Transactions on In- 2)对图2(a)可知，若直接使用源域概率密度 telligent Systems,2009,4(2):137-141. 估计函数对现有测试集进行密度估计，效果不理想， [3]PARZEN E.On estimation of a probability density function 其原因在于目标域与源域密度分布已发生变化（源 and mode J.The Annals of Mathematical Statistics,1962. 域方差为1，目标域方差为1.1)，这种变化导致若继 33(3):1065-1076. 续使用源域模型进行预测，其预测性能不好，无法达[4]GIROLAMI M,HEC.Probability density estimation from 到与目标域实际情况逼近的效果。 optimally condensed data samples[J].IEEE Transactions on 3)对图2(b)可知，由于在当前场景下采集的数据 Pattern Analysis and Machine Intelligence,2003,25(10): 数量较少，虽然这些数据真实可靠，但对于构建整个概 1253-1264. 率密度估计函数信息量过少，故密度估计性能低下。 [5]DENG Z H,CHUNG F L.WANG S T.FRSDE:Fast re- duced set density estimator using minimal enclosing ball ap- 4)对图2(c)可知，使用源域数据与目标域数 proximation[J].Pattern Recognition,2008,41(4):1363- 据结合后生成的概率密度估计函数，其性能提升不 1372. 明显。原因在于源域数据较之目标域收集到的数 [6]TSANG I W,KWOK J T,ZURADA J M.Generalized core 据，数据量大，因此在模型训练时，其所占的比重也 vector machines [J].IEEE Transactions on Neural Net- 大，故得到的概率密度估计函数最终更偏向于源域 works,.2006,17(5):1126-1140. 数据所得模型。合并训练另一缺点是需要源域所有 [7]TSANG I W,KWOK J T,CHEUNG P M.Core vector ma- 数据参与模型的建立，但一些高度机密的历史数据 chines:fast SVM training on very large data sets[J].Jour- 通常难以获取，若源域有数据隐私保护的需要，此种 nal of Machine Learning Research,2005(6):363-392. 方法则无法实现。 [8]CHU C S,TSANG I W,KWOK J K.Scaling up support 5)从图2(d)可知：本文方法较之图2(a)有更 vector data description by using core-sets[C//IEEE Inter- 好的逼近效果：与图2(b)相比，可利用源域知识较 national Joint Conference on Neural Networks.Budapest, Hungary:2004:425-430. 好地弥补目标域信息不足的缺陷：与图2(c)相比， [9]许敏，王士同.基于最小包含球的大数据集域自适应快速算 不仅逼近程度有明显改进，且本文方法只需要历史 法[J刀.模式识别与人工智能，2013,26(2)：159-168. 知识（历史模型参数）以及目标域数据，并不需要源 XU Min,WANG Shitong.A fast learning algorithm based on 域数据作为训练数据，因而在隐私保护方面也体现 minimum enclosing ball for large domain adaptation[J].Pat- 了较大优势。 tern Recognition and Artificial Intelligence,2013,26(2): 159-168 3结束语 作者简介： 本文采用无偏置-SVR对已知概率密度(x,y)对 许敏：女，1980年生，讲师，博士，主 要研究方向为模式识别、人工智能。 进行概率密度函数建模，并证明无偏置-SVR等价于 CC-MEB且概率密度回归函数可由CC-MEB中心点表 示，以此为前提，提出中心点领域自适应学习的概率密 度估计函数建模思想，解决多领域相关联且某一领域
中实验选取的 ５ 个样本均在［ －１，１］ 之外。 点划线 表示由这 ５ 个点获得的目标域概率密度函数曲线。 由图可知，虽然已知信息精确，但信息过少不能反映 目标域真实概率密度分布。 图 １（ ｂ） 显示了不同 μ 值自适应学习效果图，随着 μ 值的增大，目标域概率 密度曲线向目标域真实分布靠拢。 此种自适应学习 的优势在于，既可保证目标域已知信息精确表示，又 可通过源域知识对未知信息进行自适应学习，极大 提高目标域概率密度估计性能。 根据表 ２ 和图 ２，可给出如下的观察： １） 从表 ２ 可知，本文提出的 ＤＡ⁃ＰＤＦ 算法充分 利用目标域已知信息的同时，学习了源域知识，较之 于两域各自训练、合并训练所得概率密度估计函数 具有更好的性能。 ２） 对图 ２（ ａ）可知，若直接使用源域概率密度 估计函数对现有测试集进行密度估计，效果不理想， 其原因在于目标域与源域密度分布已发生变化（源 域方差为 １，目标域方差为 １．１），这种变化导致若继 续使用源域模型进行预测，其预测性能不好，无法达 到与目标域实际情况逼近的效果。 ３） 对图 ２（ｂ）可知，由于在当前场景下采集的数据 数量较少，虽然这些数据真实可靠，但对于构建整个概 率密度估计函数信息量过少，故密度估计性能低下。 ４） 对图 ２（ ｃ）可知，使用源域数据与目标域数 据结合后生成的概率密度估计函数，其性能提升不 明显。 原因在于源域数据较之目标域收集到的数 据，数据量大，因此在模型训练时，其所占的比重也 大，故得到的概率密度估计函数最终更偏向于源域 数据所得模型。 合并训练另一缺点是需要源域所有 数据参与模型的建立，但一些高度机密的历史数据 通常难以获取，若源域有数据隐私保护的需要，此种 方法则无法实现。 ５） 从图 ２（ｄ）可知：本文方法较之图 ２（ ａ）有更 好的逼近效果；与图 ２（ ｂ）相比，可利用源域知识较 好地弥补目标域信息不足的缺陷；与图 ２（ ｃ）相比， 不仅逼近程度有明显改进，且本文方法只需要历史 知识（历史模型参数）以及目标域数据，并不需要源 域数据作为训练数据，因而在隐私保护方面也体现 了较大优势。 ３ 结束语 本文采用无偏置 ｖ⁃ＳＶＲ 对已知概率密度 （ｘ，ｙ） 对 进行概率密度函数建模，并证明无偏置 ｖ⁃ＳＶＲ 等价于 ＣＣ⁃ＭＥＢ 且概率密度回归函数可由 ＣＣ⁃ＭＥＢ 中心点表 示，以此为前提，提出中心点领域自适应学习的概率密 度估计函数建模思想，解决多领域相关联且某一领域 信息较少无法构建概率密度函数的问题。 本文所提方 法不需要大量源域数据的支持，仅是继承历史知识（源 域中心点），且允许当前领域信息较少，不但能够根据 历史知识进行当前领域的信息补偿，又能对源域数据 进行隐私保护，这些特性是传统概率密度估计方法所 不具备的。 通过合成数据的仿真实验表明本文方法较 之于传统方法具有更好的适应性。 参考文献： ［１］ＶＡＰＮＩＫ Ｖ Ｎ． Ｓｔａｔｉｓｔｉｃａｌ ｌｅａｒｎｉｎｇ ｔｈｅｏｒｙ ［Ｍ］． Ｎｅｗ Ｙｏｒｋ： Ｊｏｈｎ Ｗｉｌｅｙ ａｎｄ Ｓｏｎｓ， １９９８： ３５⁃４１． ［２］吉根林， 姚瑶． 一种分布式隐私保护的密度聚类算法 ［Ｊ］．智能系统学报， ２００９， ４（２）：１３７⁃１４１． ＪＩ Ｇｅｎｌｉｎ， ＹＡＯ Ｙａｏ． Ｄｅｎｓｉｔｙ⁃ｂａｓｅｄ ｐｒｉｖａｃｙ ｐｒｅｓｅｒｖｉｎｇ ｄｉｓ⁃ ｔｒｉｂｕｔｅｄ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎ⁃ ｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２００９， ４（２）：１３７⁃１４１． ［３］ＰＡＲＺＥＮ Ｅ． Ｏｎ ｅｓｔｉｍａｔｉｏｎ ｏｆ ａ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｆｕｎｃｔｉｏｎ ａｎｄ ｍｏｄｅ［Ｊ］． Ｔｈｅ Ａｎｎａｌｓ ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ｓｔａｔｉｓｔｉｃｓ， １９６２， ３３（３）： １０６５⁃１０７６． ［４］ ＧＩＲＯＬＡＭＩ Ｍ， ＨＥ Ｃ． Ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｏｐｔｉｍａｌｌｙ ｃｏｎｄｅｎｓｅｄ ｄａｔａ ｓａｍｐｌｅｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００３， ２５ （１０）： １２５３⁃１２６４． ［５］ＤＥＮＧ Ｚ Ｈ， ＣＨＵＮＧ Ｆ Ｌ， ＷＡＮＧ Ｓ Ｔ． ＦＲＳＤＥ： Ｆａｓｔ ｒｅ⁃ ｄｕｃｅｄ ｓｅｔ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｏｒ ｕｓｉｎｇ ｍｉｎｉｍａｌ ｅｎｃｌｏｓｉｎｇ ｂａｌｌ ａｐ⁃ ｐｒｏｘｉｍａｔｉｏｎ［Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００８， ４１（ ４）：１３６３⁃ １３７２． ［６］ＴＳＡＮＧ Ｉ Ｗ， ＫＷＯＫ Ｊ Ｔ， ＺＵＲＡＤＡ Ｊ Ｍ． Ｇｅｎｅｒａｌｉｚｅｄ ｃｏｒｅ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ［ Ｊ ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｎｅｔ⁃ ｗｏｒｋｓ， ２００６， １７（５）： １１２６⁃１１４０． ［７］ＴＳＡＮＧ Ｉ Ｗ， ＫＷＯＫ Ｊ Ｔ， ＣＨＥＵＮＧ Ｐ Ｍ． Ｃｏｒｅ ｖｅｃｔｏｒ ｍａ⁃ ｃｈｉｎｅｓ： ｆａｓｔ ＳＶＭ ｔｒａｉｎｉｎｇ ｏｎ ｖｅｒｙ ｌａｒｇｅ ｄａｔａ ｓｅｔｓ［ Ｊ］． Ｊｏｕｒ⁃ ｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ， ２００５（６）： ３６３⁃３９２． ［８］ ＣＨＵ Ｃ Ｓ， ＴＳＡＮＧ Ｉ Ｗ， ＫＷＯＫ Ｊ Ｋ． Ｓｃａｌｉｎｇ ｕｐ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｄａｔａ ｄｅｓｃｒｉｐｔｉｏｎ ｂｙ ｕｓｉｎｇ ｃｏｒｅ⁃ｓｅｔｓ［Ｃ］ ／ ／ ＩＥＥＥ Ｉｎｔｅｒ⁃ ｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ． Ｂｕｄａｐｅｓｔ， Ｈｕｎｇａｒｙ： ２００４： ４２５⁃４３０． ［９］许敏，王士同． 基于最小包含球的大数据集域自适应快速算 法［Ｊ］． 模式识别与人工智能， ２０１３， ２６（２）： １５９⁃１６８． ＸＵ Ｍｉｎ， ＷＡＮＧ Ｓｈｉｔｏｎｇ． Ａ ｆａｓｔ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｍｉｎｉｍｕｍ ｅｎｃｌｏｓｉｎｇ ｂａｌｌ ｆｏｒ ｌａｒｇｅ ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ［Ｊ］． Ｐａｔ⁃ ｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０１３， ２６（ ２）： １５９⁃１６８． 作者简介： 许敏：女，１９８０ 年生，讲师，博士，主 要研究方向为模式识别、人工智能。 ·２２６· 智 能 系 统 学 报 第 １０ 卷