第2期 许敏，等：一种新颖的领域自适应概率密度估计器 ·223· 1.2.2无偏置-SVR与CC-MEB 0≤a)≤ (12) 1)CC-MEB d Tsang等在文献[6]中介绍了最小包含球(mini- 令a=[a·TaxT],式(12)式相应的矩阵形式： mum enclosing ball,MEB)与中心约束最小包含球 2 (center-constrained MEB,CC-MEB)。设S={x1, x2,…,xm},其中x:∈R,MEB的思想是找到包含 min a'ka-a 集合S所有样本(x:)的最小球，则属于该类的数 2y (13) 据就在球中，不属于该类的数据就在球外。为每个 p(x)增加一维8：，形成集合S”= sLa'1=1,0≤&≤J Avl {((x)',6:)1,将最后一维中心点坐标设为0， 即中心点坐标(c,0),则找到包含集合S'中所有样 式中：=[(x】=上K门 「K-K 本的最小超球最优化问题为 式(13)为无偏置-SVR的QP形式，与式(11) minR2 相比较，求4的值： C.h s.t.‖o(x:)-c‖2+82≤R2,i=1,2,…,m (8) 4-e风+1+[] (14) 设4=[62822…82]'≥0，式(8)对应对偶问 式中：实数7足够大，以使4≥0。式就可以写成 题的矩阵形式为 a"(diag(K)+A-n1)a"Ka max B(diag(K)+A)-BTKB 1=1 (15) s.t.B≥0，Br1=1 (9) 该形式用x替换了B与式(11)等价，是CC 式中：核矩阵Km=[(x,)】= MEB问题，可使用核心集快速解法求解。 [p(x:)p(x)]。 按式(15)求解，球心c可按下面公式计算： 使用最优解B,可得到半径R、中心点c的值： R=√B'(diag(K)+△)-BKp c=∑aa(x) i=1 c=∑B,(x) (10) 式中i=1,2,…,m时p(x:)=(x:),i=m+1, 因为B1=1,任意实数)加入公式，不会影响 m+2,…,2m时，p(x;)=-(x:),由此可得： B的取值。原对偶形式改为 c= ∑a,e(x)= maxB'(diag(K)）+A-n1)-B'K邓 s.tβ≥0，B1=1,4≥0 (11) 三e)·宫a~o 文献[6]指出，任意满足式(11)的QP问题均 能看作CC-MEB问题，可运用核心集快速算法求 三c-ae (16) 解。把整个数据集合S的求解转化成对S的一个子 式(3)中的w就可简化为w=入c。故 集Q的求解，可得到一个精确有效的近似解，其中Q g(x)=w'p(x)=入cp(x)= 被称为核心集。具体方法参见文献[6]。 2)无偏置-SVR与CC-MEB间关系 a(a-a,)e(x,)'e(x)= i=1 令a=,以满足三(a+a,)=1 A∑(a',-a:)() (17) 式(12)与式(6)等价。 由式(17)可获得以下两结论： 2名a”-- 1)无偏置-SVR等价于CC-MEB,故可用核心 min 集技术进行快速求解； (a.-a)y. 2)概率密度回归曲线可由其二次规划形式等 价的CC-MEB的中心点表示。 st∑(a+a)=1 1.2.3DADE模型 从1.2.2节分析可知，无偏置-SVR等价于CC-１．２．２ 无偏置 ｖ⁃ＳＶＲ 与 ＣＣ⁃ＭＥＢ １） ＣＣ⁃ＭＥＢ Ｔｓａｎｇ 等在文献［６］中介绍了最小包含球（ｍｉｎｉ⁃ ｍｕｍ ｅｎｃｌｏｓｉｎｇ ｂａｌｌ， ＭＥＢ） 与中心约束最小包含球 （ ｃｅｎｔｅｒ⁃ｃｏｎｓｔｒａｉｎｅｄ ＭＥＢ， ＣＣ⁃ＭＥＢ）。 设 Ｓ ＝ ｛ ｘ１ ， ｘ２ ，…，ｘｍ ｝ ，其中 ｘｉ ∈ Ｒ ｄ ，ＭＥＢ 的思想是找到包含 集合 Ｓ 所有样本 φ（ｘｉ） 的最小球，则属于该类的数 据就在球中，不属于该类的数据就在球外。 为每个 φ（ ｘｉ） 增 加 一 维 δｉ ， 形 成 集 合 Ｓ′ ＝ ｛（φ（ｘｉ）′，δｉ）｝ ｍ ｉ ＝ １ ，将最后一维中心点坐标设为 ０， 即中心点坐标（ｃ，０），则找到包含集合 Ｓ’中所有样 本的最小超球最优化问题为 ｍｉｎ ｃ，Ｒ Ｒ ２ ｓ．ｔ．‖φ（ｘｉ） － ｃ‖２ ＋ δｉ ２ ≤ Ｒ ２ ， ｉ ＝ １，２，…，ｍ （８） 设 Δ ＝ ［δ １ ２ δ ２ ２ … δ ２ ｍ ］′ ≥ ０，式（８）对应对偶问 题的矩阵形式为 ｍａｘ β β Ｔ （ｄｉａｇ（Ｋ） ＋ Δ） － β ＴＫβ ｓ．ｔ． β ≥ ０，β Ｔ １ ＝ １ （９） 式 中： 核 矩 阵 Ｋｍ×ｍ ＝ ［ｋ（ ｘｉ， ｘｊ）］ ＝ ［φ （ｘｉ） Ｔ φ（ｘｊ）］。 使用最优解 β ，可得到半径 Ｒ、中心点 ｃ 的值： Ｒ ＝ β Ｔ （ｄｉａｇ（Ｋ） ＋ Δ） － β ＴＫβ ｃ ＝ ∑ ｍ ｉ ＝ １ βｉφ（ｘｉ） （１０） 因为 β Ｔ １ ＝ １，任意实数 η 加入公式，不会影响 β 的取值。 原对偶形式改为 ｍａｘ β β Ｔ （ｄｉａｇ（Ｋ） ＋ Δ － η １） － β ＴＫβ ｓ．ｔ．β ≥ ０，β Ｔ １ ＝ １ ，Δ ≥ ０ （１１） 文献［６］指出，任意满足式（１１） 的 ＱＰ 问题均 能看作 ＣＣ⁃ＭＥＢ 问题，可运用核心集快速算法求 解。 把整个数据集合 Ｓ 的求解转化成对 Ｓ 的一个子 集 Ｑ 的求解，可得到一个精确有效的近似解，其中 Ｑ 被称为核心集。 具体方法参见文献［６］。 ２） 无偏置 ｖ⁃ＳＶＲ 与 ＣＣ⁃ＭＥＢ 间关系 令 αｉ （∗） ′ ＝ αｉ （∗） λ ，以满足 ∑ ｌ ｉ ＝ １ （αｉ ′ ＋ αｉ ∗ ′） ＝ １， 式（１２）与式（６）等价。 ｍｉｎ １ ２ ∑ ｌ ｉ ＝ １ ∑ ｌ ｊ ＝ １ （αｉ ∗ ′ － αｉ ′）（αｊ ∗ ′ － αｊ ′）Ｋ（ｘｉ，ｘｊ） － １ λ∑ ｌ ｉ ＝ １ （αｉ ∗ ′ － αｉ ′）ｙｉ ｓ．ｔ．∑ ｌ ｉ ＝ １ （αｉ ′ ＋ αｉ ∗ ′） ＝ １ ０ ≤ αｉ （∗） ≤ １ ｖｌ （１２） 令 α ～ ＝ ［α ∗ ′ Ｔ α′ Ｔ ］ ，式（１２）式相应的矩阵形式： ｍｉｎ α ～ α ～ ＴＫ ～ α ～ － α ～ Ｔ ２ λ Ｙ － ２ λ Ｙ é ë ê ê ê ê ê ù û ú ú ú ú ú ｓ．ｔ．α ～ Ｔ １ ＝ １，０ ≤ α ～ ≤ １ λｖｌ （１３） 式中： Ｋ ～ ＝ ［ ｋ ～ （ｘｉ，ｘｊ）］ ＝ Ｋ － Ｋ － Ｋ Ｋ é ë ê ê ù û ú ú 。 式（１３）为无偏置 ｖ⁃ＳＶＲ 的 ＱＰ 形式，与式（１１） 相比较，求 Δ 的值： Δ ＝ － ｄｉａｇ（Ｋ ～ ） ＋ η １ ＋ ２ λ Ｙ － Ｙ é ë ê ê ù û ú ú （１４） 式中：实数 η 足够大，以使 Δ ≥ ０。 式就可以写成 α ～ Ｔ （ｄｉａｇ（Ｋ ～ ） ＋ Δ － η １） － α ～ ＴＫ ～ α ～ α ～ Ｔ １ ＝ １ （１５） 该形式用 α ～ 替换了 β 与式（１１） 等价，是 ＣＣ⁃ ＭＥＢ 问题，可使用核心集快速解法求解。 按式（１５）求解，球心 ｃ 可按下面公式计算： ｃ ＝ ∑ ２∗ｍ ｉ ＝ １ α ～ ｉφ ～ （ｘｉ） 式中 ｉ ＝ １，２，…，ｍ 时 φ ～ （ ｘｉ） ＝ φ（ ｘｉ） ， ｉ ＝ ｍ ＋ １， ｍ ＋２，…，２ｍ 时， φ ～ （ｘｉ） ＝ － φ（ｘｉ） ，由此可得： ｃ ＝ ∑ ２∗ｍ ｉ ＝ １ α ～ ｉφ ～ （ｘｉ） ＝ ∑ ｍ ｉ ＝ １ α′ｉφ（ｘｉ） ＋ ∑ ｍ ｉ ＝ １ α ∗ ′ｉ（ － φ（ｘｉ）） ＝ ∑ ｍ ｉ ＝ １ （α′ｉ － α ∗ ′ｉ）φ（ｘｉ） （１６） 式（３）中的 ｗ 就可简化为 ｗ ＝ λｃ 。 故 ｇ（ｘ） ＝ ｗ Ｔφ（ｘ） ＝ λ ｃ Ｔφ（ｘ） ＝ λ∑ ｍ ｉ ＝ １ （α ∗ ′ｉ － α′ｉ）φ （ｘｉ） Ｔφ（ｘ） ＝ λ∑ ｍ ｉ ＝ １ （α ∗ ′ｉ － α′ｉ）Ｋ（ｘｉ，ｘｊ） （１７） 由式（１７）可获得以下两结论： １）无偏置 ｖ⁃ＳＶＲ 等价于 ＣＣ⁃ＭＥＢ，故可用核心 集技术进行快速求解； ２）概率密度回归曲线可由其二次规划形式等 价的 ＣＣ⁃ＭＥＢ 的中心点表示。 １．２．３ ＤＡＤＥ 模型 从 １．２．２ 节分析可知，无偏置 ｖ⁃ＳＶＲ 等价于 ＣＣ⁃ 第 ２ 期 许敏，等：一种新颖的领域自适应概率密度估计器 ·２２３·