第4期 李睿，等：一种基于RVM和DS的一维距离像融合识别方法 ·555. 噪能力：文献[4]利用多极化HRRP提供的目标特 估计参数向量w,但为了避免过学习问题，RVM为 征信息，将混淆矩阵提供的基分类器可信度值与 每个权值定义了高斯先验概率分布来约束参数 SVM后验概率结合到DS证据理论的基本概率赋值 (3) 中，降低了融合分类的误识率：文献[5]提取每种极 p(w1)=N(w:0,1) 化通道下6种平移不变特征，使用最近邻分类器进 式中：x=[aoa1 aw]是N+1维超参数，并 行分类，用DS证据理论进行了多极化多特征融合 假设：服从Gamma先验概率分布。对每一个权值 识别，使系统的识别率明显提升。 配置超参数是RVM的最显著特点，最终导致了算 尽管上述方法从不同侧面获得了较好的识别结 法求解的稀疏特性。 果，但仍然存在有待进一步解决的问题，比如，在现 1.2参数推断 有融合识别方法中，用加权投票法进行融合存在如 给定了先验概率和似然分布，根据贝叶斯准则， 何确定权值和如何处理冲突判决的问题，而应用DS 得到如下后验概率： 证据理论进行融合存在如何得到基本概率赋值等问 p(w,alt)=p(tlw.a)p(w.a) (4) 题。本文在提取不同的平移不变特征的基础上，构 p(t) 建高性能RVM进行特征分类，并用DS证据理论融 若获得了p(w,1t),则对于给定的测试样本x。, 合分类结果以得到目标识别结果，提出一种基于 相应输出t.的预测分布为 RVM和DS的一维距离像融合识别方法。该方法充 p(t.It)=p(t.I w,a)p(w,al t)dwda (5) 分利用了RVM输出的概率信息，解决了用DS证据 理论进行融合时基本概率赋值获取困难的问题。 但我们无法计算p(t)=p(tlw,a)p(w,a)dwda, 所以无法直接计算式(4)中的后验概率p(w,aI 1相关向量机 t),然而可以将后验概率分解为 相关向量机(relevance vector machine,. p(w,al t)=p(wI t,a)p(al t) (6) RVM)I7-9是M.E.Tipping在20O0年提出的一种基 关于权重的后验概率分布式如下： 于贝叶斯框架理论的机器学习方法。RVM具有与 p(wIt,a)=P(tI w)p(wIa) (7) SVM相同的决策形式，但有效地克服了SVM存在的 p(tl a) 稀疏性不强、核函数必须满足Mercer条件、需要估计 由于后验概率p(wlt,x)和p(axlt)无法通过积分 规则化系数、缺乏必要的概率信息等缺点，它可以在 求解，因此利用拉普拉斯方法的逼近过程进行近似。 保证分类精度与SVM相同的情况下，提供样本的后 首先对p(w|t,a)进行逼近。 验概率分布。目前，RVM已广泛应用于高光谱图像 1)对当前固定的α值，求最大可能的权值wr。 分类[10]、网络流量预测1」、风能预测12]等领域。 因为p(wlt,)cp(tlw)p(wla),故可以将 1.1RVM分类模型 关于w的最大后验概率估计等价为最大化： 对于二分类问题，给定一组训练样本X= log p(wI t,a)=logp(tI w)p(wl a)= {x,}心1，对应的类别标号为1={}1，其中N为 样本个数，RVM的分类函数定义为 三g,+1-g1-】-Aw (8) y(x;0)=∑w,K(x,)+o (1) i=1 式中：A=diag(ao,a1,…,av),yn=o{y(xn;w)}。 式中：K(x,x;)为核函数，U:是模型的权值。把o- 2)利用拉普拉斯方法，将对数后验概率进行二 gistic sigmoid连接函数σ(y)=l/(1+e)应用于 次逼近。将式(8)两次求导得出 y(x),使得p(t1x)服从伯努利分布。假设训练样 V.V.log p(wl ta)I=(-B+A)(9) 本独立同分布，那么整个样本集的似然函数为 式中：Φ=[p(x1)p(x2)…p(xw)],是N× (N+1)的矩。 p(tl w) Iσ{y(xn;w)}[1-σ{y(xn;w)}]l- (x)=[1,K(x,),K(x,2),...K(x.x) (2) B=diag(B,B2,…,Bx)是一个对角阵， 式中：t=[1k2…t],w=[001…0w]。 B。=σ{y(xn)}[1-o{y(xn)}] 在贝叶斯框架下，可以通过最大化似然函数来 然后可得到协方差矩阵Σ和wP:噪能力；文献［４］利用多极化 ＨＲＲＰ 提供的目标特 征信息，将混淆矩阵提供的基分类器可信度值与 ＳＶＭ 后验概率结合到 ＤＳ 证据理论的基本概率赋值 中，降低了融合分类的误识率；文献［５］提取每种极 化通道下 ６ 种平移不变特征，使用最近邻分类器进 行分类，用 ＤＳ 证据理论进行了多极化多特征融合 识别，使系统的识别率明显提升。 尽管上述方法从不同侧面获得了较好的识别结 果，但仍然存在有待进一步解决的问题，比如，在现 有融合识别方法中，用加权投票法进行融合存在如 何确定权值和如何处理冲突判决的问题，而应用 ＤＳ 证据理论进行融合存在如何得到基本概率赋值等问 题。 本文在提取不同的平移不变特征的基础上，构 建高性能 ＲＶＭ 进行特征分类，并用 ＤＳ 证据理论融 合分类结果以得到目标识别结果，提出一种基于 ＲＶＭ 和 ＤＳ 的一维距离像融合识别方法。 该方法充 分利用了 ＲＶＭ 输出的概率信息，解决了用 ＤＳ 证据 理论进行融合时基本概率赋值获取困难的问题。 １ 相关向量机 相 关 向 量 机 （ ｒｅｌｅｖａｎｃｅ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ， ＲＶＭ） ［７－９ ］是 Ｍ． Ｅ． Ｔｉｐｐｉｎｇ 在 ２０００ 年提出的一种基 于贝叶斯框架理论的机器学习方法。 ＲＶＭ 具有与 ＳＶＭ 相同的决策形式，但有效地克服了 ＳＶＭ 存在的 稀疏性不强、核函数必须满足 Ｍｅｒｃｅｒ 条件、需要估计 规则化系数、缺乏必要的概率信息等缺点，它可以在 保证分类精度与 ＳＶＭ 相同的情况下，提供样本的后 验概率分布。 目前，ＲＶＭ 已广泛应用于高光谱图像 分类［ １０ ］ 、网络流量预测［１ １ ］ 、风能预测［１ ２ ］等领域。 １．１ ＲＶＭ 分类模型 对于 二 分 类 问 题， 给 定 一 组 训 练 样 本 Ｘ ＝ ｘｎ { } Ｎ ｎ ＝ １ ，对应的类别标号为 ｔ ＝ ｔ ｎ { } Ｎ ｎ ＝ １ ，其中 Ｎ 为 样本个数，ＲＶＭ 的分类函数定义为 ｙ（ｘ；ｗ） ＝ ∑ Ｎ ｉ ＝ １ ｗｉＫ（ｘ，ｘｉ） ＋ ｗ０ （１） 式中： Ｋ（ｘ，ｘｉ） 为核函数， ｗｉ 是模型的权值。 把 ｌｏ⁃ ｇｉｓｔｉｃ ｓｉｇｍｏｉｄ 连接函数 σ（ｙ） ＝ １ ／ （１ ＋ ｅ －ｙ ） 应用于 ｙ（ｘ） ，使得 ｐ（ｔ ｜ ｘ） 服从伯努利分布。 假设训练样 本独立同分布，那么整个样本集的似然函数为 ｐ（ｔ ｜ ｗ） ＝ ∏ Ｎ ｎ ＝ １ σ ｛ｙ（ｘｎ ；ｗ）｝ ｔｎ ［１ － σ｛ｙ（ｘｎ ；ｗ）｝］ １－ｔｎ （２） 式中： ｔ ＝ ［ｔ １ ｔ ２ … ｔＮ］ Ｔ ，ｗ ＝ ［ｗ０ ｗ１ … ｗＮ］ Ｔ 。 在贝叶斯框架下，可以通过最大化似然函数来 估计参数向量 ｗ ，但为了避免过学习问题，ＲＶＭ 为 每个权值定义了高斯先验概率分布来约束参数 ｐ（ｗ ｜ α） ＝ ∏ Ｎ ｉ ＝ ０ Ｎ（ｗｉ ｜ ０，α －１ ｉ ） （３） 式中： α ＝ ［α０ α１ … αＮ］ 是 Ｎ ＋ １ 维超参数，并 假设 α 服从 Ｇａｍｍａ 先验概率分布。 对每一个权值 配置超参数是 ＲＶＭ 的最显著特点，最终导致了算 法求解的稀疏特性。 １．２ 参数推断 给定了先验概率和似然分布，根据贝叶斯准则， 得到如下后验概率： ｐ（ｗ，α ｜ ｔ） ＝ ｐ（ｔ ｜ ｗ，α）ｐ（ｗ，α） ｐ（ｔ） （４） 若获得了 ｐ（ｗ，α ｜ ｔ） ，则对于给定的测试样本 ｘ∗ ， 相应输出 ｔ∗ 的预测分布为 ｐ（ｔ∗ ｜ ｔ） ＝ ∫ｐ（ｔ∗ ｜ ｗ，α）ｐ（ｗ，α ｜ ｔ）ｄｗｄα （５） 但我们无法计算 ｐ（ｔ） ＝ ∫ｐ（ｔ ｜ ｗ，α）ｐ（ｗ，α）ｄｗｄα ， 所以无法直接计算式（４） 中的后验概率 ｐ（ｗ，α ｜ ｔ） ，然而可以将后验概率分解为 ｐ（ｗ，α ｜ ｔ） ＝ ｐ（ｗ ｜ ｔ，α）ｐ（α ｜ ｔ） （６） 关于权重的后验概率分布式如下： ｐ（ｗ ｜ ｔ，α） ＝ ｐ（ｔ ｜ ｗ）ｐ（ｗ ｜ α） ｐ（ｔ ｜ α） （７） 由于后验概率 ｐ（ｗ ｜ ｔ，α） 和 ｐ（α ｜ ｔ） 无法通过积分 求解，因此利用拉普拉斯方法的逼近过程进行近似。 首先对 ｐ（ｗ ｜ ｔ，α） 进行逼近。 １）对当前固定的 α 值，求最大可能的权值 ｗＭＰ 。 因为 ｐ（ｗ｜ ｔ，α） ∝ｐ（ｔ ｜ ｗ）ｐ（ｗ｜ α） ，故可以将 关于 ｗ 的最大后验概率估计等价为最大化： ｌｏｇ ｐ（ｗ ｜ ｔ，α） ＝ ｌｏｇ｛ｐ（ｔ ｜ ｗ）ｐ（ｗ ｜ α）｝ ＝ ∑ Ｎ ｎ ＝ １ ［ｔ ｎ ｌｏｇｙｎ ＋ （１ － ｔ ｎ ）ｌｏｇ（１ － ｙｎ ）］ － １ ２ ｗ ＴＡｗ （８） 式中： Ａ ＝ ｄｉａｇ（α０ ，α１ ，…，αＮ） ， ｙｎ ＝ σ｛ｙ（ｘｎ ；ｗ）｝ 。 ２）利用拉普拉斯方法，将对数后验概率进行二 次逼近。 将式（８）两次求导得出 ÑｗÑｗ ｌｏｇ ｐ（ｗ ｜ ｔ，α） ｜ ｗＭＰ ＝ （ － Φ ＴＢΦ ＋ Ａ）（９） 式中： Φ ＝ ［φ（ｘ１ ） φ（ｘ２ ） … φ（ｘＮ）］ Ｔ ，是 Ｎ × （Ｎ ＋ １） 的矩。 φ（ｘｎ ） ＝ ［１，Ｋ（ｘｎ ，ｘ１ ），Ｋ（ｘｎ ，ｘ２ ），…，Ｋ（ｘｎ ，ｘＮ）］ Ｔ Ｂ ＝ ｄｉａｇ（β１ ，β２ ，…，βＮ） 是一个对角阵， βｎ ＝ σ｛ｙ（ｘｎ ）｝［１ － σ｛ｙ（ｘｎ ）｝］ 然后可得到协方差矩阵 Σ 和 ｗＭＰ ： 第 ４ 期 李睿，等：一种基于 ＲＶＭ 和 ＤＳ 的一维距离像融合识别方法 ·５５５·