·398 智能系统学报 第6卷 由于式(3)中被积分函数中2个分布函数不是 analysis,Local FDA)[261或者其他判别函数.Grochow 高斯分布的乘积形式，求不出解析解，因此通常可以 在文献[27]中通过尺度化高斯过程隐变量模型 用Laplace法14、变分法I51、MCMC16、EP18]和其 (scaled GPLVM),从低维空间上给人体姿态进行约 他近似算法90求解。 束，对于人体的姿态进行插值，从而对人的动作进行 1.3GP的核函数 预测。 在机器学习领域中，协方差函数通常称为核函 另外，可以通过在GP中加载稀疏性约束来获 数21.核函数具有超参数0，表示为k(x,x;0).一 得大数据集上GP的近似解.L.Csat6在文献[28]中 般地，假设均值函数m(x)=0,则选择核函数类型 提出利用约束G来求得真实后验稀疏近似解.该 并确定超参数就可以将GP确定下来， 方法通过增加参数的数量使得GP可以突破计算限 GP是基于核函数的方法.核函数是GP预测和 制用于任意大的数据集，该近似解法基于最小化原 分类的关键因素，集成了待学习函数的假设.函数要 始GP和带约束GP之间的KL距离，带约束CP的 成为有效核函数的充分必要条件是，矩阵元素为 约束指的是，整个圳练样本中只有很少量的子集用 k(xm,xn)构成的Gram矩阵K必须是半正定矩阵2 来表示GP,该约束导致稀疏性 GP核函数可以是多种函数形式，如高斯核函数、神经 1.6基于半监督学习的GP 网络核函数、多项式核函数等，也可以通过2个核函 GP可与半监督学习相结合，这时半监督可以看 数的相加、相乘、卷积等运算来构造新的核函数 成是加在GP上的一种特殊的平滑性约束， 1.4GP超参数的训练 半监督学习可以利用少数带标记样本加上大量 超参数求解方法的思想来自于求出使得似然函 无标记样本，从而提高分类和预测精度.半监督学习 数p(yl8)取最大值的GP超参数a.最简单的方法 方法最初基于几何直觉，对于许多现实问题，无标记 是通过求最大对数似然函数来求出0的点估计，该 样本经常可以识别出整个数据的结构，如数据聚类 求解过程可以通过类似于共轭梯度法或其他基于梯 或低维流型，这些知识可以帮助进行推理.例如，人 度的优化算法来完成231.GP的对数似然函数形 们常期望在一个聚类中的数据点间或者在一个流形 式为 中相近的数据点间的类别有很强的相关性，这就是 hpg10)=-2h1Cn1-Cy-%n(2m）. 半监督学习中的聚类假设和流形假设， 最近，有一些学者提出多个基于图集成无标记 将对数似然函数对于超参数0求梯度，得到 训练样本的半监督GP算法.文献[29]中提出基于 &hp010)=-2(cS)+ 1. 图先验知识的直推式高斯过程(transductive GP),其 a0. 核心概率模型只是定义在带标记样本和无标记样本 c (4) 的有限训练集合上，但需要额外的过程将模型扩展 到未知的测试样本中。 这样可以根据训练样本集D求得式(4)中的最大值 文献[30]中提出的半监督高斯过程方法中，将 而得到最优的超参数0. 无标记数据的空间属性和基于图的半监督核函数结 1.5带约束的GP 合起来，建立了在整个空间上的GP模型，提供了天 目前，有一些学者对于带约束的GP进行了一 然的样本之外数据的预测能力.正则化算子加在图 些研究.通常，约束通过判别高斯过程隐变量模型 顶点上的平滑性被转换成为定义在整体数据空间上 discriminative Gaussian processes latent variable 的再生核希尔伯特空间(reproducing kernel Hilbert model,D-GPLVM)加在低维数据流形上. spaces,RKHS).通过该RKHS核函数，标准的监督 R.Urtasun24]指出只要数据存在低维流形，D- 核方法可以用来进行半监督推理 GPLVM可以在训练样本很少而数据维数很高的情 Zhu在文献[29]中指出高斯随机场(Gaussian 况下分类，并得到较好的分类精度.D-GPLVM方法 andom field,GRF)和半监督学习中的谐能量最小 通过在高斯过程隐变量模型(GPLVM)的数据隐空 化函数框架可以看成是协方差矩阵源自图Laplace 间中加上判别式先验，就可以通过判别的方式来学 的GP,从半监督学习的角度指出了GRF与GP在概 习GP分类器的协方差矩阵，从而达到提高分类精 率框架中的联系， 度的目的.该判别式先验标准可以是广义判别分析 综上，GP作为一种核方法，可用于分类和回归， generalized discriminative analysis,GDA)25, 其超参数可由训练得到，G模型加上约束后可以有 以是局部费舍尔判别分析(local Fisher discriminative 较多变形算法，这为GP在实际问题中的应用提供