·396 智能系统学报 第9卷 解方程(11)可得 3多图像样本集的分类 w=∑ayg(x)+】 3.1手写数字分类 a+A=0 (12) 为了验证基于SVM的多观测样本二分类算法 的有效性，首先在手写数字数据库上进行实验。同 C-a-:=0 类数字不同形式的手写图像组成多观测样本集，对 将式(12)代入式(10)得到优化问题式(8)的对 此类样本集进行分类。实验中，使用2种不同的数 偶形式，即关于α：、B的最大化函数： 据库：Binary手写数字数据库和USPS手写数字数 据库。Binary数据库包含0~9共10类数字的手写 i=l+1 图像，每类数字有39个样本，每个样本用大小为 号多2P明ow)-名豆aA》 20×16的二值图像表示。USPS数据库由0~9共10 类手写数字组成，每类数字有1100个样本，每个样 s.t.0≤a≤C,i=1,2,,l 本用大小为16×16的灰度图像表示。 B≥0，i=l+1,2,,n 模式变换的鲁棒性是多观测样本分类的一种重 a+r=0 要特性。可以使用虚拟样本来扩充已标记样本集， j=1+1 从而加强分类算法的抗变换性。虚拟样本一般通过 原始样本的变换产生，虚拟样本的类别与原始样本 (13) 若设Y=[y1…y1y41…yJT,因为 相同，因此是已知标签的已标记样本。通过在数据 y+1=y+2=…=yn=y,所以Y= 集中添加虚拟样本，分类算法对测试样本的鲁棒性 [y1…yy…yT。令0=[11… 更强。因此，在本文所提的算法中使用这一方法，在 1],A= [a1…aB+1…B]T,则式(13)变为 原始数据集中添加大小为n的样本集X,数据 集变为：X={X0,X),X}。实验中，核函数选 max OA-A((YY)·K)A (14) 2 用高斯核函数，即：(x,y)=exp(- 可以看到，通过求解式(14)可以能得到两次标 ‖x-y‖2/2o2)。为计算参数σ的大小，在数据 签假设对应的目标函数值g,和g2,从而根据式(9) 集X中随机选取1000个样本，并计算两两样本之 确定待测试的多观测样本的标签。 间的欧式距离，σ设置为所有距离的中值的1/2。 2.3基于SVM的多观测样本二分类的算法描述 对于每类数字，首先从对应样本中随机抽取2 基于SVM的多观测样本二分类的算法如下： 个样本组成训练集，剩下的样本组成测试集。再对 输人： 训练集中的每个样本做连续的4次旋转变换，得到 X0、Y):已标记样本集和它的标签集； 的样本放在训练集中，其中旋转角0从[-40°，40°] X):多观测样本集： 的均匀采样序列中得到。这样的区间能避免“6”和 l:已标记样本的数目； “9”2类数字的混淆。为了建立每类数字的多观测 m:多观测样本数目。 样本数据集X),从每类数字的测试集中随机选取 输出： 一个样本并对这个样本进行旋转变换，旋转角0∈ y:多观测样本的类别。 [-40°，40°]。每次测试时，选取2类不同的数字 处理： 进行实验，共有45种组合，即(0,1)，(0,2)，…， 1)由X四和X)得到样本矩阵X,XCRx4,由 (7,8),(7,9),(8,9)。再由这2类数字的训练样 YD得到标签矩阵Y; 本共同组成算法的训练集X④，而对应的测试集作 2)计算样本矩阵X对应的核矩阵K; 为算法的测试集，即多观测样本。该实验对不同大 3)设y=-1,求解优化问题：max OA- 小的多观测样本进行了实验，样本数m=[5:5: A'(YY)·K)A/2,得到g1;设y=+1,求解优化问 40]。对于不同大小的数据集X,45种组合中的 题：max OA-A'(YY)·K)A/2,得到g2; 每个组合进行10次随机实验，每个组合要对2个测 4)若g1>82则y=-1,否则y=+1。 试集进行测试，所以实验中的每个结果都是900次解方程渊员员冤可得 憎 越 移 造 蚤 越 员 琢蚤赠蚤渍渊曾蚤冤 垣 移 灶 躁 越 造垣员 茁躁 赠渍渊曾躁 冤 移 造 蚤 越 员 琢蚤赠蚤 垣 移 灶 躁 越 造垣员 茁躁 赠 越 园 悦 原 琢蚤 原 则蚤 越 园          渊员圆冤 摇 摇 将式渊员圆冤代入式渊员园冤得到优化问题式渊愿冤的对 偶形式袁即关于 琢蚤尧 茁躁 的最大化函数院 皂葬曾移 造 蚤 越 员 琢蚤 垣 移 灶 蚤 越 造垣员 茁蚤 原 员 圆 移 造 蚤 越 员 移 造 躁 越 员 琢蚤琢躁 赠蚤赠躁 噪渊曾蚤袁曾躁 冤 原 员 圆 移 灶 蚤 越 造 垣员 移 灶 躁 越 造垣员 茁蚤茁躁 赠蚤赠躁 噪渊曾蚤袁曾躁 冤 原 移 造 蚤 越 员 移 灶 躁 越 造 垣员 琢蚤茁躁 赠蚤赠躁 噪渊曾蚤袁曾躁 冤 泽援贼援摇 园 臆 琢蚤 臆 悦袁蚤 越 员袁圆袁援援援袁造 茁蚤 逸 园袁蚤 越 造 垣 员袁圆袁援援援袁灶 移 造 蚤 越 员 琢蚤赠蚤 垣 移 灶 躁 越 造垣员 茁躁 赠 越 园              渊员猿冤 摇 摇 若设 再 越 赠员 噎 赠造 赠造垣员 噎 赠  灶 栽 袁因为 赠造 垣员 越 赠造垣圆 越 噎 越 赠灶 越 赠 袁 所 以 再 越 赠员 噎 赠造   赠 噎 赠 栽 遥 令 韵 越   员员噎员 袁 粤 越 琢员 噎琢造 茁造 垣员 噎 茁灶   栽 袁则式渊员猿冤变为 皂葬曾 韵粤 原 员 圆 粤栽 渊 渊再再栽 冤窑运冤粤 渊员源冤 摇 摇 可以看到袁通过求解式渊员源冤可以能得到两次标 签假设对应的目标函数值 早员 和 早圆 袁从而根据式渊怨冤 确定待测试的多观测样本的标签遥 圆援猿摇 基于 杂灾酝 的多观测样本二分类的算法描述 基于 杂灾酝 的多观测样本二分类的算法如下院 输入院 载渊造冤 尧 再渊造冤 院已标记样本集和它的标签集曰 载渊怎冤 院多观测样本集曰 造 院已标记样本的数目曰 皂 院多观测样本数目遥 输出院 赠 赞 院多观测样本的类别遥 处理院 员冤由 载渊造冤 和 载渊怎冤 得到样本矩阵 载袁载奂砸灶伊凿 袁由 再渊造冤 得到标签矩阵 再曰 圆冤计算样本矩阵 载 对应的核矩阵 运曰 猿冤 设 赠 越 原 员袁 求解优化问题院 皂葬曾 韵粤 原 粤栽 渊 渊再再栽 冤窑运冤粤辕 圆袁得到 早员 曰设 赠 越 垣 员袁求解优化问 题院 皂葬曾 韵粤 原 粤栽 渊 渊再再栽 冤窑运冤粤辕 圆袁得到 早圆 曰 源冤若 早员 跃 早圆 则 赠 赞 越 原 员袁否则 赠 赞 越 垣 员遥 猿摇 多图像样本集的分类 猿援员摇 手写数字分类 为了验证基于 杂灾酝 的多观测样本二分类算法 的有效性袁首先在手写数字数据库上进行实验遥 同 类数字不同形式的手写图像组成多观测样本集袁对 此类样本集进行分类遥 实验中袁使用 圆 种不同的数 据库院月蚤灶葬则赠 手写数字数据库和 哉杂孕杂 手写数字数 据库遥 月蚤灶葬则赠 数据库包含 园耀怨 共 员园 类数字的手写 图像袁每类数字有 猿怨 个样本袁每个样本用大小为 圆园伊员远 的二值图像表示遥 哉杂孕杂 数据库由 园耀怨 共 员园 类手写数字组成袁每类数字有 员 员园园 个样本袁每个样 本用大小为 员远伊员远 的灰度图像表示遥 模式变换的鲁棒性是多观测样本分类的一种重 要特性遥 可以使用虚拟样本来扩充已标记样本集袁 从而加强分类算法的抗变换性遥 虚拟样本一般通过 原始样本的变换产生袁虚拟样本的类别与原始样本 相同袁因此是已知标签的已标记样本遥 通过在数据 集中添加虚拟样本袁分类算法对测试样本的鲁棒性 更强遥 因此袁在本文所提的算法中使用这一方法袁在 原始数据集中添加大小为 灶增泽 的样本集 载渊增泽冤 袁数据 集变为院 载 越 喳载渊造冤 袁载渊增泽冤 袁载渊怎冤 札 遥 实验中袁核函数选 用高斯核函数袁 即院 噪 曾  袁赠 越 藻曾责渊 原 椰曾 原 赠椰圆 辕 圆滓圆 冤 遥 为计算参数 滓 的大小袁在数据 集 载 中随机选取 员 园园园 个样本袁并计算两两样本之 间的欧式距离袁 滓 设置为所有距离的中值的 员 辕 圆遥 对于每类数字袁首先从对应样本中随机抽取 圆 个样本组成训练集袁剩下的样本组成测试集遥 再对 训练集中的每个样本做连续的 源 次旋转变换袁得到 的样本放在训练集中袁其中旋转角 兹 从 咱 原 源园毅 袁源园毅 暂 的均匀采样序列中得到遥 这样的区间能避免野远冶和 野怨冶 圆 类数字的混淆遥 为了建立每类数字的多观测 样本数据集 载渊怎冤 袁从每类数字的测试集中随机选取 一个样本并对这个样本进行旋转变换袁旋转角 兹 沂 咱 原 源园毅 袁源园毅 暂 遥 每次测试时袁选取 圆 类不同的数字 进行实验袁共有 源缘 种组合袁即 渊园袁员冤 袁 渊园袁圆冤 袁噎袁 渊苑袁愿冤 袁渊苑袁怨冤 袁 渊愿袁怨冤 遥 再由这 圆 类数字的训练样 本共同组成算法的训练集 载渊贼冤 袁而对应的测试集作 为算法的测试集袁即多观测样本遥 该实验对不同大 小的多观测样本进行了实验袁样本数 皂 越 咱缘院缘院 源园暂 遥 对于不同大小的数据集 载渊怎冤 袁源缘 种组合中的 每个组合进行 员园 次随机实验袁每个组合要对 圆 个测 试集进行测试袁所以实验中的每个结果都是 怨园园 次 窑猿怨远窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 怨 卷