第9卷第4期 智能系统学报 Vol.9 No.4 2014年8月 CAAI Transactions on Intelligent Systems Agu.2014 D0I:10.3969/j.issn.1673-4785.201312040 网络出版t地址：http://www.cnki.net/kcms/doi/10.3969/j.issn.1673-4785.201312040.html 支持向量机的多观测样本二分类算法 李欢，王士同 (江南大学数字蝶体学院，江苏无锡214000) 摘要：针对多观测样本的分类问题，提出基于SVM的多观测样本二分类算法。每次分类时，首先限制组成多观测 样本的所有单观测样本属于同一类别，对多观测样本的类别做2次假设，通过比较不同类别假设下的目标函数最优 解来确定多观测样本的类别。该方法无需对分类器进行训练或提前对训练集进行特征表示，而是将已知标签样本 集和多观测样本作为一个整体，充分利用特征空间中同类样本连续分布这一特点，使得分类更加准确。结果表明所 提方法的有效性。 关键词：模式识别；多观测；同类样本：SVM;二分类 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2014)04-392-09 中文引用格式：李欢，王士同.支持向量机的多观测样本二分类算法[J].智能系统学报，2014,9(4)：392400. 英文引用格式：LI Huan,WANG Shitong.Binary-class classification algorithm with multiple-access acquired objects based on the SVM[J].CAAI Transactions on Intelligent Systems,2014,9(4):392-400. Binary-class classification algorithm with multiple-access acquired objects based on the SVM LI Huan,WANG Shitong (1.School of Digital Media,Jiangnan University,Wuxi 214000,China;2.School of Digital Media,Jiangnan University,Wuxi 214000.China) Abstract:The binary-class classification algorithm with multiple-access acquired objects based on the SVM is pro- posed for the purpose of classification of an object given with multiple observations in this paper.In each classifica- tion,initially all single observation samples in the multiple observation sample set are restricted to a same class.Two hypotheses are made for the class of the multiple observation sample set,and the class is determined by comparing the optimal values of the different objective functions under different class hypotheses.This method does not require training the classifier or early feature representation of the training set,instead,it takes advantage of the continuity law of the feature space of similar samples with the labeled samples and multiple observation samples as a whole, making the algorithm more accurate for classifications.Experiments show that the proposed method is valid and effi- cient. Keywords:pattern recognition;multiple observations;similar samples;SVM;binary-class classification 传统模式识别主要针对测试模式为单观测样本 定模式在不同时刻或不同条件下的多个观测样本。 的情况。然而，随着人工智能技术的飞速发展，数据 例如，日常生活中，可以用摄像头获取一个物体或一 采集工作变得越来越容易，人们常常可以获取某特 个人在不同时刻、不同光照条件下的图像数据，也可 收稿日期：2013-12-20.网络出版日期：2014-06-21 以借用多个摄像头从不同的角度获取图像数据。此 基金项目：国家自然科学基金资助项目(61272210)：江苏省自然科学基外，即使是相同的观测数据，若用不同的方法进行数 金资助项目(BK2011417,BK2011003):江苏省“333”工程基 金资助项目(BRA2011142). 据转换，得到的特征值也不一样，这些就构成了同一 通信作者：李欢.E-mail:huanli1130@126.com. 模式的多观测样本。多观测样本相对于单观测样本
第 怨 卷第 源 期摇摇摇摇摇 摇摇摇 摇摇摇 摇摇摇 智 能 系 统 学 报摇摇摇摇摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 灾燥造援怨 翼援源 圆园员源 年 愿 月摇摇摇摇摇摇摇摇摇摇摇摇 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 粤早怎援 圆园员源 阅韵陨院员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员猿员圆园源园 网络出版地址院澡贼贼责院 辕 辕 憎憎憎援糟灶噪蚤援灶藻贼 辕 噪糟皂泽 辕 凿燥蚤 辕 员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员猿员圆园源园援澡贼皂造 支持向量机的多观测样本二分类算法 李欢袁王士同 渊江南大学 数字媒体学院袁江苏 无锡 圆员源园园园冤 摘 要院针对多观测样本的分类问题袁提出基于 杂灾酝 的多观测样本二分类算法遥 每次分类时袁首先限制组成多观测 样本的所有单观测样本属于同一类别袁对多观测样本的类别做 圆 次假设袁通过比较不同类别假设下的目标函数最优 解来确定多观测样本的类别遥 该方法无需对分类器进行训练或提前对训练集进行特征表示袁而是将已知标签样本 集和多观测样本作为一个整体袁充分利用特征空间中同类样本连续分布这一特点袁使得分类更加准确遥 结果表明所 提方法的有效性遥 关键词院模式识别曰多观测曰同类样本曰杂灾酝曰二分类 中图分类号院 栽孕猿怨员援源摇 文献标志码院粤摇 文章编号院员远苑猿鄄源苑愿缘渊圆园员源冤园源鄄猿怨圆鄄园怨 中文引用格式院李欢袁王士同援 支持向量机的多观测样本二分类算法咱允暂援 智能系统学报袁 圆园员源袁 怨渊源冤 院 猿怨圆鄄源园园援 英文引用格式院蕴陨 匀怎葬灶袁宰粤晕郧 杂澡蚤贼燥灶早援 月蚤灶葬则赠鄄糟造葬泽泽 糟造葬泽泽蚤枣蚤糟葬贼蚤燥灶 葬造早燥则蚤贼澡皂 憎蚤贼澡 皂怎造贼蚤责造藻鄄葬糟糟藻泽泽 葬糟择怎蚤则藻凿 燥遭躁藻糟贼泽 遭葬泽藻凿 燥灶 贼澡藻 杂灾酝咱允暂援 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽袁 圆园员源袁 怨渊源冤 院 猿怨圆鄄源园园援 月蚤灶葬则赠鄄糟造葬泽泽 糟造葬泽泽蚤枣蚤糟葬贼蚤燥灶 葬造早燥则蚤贼澡皂 憎蚤贼澡 皂怎造贼蚤责造藻鄄葬糟糟藻泽泽 葬糟择怎蚤则藻凿 燥遭躁藻糟贼泽 遭葬泽藻凿 燥灶 贼澡藻 杂灾酝 蕴陨 匀怎葬灶袁 宰粤晕郧 杂澡蚤贼燥灶早 渊员援 杂糟澡燥燥造 燥枣 阅蚤早蚤贼葬造 酝藻凿蚤葬袁 允蚤葬灶早灶葬灶 哉灶蚤增藻则泽蚤贼赠袁 宰怎曾蚤 圆员源园园园袁 悦澡蚤灶葬曰 圆援 杂糟澡燥燥造 燥枣 阅蚤早蚤贼葬造 酝藻凿蚤葬袁 允蚤葬灶早灶葬灶 哉灶蚤增藻则泽蚤贼赠袁 宰怎曾蚤 圆员源园园园袁 悦澡蚤灶葬冤 粤遭泽贼则葬糟贼院栽澡藻 遭蚤灶葬则赠鄄糟造葬泽泽 糟造葬泽泽蚤枣蚤糟葬贼蚤燥灶 葬造早燥则蚤贼澡皂 憎蚤贼澡 皂怎造贼蚤责造藻鄄葬糟糟藻泽泽 葬糟择怎蚤则藻凿 燥遭躁藻糟贼泽 遭葬泽藻凿 燥灶 贼澡藻 杂灾酝 蚤泽 责则燥鄄 责燥泽藻凿 枣燥则 贼澡藻 责怎则责燥泽藻 燥枣 糟造葬泽泽蚤枣蚤糟葬贼蚤燥灶 燥枣 葬灶 燥遭躁藻糟贼 早蚤增藻灶 憎蚤贼澡 皂怎造贼蚤责造藻 燥遭泽藻则增葬贼蚤燥灶泽 蚤灶 贼澡蚤泽 责葬责藻则援 陨灶 藻葬糟澡 糟造葬泽泽蚤枣蚤糟葬鄄 贼蚤燥灶袁 蚤灶蚤贼蚤葬造造赠 葬造造 泽蚤灶早造藻 燥遭泽藻则增葬贼蚤燥灶 泽葬皂责造藻泽 蚤灶 贼澡藻 皂怎造贼蚤责造藻 燥遭泽藻则增葬贼蚤燥灶 泽葬皂责造藻 泽藻贼 葬则藻 则藻泽贼则蚤糟贼藻凿 贼燥 葬 泽葬皂藻 糟造葬泽泽援栽憎燥 澡赠责燥贼澡藻泽藻泽 葬则藻 皂葬凿藻 枣燥则 贼澡藻 糟造葬泽泽 燥枣 贼澡藻 皂怎造贼蚤责造藻 燥遭泽藻则增葬贼蚤燥灶 泽葬皂责造藻 泽藻贼袁 葬灶凿 贼澡藻 糟造葬泽泽 蚤泽 凿藻贼藻则皂蚤灶藻凿 遭赠 糟燥皂责葬则蚤灶早 贼澡藻 燥责贼蚤皂葬造 增葬造怎藻泽 燥枣 贼澡藻 凿蚤枣枣藻则藻灶贼 燥遭躁藻糟贼蚤增藻 枣怎灶糟贼蚤燥灶泽 怎灶凿藻则 凿蚤枣枣藻则藻灶贼 糟造葬泽泽 澡赠责燥贼澡藻泽藻泽援 栽澡蚤泽 皂藻贼澡燥凿 凿燥藻泽 灶燥贼 则藻择怎蚤则藻 贼则葬蚤灶蚤灶早 贼澡藻 糟造葬泽泽蚤枣蚤藻则 燥则 藻葬则造赠 枣藻葬贼怎则藻 则藻责则藻泽藻灶贼葬贼蚤燥灶 燥枣 贼澡藻 贼则葬蚤灶蚤灶早 泽藻贼袁 蚤灶泽贼藻葬凿袁 蚤贼 贼葬噪藻泽 葬凿增葬灶贼葬早藻 燥枣 贼澡藻 糟燥灶贼蚤灶怎蚤贼赠 造葬憎 燥枣 贼澡藻 枣藻葬贼怎则藻 泽责葬糟藻 燥枣 泽蚤皂蚤造葬则 泽葬皂责造藻泽 憎蚤贼澡 贼澡藻 造葬遭藻造藻凿 泽葬皂责造藻泽 葬灶凿 皂怎造贼蚤责造藻 燥遭泽藻则增葬贼蚤燥灶 泽葬皂责造藻泽 葬泽 葬 憎澡燥造藻袁 皂葬噪蚤灶早 贼澡藻 葬造早燥则蚤贼澡皂 皂燥则藻 葬糟糟怎则葬贼藻 枣燥则 糟造葬泽泽蚤枣蚤糟葬贼蚤燥灶泽援 耘曾责藻则蚤皂藻灶贼泽 泽澡燥憎 贼澡葬贼 贼澡藻 责则燥责燥泽藻凿 皂藻贼澡燥凿 蚤泽 增葬造蚤凿 葬灶凿 藻枣枣蚤鄄 糟蚤藻灶贼援 运藻赠憎燥则凿泽院责葬贼贼藻则灶 则藻糟燥早灶蚤贼蚤燥灶曰 皂怎造贼蚤责造藻 燥遭泽藻则增葬贼蚤燥灶泽曰 泽蚤皂蚤造葬则 泽葬皂责造藻泽曰 杂灾酝曰 遭蚤灶葬则赠鄄糟造葬泽泽 糟造葬泽泽蚤枣蚤糟葬贼蚤燥灶 收稿日期院圆园员猿鄄员圆鄄圆园援 摇 网络出版日期院圆园员源鄄园远鄄圆员援 基金项目院国家自然科学基金资助项目渊远员圆苑圆圆员园冤 曰江苏省自然科学基 金资助项目渊月运圆园员员源员苑袁 月运圆园员员园园猿冤 曰江苏省野 猿猿猿冶工程基 金资助项目渊月砸粤圆园员员员源圆冤援 通信作者院李欢援 耘鄄皂葬蚤造院澡怎葬灶造蚤员员猿园岳 员圆远援糟燥皂援 摇 摇 传统模式识别主要针对测试模式为单观测样本 的情况遥 然而袁随着人工智能技术的飞速发展袁数据 采集工作变得越来越容易袁人们常常可以获取某特 定模式在不同时刻或不同条件下的多个观测样本遥 例如袁日常生活中袁可以用摄像头获取一个物体或一 个人在不同时刻尧不同光照条件下的图像数据袁也可 以借用多个摄像头从不同的角度获取图像数据遥 此 外袁即使是相同的观测数据袁若用不同的方法进行数 据转换袁得到的特征值也不一样袁这些就构成了同一 模式的多观测样本遥 多观测样本相对于单观测样本
第4期 李欢，等：支持向量机的多观测样本二分类算法 ·393· 能提供更多关于测试模式的信息，从而提高分类精 nant canonical correlation)算法，其首先通过训练获 度。由此可以预见，多观测样本分类问题将得到 得一个能使类内典型相关性最大而类间典型相关性 国内外研究学者的广泛关注。 最小的判别转换矩阵，然后把原空间数据映射到新 目前，多观测样本的分类方法主要有2类：一类 的子空间上，在此基础上把典型差分相关性作为相 是基于参数模型的方法。例如，文献[2]提出了基 似度量进行分类，此方法存在未考虑数据非线性分 于概率密度的KLD(KL-divergence),该方法把所有 布的缺点。一些研究者曾认为所有典型相关性对分 样本集看作是独立的，并且服从高斯分布，然后通过 类的贡献是相同的，即权值相等。但后来T.K.Kim 计算测试样本集和各个训练样本集间的KL散度来 等发现在分类中不同的典型相关性所起的作用 确定多观测样本的类别。但是此方法仅仅对那些服 是不同的，继而提出了BoMPA(boosted manifold 从单高斯分布的样本集比较适用，难以精确地描述 principal angles)算法，该算法首先通过PPCA(prob- 数据呈非线性分布的情况。针对这一情况， abilistic PCA)搜索局部线性模块，并将得到的所有 O.Arandjelovic等[)提出了半参数混合高斯模型，并 模块表示成PCA子空间的形式，进而计算子空间之 将其应用在KL散度的计算中，从而解决了非线性 间的典型相关性，然后把训练集表示为正负样本特 分布的多观测样本分类问题。然而，此方法的计算 征的形式，同时采用AdaBoost算法得到相应的权 复杂度相对较大。F.Cardinaux等[通过嵌人局部 值，最后用加权后的主成分角来度量子空间的相似 特征来扩展GMM(Gaussian mixture model),在保证 性，实现多观测样本的分类。在此基础上，X.L 低复杂度的同时进一步提高了分类性能。文献[5] 等[2]提出Boosted全局和局部主成分角联合的分类 提出了一种基于核函数的分类方法，该方法利用信 算法。文献[l3]提出MMD(manifold-manifold dis- 息论的相关知识，把RAD(resistor-average distance) tance)方法，该方法将典型相关性和局部线性模块 看作是多观测样本间的相似度来完成多观测样本的 结合起来，首先用联合局部线性模型的集合来表示 分类。以上这些方法的不足在于它们不但要解决复 子空间所描述的流形，从而把MMD转换为线性模 杂的参数估计问题，而且当多观测样本和测试样本 块的组合，最终通过MMD的计算来对观测样本进 集之间的统计相关性较弱时，它们的性能会有大的 行分类，但该方法的计算量和复杂度相对较大。W 波动。另一类是基于非参数模型的方法，其中最具 S.Chu [4 KDT kernel discriminant transforma- 代表性的是基于子空间的方法，此类方法把子空间 iom)来解决多观测样本的分类问题，该方法用核子 的相似度作为多观测样的分类依据，例如，文献[6] 空间来表示每个样本集，同时定义一个能使类内核 提出的MSM(mutual subspace method),首先用PCA 子空间相似性最大而类间核子空间相似性最小的 特征子空间来表示每一类的训练样本集和多观测样 KDT矩阵，从而把多观测样本的分类问题转换为寻 本，再利用子空间之间的主成分角作为相似性度量， 求KDT矩阵的最优解问题。近来，E.Kokiopoulou 最后用子空间的典型相关性(canonical correlation) 等s]在标记传播算法的基础上提出了MASC(mAn- 来实现多观测样本的分类，但该算法对数据的变化 flod-based smoothing under constrain)算法，该算法 较为敏感。为此，K.Fukui等)又提出CMSM(con- 将k-近邻图运用到多观测样本的分类问题中，但是 straint mutual subspace method)来消除MSM的数据 k-近邻图的边权值的计算采用了欧式距离下的高斯 敏感性，将原空间的所有样本集都映射到同一约束 核函数，而基于欧式距离的测度无法全面反映数据 子空间，在此约束空间中计算样本集间的主成分角， 的空间分布特性。 再用子空间的典型相关性完成多观测样本的分类。 由上述可知，目前的多观测样本分类算法都有 但上述2种方法并没有考虑到数据的非线性分布问 一定的不足和局限性。本文在经典SVM算法的基 题，针对这一问题，H.Sakano等[)提出KMSM(ker- 础上，用SVM的相关理论来实现多观测样本的分 nel mutual subspace method)算法，L.Walf等f]提出 类。与传统的SVM算法相同，本文方法适用于小样 KPA(kernel principal angles)算法，使用核函数来解 本情况，利用核函数解决了非线性问题和维数问题， 决数据的非线性问题，进而完成多观测样本的分类。 其算法复杂度与样本维数无关。然而，与传统分类 虽然KMSM和KPA考虑了数据的非线性分布，但是 方法的不同在于，该方法无需对分类器进行训练或 这2种方法用到的核函数对参数的依赖性较大。以 提前对训练集进行特征表示，而是将测试集和训练 上这些方法都没有考虑到通过转换数据可以提取到 集作为一个整体，充分利用特征空间中同类样本连 更多的判别信息，T.K.Kim等to提出DCC(discrimi- 续分布这一特点，使得分类更加准确
能提供更多关于测试模式的信息袁从而提高分类精 度咱员暂 遥 由此可以预见袁多观测样本分类问题将得到 国内外研究学者的广泛关注遥 目前袁多观测样本的分类方法主要有 圆 类院一类 是基于参数模型的方法遥 例如袁文献咱圆暂 提出了基 于概率密度的 运蕴阅渊运蕴鄄凿蚤增藻则早藻灶糟藻冤 袁该方法把所有 样本集看作是独立的袁并且服从高斯分布袁然后通过 计算测试样本集和各个训练样本集间的 运蕴 散度来 确定多观测样本的类别遥 但是此方法仅仅对那些服 从单高斯分布的样本集比较适用袁难以精确地描述 数据 呈 非 线 性 分 布 的 情 况遥 针对这一情况袁 韵援粤则葬灶凿躁藻造燥增蚤糟 等咱猿暂提出了半参数混合高斯模型袁并 将其应用在 运蕴 散度的计算中袁从而解决了非线性 分布的多观测样本分类问题遥 然而袁此方法的计算 复杂度相对较大遥 云援 悦葬则凿蚤灶葬怎曾 等咱源暂 通过嵌入局部 特征来扩展 郧酝酝渊 郧葬怎泽泽蚤葬灶 皂蚤曾贼怎则藻 皂燥凿藻造冤 袁在保证 低复杂度的同时进一步提高了分类性能遥 文献咱缘暂 提出了一种基于核函数的分类方法袁该方法利用信 息论的相关知识袁把 砸粤阅渊 则藻泽蚤泽贼燥则鄄葬增藻则葬早藻 凿蚤泽贼葬灶糟藻冤 看作是多观测样本间的相似度来完成多观测样本的 分类遥 以上这些方法的不足在于它们不但要解决复 杂的参数估计问题袁而且当多观测样本和测试样本 集之间的统计相关性较弱时袁它们的性能会有大的 波动遥 另一类是基于非参数模型的方法袁其中最具 代表性的是基于子空间的方法袁此类方法把子空间 的相似度作为多观测样的分类依据袁例如袁文献咱远暂 提出的 酝杂酝 渊皂怎贼怎葬造 泽怎遭泽责葬糟藻 皂藻贼澡燥凿冤 袁首先用 孕悦粤 特征子空间来表示每一类的训练样本集和多观测样 本袁再利用子空间之间的主成分角作为相似性度量袁 最后用子空间的典型相关性渊 糟葬灶燥灶蚤糟葬造 糟燥则则藻造葬贼蚤燥灶冤 来实现多观测样本的分类袁但该算法对数据的变化 较为敏感遥 为此袁运援 云怎噪怎蚤 等咱苑暂 又提出 悦酝杂酝渊 糟燥灶鄄 泽贼则葬蚤灶贼 皂怎贼怎葬造 泽怎遭泽责葬糟藻 皂藻贼澡燥凿冤来消除 酝杂酝 的数据 敏感性袁将原空间的所有样本集都映射到同一约束 子空间袁在此约束空间中计算样本集间的主成分角袁 再用子空间的典型相关性完成多观测样本的分类遥 但上述 圆 种方法并没有考虑到数据的非线性分布问 题袁针对这一问题袁匀援 杂葬噪葬灶燥 等咱愿暂 提出 运酝杂酝渊 噪藻则鄄 灶藻造 皂怎贼怎葬造 泽怎遭泽责葬糟藻 皂藻贼澡燥凿冤算法袁蕴援宰燥造枣 等咱怨暂 提出 运孕粤渊 噪藻则灶藻造 责则蚤灶糟蚤责葬造 葬灶早造藻泽冤算法袁使用核函数来解 决数据的非线性问题袁进而完成多观测样本的分类遥 虽然 运酝杂酝 和 运孕粤 考虑了数据的非线性分布袁但是 这 圆 种方法用到的核函数对参数的依赖性较大遥 以 上这些方法都没有考虑到通过转换数据可以提取到 更多的判别信息袁栽援运援运蚤皂 等咱员园暂提出 阅悦悦渊 凿蚤泽糟则蚤皂蚤鄄 灶葬灶贼 糟葬灶燥灶蚤糟葬造 糟燥则则藻造葬贼蚤燥灶冤 算法袁其首先通过训练获 得一个能使类内典型相关性最大而类间典型相关性 最小的判别转换矩阵袁然后把原空间数据映射到新 的子空间上袁在此基础上把典型差分相关性作为相 似度量进行分类袁此方法存在未考虑数据非线性分 布的缺点遥 一些研究者曾认为所有典型相关性对分 类的贡献是相同的袁即权值相等遥 但后来 栽援运援运蚤皂 等咱员员暂发现在分类中不同的典型相关性所起的作用 是不同的袁 继而提出了 月燥酝孕粤 渊 遭燥燥泽贼藻凿 皂葬灶蚤枣燥造凿 责则蚤灶糟蚤责葬造 葬灶早造藻泽冤算法袁该算法首先通过 孕孕悦粤渊 责则燥遭鄄 葬遭蚤造蚤泽贼蚤糟 孕悦粤冤搜索局部线性模块袁并将得到的所有 模块表示成 孕悦粤 子空间的形式袁进而计算子空间之 间的典型相关性袁然后把训练集表示为正负样本特 征的形式袁同时采用 粤凿葬月燥燥泽贼 算法得到相应的权 值袁最后用加权后的主成分角来度量子空间的相似 性袁实现多观测样本的分类遥 在此基础上袁 载援 蕴蚤 等咱员圆暂提出 月燥燥泽贼藻凿 全局和局部主成分角联合的分类 算法遥 文献咱 员猿暂 提出 酝酝阅 渊 皂葬灶蚤枣燥造凿鄄皂葬灶蚤枣燥造凿 凿蚤泽鄄 贼葬灶糟藻冤方法袁该方法将典型相关性和局部线性模块 结合起来袁首先用联合局部线性模型的集合来表示 子空间所描述的流形袁从而把 酝酝阅 转换为线性模 块的组合袁最终通过 酝酝阅 的计算来对观测样本进 行分类袁但该方法的计算量和复杂度相对较大遥 宰援 杂援悦澡怎 咱员源暂提出 运阅栽 渊 噪藻则灶藻造 凿蚤泽糟则蚤皂蚤灶葬灶贼 贼则葬灶泽枣燥则皂葬鄄 贼蚤燥灶冤来解决多观测样本的分类问题袁该方法用核子 空间来表示每个样本集袁同时定义一个能使类内核 子空间相似性最大而类间核子空间相似性最小的 运阅栽 矩阵袁从而把多观测样本的分类问题转换为寻 求 运阅栽 矩阵的最优解问题遥 近来袁 耘援 运燥噪蚤燥责燥怎造燥怎 等咱员缘暂在标记传播算法的基础上提出了 酝粤杂悦渊 皂粤灶鄄 蚤枣造燥凿鄄遭葬泽藻凿 泽皂燥燥贼澡蚤灶早 怎灶凿藻则 糟燥灶泽贼则葬蚤灶冤 算法袁该算法 将 噪鄄近邻图运用到多观测样本的分类问题中袁但是 噪鄄近邻图的边权值的计算采用了欧式距离下的高斯 核函数袁而基于欧式距离的测度无法全面反映数据 的空间分布特性遥 由上述可知袁目前的多观测样本分类算法都有 一定的不足和局限性遥 本文在经典 杂灾酝 算法的基 础上袁用 杂灾酝 的相关理论来实现多观测样本的分 类遥 与传统的 杂灾酝 算法相同袁本文方法适用于小样 本情况袁利用核函数解决了非线性问题和维数问题袁 其算法复杂度与样本维数无关遥 然而袁与传统分类 方法的不同在于袁该方法无需对分类器进行训练或 提前对训练集进行特征表示袁而是将测试集和训练 集作为一个整体袁充分利用特征空间中同类样本连 续分布这一特点袁使得分类更加准确遥 第 源 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 李欢袁等院 支持向量机的多观测样本二分类算法 窑猿怨猿窑
.394. 智能系统学报 第9卷 习所解决的分类问题中，测试集中的样本是属于多 1多观测样本二分类问题的描述 个类别的。因此，经典的半监督学习分类算法并不 多观测样本形成示意图如图1所示。在多观测 适合解决多观测样本二分类问题。同时，目前已有 样本的二分类问题中，若假设测试模式为s,则该问 的多观测样本算法都存在着一定的不足。针对上问 题就是将测试模式的多观测样本确定为2种类别中 题，本文提出了一种新的算法，即基于SVM的多观 的一类。 测样本二分类算法。 11 2基于SVM的多观测样本二分类 2.1支持向量机 支持向量机(support vector machine,.SVM)是一 种基于结构风险最小化(structural risk minimization, SRM)原理，在统计学习理论的基础上发展起来的机 器学习方法[6。SVM的基本实现方法就是在原空 间或者经过投影后的高维空间中构造最优分类面， 并将此分类面作为分类决策面进行数据分类。 SVM最基本的理论是用来解决二分类问题的， SVM的目标就是构造线性最优分类超平面，使其将 图1多观测样本形成示意图 2类样本完全正确地分开，同时使分类间隔最大。 Fig.1 Schematic diagram of producing multiple observations 对于给定的样本集，(x,y),i=1,2,,l,:∈ 假定测试模式s的多测样本为 R,y:=±1，当样本集线性可分时，对应的线性判别 x0=o(s),i=1,2,…,m (1) 函数的一般形式为：g(x)=(w'x)+b,其中w、b为 式中：上标()表示各个观测样本是未标记的，m n维向量，对判别函数作归一化处理，使离分类面最 表示观测样本的数目，(s)表示模式s的第i个单 近的样本满足g(x)=1,则分类间隔等于 观测样本，它可能是模式s经过平移、旋转、缩放或 2/‖wI,使分类间隔最大等价于使Iw‖2最小： 者是透视投影得到的，也可能是模式s在某一特定 要求分类面能将所有样本正确分类，也就是要求它 时刻的观察记录。 满足： 多观测样本二分类问题的数据集可表示为X= y(w'x:+b)≥1，i=1,2,…,n (2) {XD,X@},其中X0={x1,x2,…,x}CR,d为 且使‖w‖2最小的分类面就是最优分类面。 样本维数，X0表示已知标签的样本集，含有1个样 综上所述，最优分类面的求解问题等价于在式 本，X0涵盖了所有类别的数据。X={x+1,+2, (2)的约束下最小化式(3)： …,xn}CR,n=l+m,Xm表示未知标签的样本 w)=IwI2=之w (3) 集，含有m个样本，并且所有样本属于同一类别，其 而这一问题可以通过定义拉格朗日函数（式 对应于式(1)的多观测样本，即X={x+1,x1+2,…, (4))来求解： xn}△{x,x,…,x四！。因为二分类问题中的 所用数据样本只属于2个类别，所以可以将数据的 L(w,b,a)=‖wI2/2- ∑a[(wx:+b)-1刂 标签集表示为：Y={-1,+1}。 (4) 综上所述，多观测样本二分类问题可正式定义 式中：a:≥0为Lagrange系数，则问题转换成对w 为：给定已知标签的样本集X和未知标签的样本 和b求Lagrange函数的最小值。式(4)分别对w、b 集X,而X对应于模式s的多观测样本，即 求偏微分，并令结果为零，则有 Xm△{xm=o,(s),j=1,2,…,m},问题就是确定 aL 未知标签的多观测样本的正确类别。其实，多观测 =0→w= ow ∑y (5) 样本二分类问题就是一种特殊的半监督学习，限制 aL 测试集中的所有样本属于同一类别，进而把多观测 b =0=2aX=0 样本作为一个整体进行测试。而在一般的半监督学 将式(5)代入式(4)，则原问题可以进一步转化为凸
员摇 多观测样本二分类问题的描述 多观测样本形成示意图如图 员 所示遥 在多观测 样本的二分类问题中袁若假设测试模式为 泽袁 则该问 题就是将测试模式的多观测样本确定为 圆 种类别中 的一类遥 图 员摇 多观测样本形成示意图 云蚤早援员摇 杂糟澡藻皂葬贼蚤糟 凿蚤葬早则葬皂 燥枣 责则燥凿怎糟蚤灶早 皂怎造贼蚤责造藻 燥遭泽藻则增葬贼蚤燥灶泽 摇 摇 假定测试模式 泽 的多测样本为 曾渊怎冤 蚤 越 燥蚤 渊泽冤 袁蚤 越 员袁圆袁噎袁皂 渊员冤 式中院上标 渊怎冤 表示各个观测样本是未标记的袁 皂 表示观测样本的数目袁 燥蚤 渊泽冤 表示模式 泽 的第 蚤 个单 观测样本袁它可能是模式 泽 经过平移尧旋转尧缩放或 者是透视投影得到的袁也可能是模式 泽 在某一特定 时刻的观察记录遥 多观测样本二分类问题的数据集可表示为 载 越 喳载渊造冤 袁载渊怎冤 札 袁其中 载渊造冤 越 喳曾员 袁曾圆 袁噎袁曾造札 奂 砸凿 袁 凿 为 样本维数袁 载渊造冤 表示已知标签的样本集袁含有 造 个样 本袁 载渊造冤 涵盖了所有类别的数据遥 载渊怎冤 越 喳曾造 垣员 袁曾造垣圆 袁 噎袁曾灶 札 奂 砸凿 袁 灶 越 造 垣 皂 袁 载渊怎冤 表示未知标签的样本 集袁含有 皂 个样本袁并且所有样本属于同一类别袁其 对应于式渊员冤的多观测样本袁即 载渊怎冤 越 喳曾造 垣员 袁曾造垣圆 袁噎袁 曾灶 札勖喳曾渊怎冤 员 袁曾渊怎冤 圆 袁噎袁曾渊怎冤 皂 札 遥 因为二分类问题中的 所用数据样本只属于 圆 个类别袁所以可以将数据的 标签集表示为院 再 越 原 员袁 垣 员 遥 综上所述袁多观测样本二分类问题可正式定义 为院给定已知标签的样本集 载渊造冤 和未知标签的样本 集 载渊怎冤 袁而 载渊怎冤 对应于模式 泽 的多观测样本袁 即 载渊怎冤 勖 喳曾躁 渊怎冤 越 燥躁 渊泽冤 袁躁 越 员袁圆袁噎袁皂札 袁问题就是确定 未知标签的多观测样本的正确类别遥 其实袁多观测 样本二分类问题就是一种特殊的半监督学习袁限制 测试集中的所有样本属于同一类别袁进而把多观测 样本作为一个整体进行测试遥 而在一般的半监督学 习所解决的分类问题中袁测试集中的样本是属于多 个类别的遥 因此袁经典的半监督学习分类算法并不 适合解决多观测样本二分类问题遥 同时袁目前已有 的多观测样本算法都存在着一定的不足遥 针对上问 题袁本文提出了一种新的算法袁即基于 杂灾酝 的多观 测样本二分类算法遥 圆摇 基于 杂灾酝 的多观测样本二分类 圆援员摇 支持向量机 支持向量机渊 泽怎责责燥则贼 增藻糟贼燥则 皂葬糟澡蚤灶藻袁 杂灾酝冤是一 种基于结构风险最小化渊 泽贼则怎糟贼怎则葬造 则蚤泽噪 皂蚤灶蚤皂蚤扎葬贼蚤燥灶袁 杂砸酝冤原理袁在统计学习理论的基础上发展起来的机 器学习方法咱员远暂 遥 杂灾酝 的基本实现方法就是在原空 间或者经过投影后的高维空间中构造最优分类面袁 并将此分类面作为分类决策面进行数据分类遥 杂灾酝 最基本的理论是用来解决二分类问题的袁 杂灾酝 的目标就是构造线性最优分类超平面袁使其将 圆 类样本完全正确地分开袁同时使分类间隔最大遥 对于给定的样本集袁 渊曾蚤袁赠蚤冤 袁蚤 越 员袁圆袁噎袁造 袁 曾蚤 沂 砸凿 袁赠蚤 越 依 员袁当样本集线性可分时袁对应的线性判别 函数的一般形式为院 早渊曾冤 越 渊憎栽 曾冤 垣 遭 袁其中 憎尧遭 为 灶 维向量袁对判别函数作归一化处理袁使离分类面最 近的样本满足 早渊曾冤 越 员袁 则分类间隔等于 圆 辕 椰憎椰袁 使分类间隔最大等价于使 椰憎椰圆 最小曰 要求分类面能将所有样本正确分类袁也就是要求它 满足院 赠蚤 渊憎栽 曾蚤 垣 遭冤 逸 员袁蚤 越 员袁圆袁噎袁灶 渊圆冤 且使 椰憎椰圆 最小的分类面就是最优分类面遥 综上所述袁最优分类面的求解问题等价于在式 渊圆冤的约束下最小化式渊猿冤院 椎渊憎冤 越 员 圆 椰憎椰圆 越 员 圆 憎栽 憎 渊猿冤 摇 摇 而这一问题可以通过定义拉格朗日函数渊式 渊源冤冤来求解院 蕴渊憎袁遭袁葬冤 越 椰憎椰圆 辕 圆 原 移 灶 蚤 越 员 琢蚤咱赠蚤 渊憎栽 曾蚤 垣 遭冤 原 员暂 渊源冤 式中院 琢蚤 逸 园 为 蕴葬早则葬灶早藻 系数袁则问题转换成对 憎 和 遭 求 蕴葬早则葬灶早藻 函数的最小值遥 式渊源冤分别对 憎尧遭 求偏微分袁并令结果为零袁则有 鄣蕴 鄣憎 越 园圯憎 越 移 灶 蚤 越 员 琢蚤赠蚤曾蚤 鄣蕴 鄣遭 越 园圯移 灶 蚤 越 员 琢蚤赠蚤 越 园 渊缘冤 将式渊缘冤代入式渊源冤袁则原问题可以进一步转化为凸 窑猿怨源窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 怨 卷
第4期 李欢，等：支持向量机的多观测样本二分类算法 ·395· 二次规划的对偶问题： 2.2基于SVM的多观测样本二分类 mas-p 由于支持向量机具有结构简单、推广性能好、优 化求解时具有惟一最优解等优点，本文将用SVM的 =1 相关理论来解决多观测样本二分类问题，确定多观 s.t. a≥0，i=1,2,…,n (6) g%0 测样本的类别。根据SVM的原理可知，SVM要解 决的数学问题为 在式(6)所得的结果中，只有少数的α：不等于 min21w2+c}车 零，其对应的样本离最优分类面最近，这些样本被称 s.t.y:(wp(x)+b)≥1-专，i=1,2,,n 为支持向量。上述问题存在惟一最优解，若最优解 5:≥0，i=1,2,…,n 为a,”,则w=∑ayx,b可由式(2)取等号 (7) 时得到，因此，最终的最优分类函数为 而从多观测样本二分类问题的描述可知，二分 f(x)=sg((w)'x+b·)= 类问题中的所有数据只属于2个类别，数据的标签 集为{-1，+1}，设多观测样本集X)的标签为 m(宫a+b) y,则y=-1或y=+1。因此可以通过假设多观测 对于样本集非线性可分的情况，可以先把原始 样本的标签来增加式(7)的约束条件： 空间的样本集通过非线性变换”映射到一个高维 1 min2 IwI2+c∑专 的特征空间，使得样本集在新的空间线性可分，然后 构造最优分类平面。这种非线性变换可以通过引入 st.y:(wp(x）+b)≥1-5，i=1,2,,l 适当的核函数来实现，用k(x:,x)=P(x:)·p() y(w'p(x)+b)≥1，j=l+1,2,…,n 代替线性可分情况下的点积(x,),式(6)中的优 y41=142=…=yn=y 化函数变为 5≥0，i=1,2,…,l Q(a)= 0,ayyk(r,x）/2 (8) =1 可以先假设y=-1,求解得到目标函数值g1。 最终的分类函数为 再假设y=+1,求解得到目标函数值g2。只有当假 fx)=sg(∑ayk(x,x)+b) 设的标签与多观测样本的实际标签相同时，相应得 到的目标函数值才是最优解。因此，可以通过比较 在线性不可分的问题中，SVM还引入了惩罚因 两次得到的目标函数值来确定待测试的多观测样本 子C和松弛变量专，此时最优分类面的求解问题可 的标签。如式(9)所示： 描述为 -1,81>82 (9) min wC y= +1,81≤82 为求解式(8)所述的优化问题，引入拉格朗日 s.t.y(wp(x:)+b)≥1-，i=1,2,,n 函数L: ≥0，i=1,2,…,n 同样地，通过定义拉格朗日函数的方法可以将 (w,b,5,aB)=2Iw2+C:- 原问题转换为凸二次规划的对偶问题： ∑a,[y(w'e(x)+b)-1+]- max∑a:-2,a ayiyk(x:) a i=l 2r右.-2B,[(w'(x)+b)-1](10) s.t. 0≤a:≤C,i=1,2,,n 式中：a:B:J:为Lagrange系数，a:≥0，B,≥0，：≥ 0,5:≥0。要使函数L关于w、b、5:最小化，由极值 存在的必要条件可知，函数L的极值满足下列条件： 对应的最优分类函数为 (aL/aw =0 aL/ab=0 (11) f(x)sgn(aiyk(x.x)+b') aL/aξ：=0
二次规划的对偶问题院 皂葬曾 琢 移 灶 蚤 越 员 琢蚤 原 移 灶 蚤袁躁 越 员 琢蚤琢躁 赠蚤赠躁 曾蚤 栽 曾躁 辕 圆 泽援贼援摇 琢蚤 逸 园袁蚤 越 员袁圆袁噎袁灶 移 灶 蚤 越 员 琢蚤赠蚤 越 园 渊远冤 摇 摇 在式渊远冤所得的结果中袁只有少数的 琢蚤 不等于 零袁其对应的样本离最优分类面最近袁这些样本被称 为支持向量遥 上述问题存在惟一最优解袁若最优解 为 琢蚤 鄢 袁则 憎鄢 越 移 灶 蚤 越 员 琢鄢 蚤 赠蚤曾蚤袁 遭鄢 可由式渊圆冤取等号 时得到袁因此袁最终的最优分类函数为 枣渊曾冤 越 泽早灶渊渊憎鄢冤 栽 曾 垣 遭鄢冤 越 泽早灶渊移 灶 蚤 越 员 琢鄢 蚤 赠蚤曾蚤 栽 曾 垣 遭鄢冤 摇 摇 对于样本集非线性可分的情况袁可以先把原始 空间的样本集通过非线性变换 渍 映射到一个高维 的特征空间袁使得样本集在新的空间线性可分袁然后 构造最优分类平面遥 这种非线性变换可以通过引入 适当的核函数来实现袁用 噪渊曾蚤袁曾躁 冤 越 渍渊曾蚤冤窑渍渊曾躁 冤 代替线性可分情况下的点积 渊曾栽 蚤 袁曾躁 冤 袁式渊远冤中的优 化函数变为 匝渊琢冤 越 移 灶 蚤 越 员 琢蚤 原 移 灶 蚤袁躁 越 员 琢蚤琢躁 赠蚤赠躁 噪渊曾蚤袁曾躁 冤 辕 圆 最终的分类函数为 枣渊曾冤 越 泽早灶渊移 灶 蚤 越 员 琢鄢 蚤 赠蚤噪渊曾蚤袁曾冤 垣 遭鄢冤 摇 摇 在线性不可分的问题中袁杂灾酝 还引入了惩罚因 子 悦 和松弛变量 孜 袁此时最优分类面的求解问题可 描述为 皂蚤灶 椰憎椰圆 辕 圆 垣 悦移 灶 蚤 越 员 孜蚤 泽援贼援摇 赠蚤 渊憎栽 渍渊曾蚤冤 垣 遭冤逸员 原 孜蚤袁蚤 越 员袁圆袁援援援袁灶 孜蚤 逸 园袁蚤 越 员袁圆袁噎袁灶 摇 摇 同样地袁通过定义拉格朗日函数的方法可以将 原问题转换为凸二次规划的对偶问题院 皂葬曾 琢 移 灶 蚤 越 员 琢蚤 原 员 圆 移 灶 蚤袁躁 越 员 琢蚤琢躁 赠蚤赠躁 噪渊曾蚤袁曾躁 冤 泽援贼援摇 园 臆 琢蚤 臆 悦袁蚤 越 员袁圆袁援援援袁灶 移 灶 蚤 越 员 琢蚤赠蚤 越 园 对应的最优分类函数为 枣渊曾冤 越 泽早灶渊移 灶 蚤 越 员 琢鄢 蚤 赠蚤噪渊曾蚤袁曾冤 垣 遭鄢冤 圆援圆摇 基于 杂灾酝 的多观测样本二分类 由于支持向量机具有结构简单尧推广性能好尧优 化求解时具有惟一最优解等优点袁本文将用 杂灾酝 的 相关理论来解决多观测样本二分类问题袁确定多观 测样本的类别遥 根据 杂灾酝 的原理可知袁杂灾酝 要解 决的数学问题为 皂蚤灶 员 圆 椰憎椰圆 垣 悦移 灶 蚤 越 员 孜蚤 泽援贼援 赠蚤 渊憎栽 渍渊曾蚤冤 垣 遭冤逸员 原 孜蚤袁蚤 越 员袁圆袁援援援袁灶 孜蚤 逸 园袁蚤 越 员袁圆袁噎袁灶 渊苑冤 摇 摇 而从多观测样本二分类问题的描述可知袁二分 类问题中的所有数据只属于 圆 个类别袁数据的标签 集为 原 员袁 垣 员 袁设多观测样本集 载渊怎冤 的标签为 赠 袁则 赠 越 原 员 或 赠 越 垣 员遥 因此可以通过假设多观测 样本的标签来增加式渊苑冤的约束条件院 皂蚤灶 员 圆 椰憎椰圆 垣 悦移 造 蚤 越 员 孜蚤 泽援贼援摇 赠蚤 渊憎栽 渍渊曾蚤冤 垣 遭冤逸员 原 孜蚤袁蚤 越 员袁圆袁援援援袁造 赠躁 渊憎栽 渍渊曾躁 冤 垣 遭冤 逸 员袁躁 越 造 垣 员袁圆袁援援援袁灶 赠造垣员 越 赠造垣圆 越 噎 越 赠灶 越 赠 孜蚤 逸 园袁蚤 越 员袁圆袁噎袁造 渊愿冤 摇 摇 可以先假设 赠 越 原 员袁求解得到目标函数值 早员 遥 再假设 赠 越 垣 员袁求解得到目标函数值 早圆 遥 只有当假 设的标签与多观测样本的实际标签相同时袁相应得 到的目标函数值才是最优解遥 因此袁可以通过比较 两次得到的目标函数值来确定待测试的多观测样本 的标签遥 如式渊怨冤所示院 赠 赞 越 原 员袁早员 跃 早圆 垣 员袁早员 臆 早圆 渊怨冤 摇 摇 为求解式渊愿冤所述的优化问题袁引入拉格朗日 函数 蕴 院 蕴渊憎袁遭袁孜蚤袁琢蚤袁茁蚤袁则蚤冤 越 员 圆 椰憎椰圆 垣 悦移 造 蚤 越 员 孜蚤 原 移 造 蚤 越 员 琢蚤 咱赠蚤 渊憎栽 渍渊曾蚤冤 垣 遭冤 原 员 垣 孜蚤暂 原 移 造 蚤 越 员 则蚤孜蚤 原 移 灶 蚤 越 造垣员 茁蚤咱赠渊憎栽 渍渊曾蚤冤 垣 遭冤 原 员暂 渊员园冤 式中院 琢蚤尧茁蚤尧则蚤 为 蕴葬早则葬灶早藻 系数袁 琢蚤 逸 园袁茁蚤 逸 园袁则蚤 逸 园袁孜蚤 逸 园遥 要使函数 蕴 关于 憎尧遭尧孜蚤 最小化袁由极值 存在的必要条件可知袁函数 蕴 的极值满足下列条件院 鄣蕴 辕 鄣憎 越 园 鄣蕴 辕 鄣遭 越 园 鄣蕴 辕 鄣孜蚤 越 园 渊员员冤 第 源 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 李欢袁等院 支持向量机的多观测样本二分类算法 窑猿怨缘窑
·396 智能系统学报 第9卷 解方程(11)可得 3多图像样本集的分类 w=∑ayg(x)+】 3.1手写数字分类 a+A=0 (12) 为了验证基于SVM的多观测样本二分类算法 的有效性，首先在手写数字数据库上进行实验。同 C-a-:=0 类数字不同形式的手写图像组成多观测样本集，对 将式(12)代入式(10)得到优化问题式(8)的对 此类样本集进行分类。实验中，使用2种不同的数 偶形式，即关于α：、B的最大化函数： 据库：Binary手写数字数据库和USPS手写数字数 据库。Binary数据库包含0~9共10类数字的手写 i=l+1 图像，每类数字有39个样本，每个样本用大小为 号多2P明ow)-名豆aA》 20×16的二值图像表示。USPS数据库由0~9共10 类手写数字组成，每类数字有1100个样本，每个样 s.t.0≤a≤C,i=1,2,,l 本用大小为16×16的灰度图像表示。 B≥0，i=l+1,2,,n 模式变换的鲁棒性是多观测样本分类的一种重 a+r=0 要特性。可以使用虚拟样本来扩充已标记样本集， j=1+1 从而加强分类算法的抗变换性。虚拟样本一般通过 原始样本的变换产生，虚拟样本的类别与原始样本 (13) 若设Y=[y1…y1y41…yJT,因为 相同，因此是已知标签的已标记样本。通过在数据 y+1=y+2=…=yn=y,所以Y= 集中添加虚拟样本，分类算法对测试样本的鲁棒性 [y1…yy…yT。令0=[11… 更强。因此，在本文所提的算法中使用这一方法，在 1],A= [a1…aB+1…B]T,则式(13)变为 原始数据集中添加大小为n的样本集X,数据 集变为：X={X0,X),X}。实验中，核函数选 max OA-A((YY)·K)A (14) 2 用高斯核函数，即：(x,y)=exp(- 可以看到，通过求解式(14)可以能得到两次标 ‖x-y‖2/2o2)。为计算参数σ的大小，在数据 签假设对应的目标函数值g,和g2,从而根据式(9) 集X中随机选取1000个样本，并计算两两样本之 确定待测试的多观测样本的标签。 间的欧式距离，σ设置为所有距离的中值的1/2。 2.3基于SVM的多观测样本二分类的算法描述 对于每类数字，首先从对应样本中随机抽取2 基于SVM的多观测样本二分类的算法如下： 个样本组成训练集，剩下的样本组成测试集。再对 输人： 训练集中的每个样本做连续的4次旋转变换，得到 X0、Y):已标记样本集和它的标签集； 的样本放在训练集中，其中旋转角0从[-40°，40°] X):多观测样本集： 的均匀采样序列中得到。这样的区间能避免“6”和 l:已标记样本的数目； “9”2类数字的混淆。为了建立每类数字的多观测 m:多观测样本数目。 样本数据集X),从每类数字的测试集中随机选取 输出： 一个样本并对这个样本进行旋转变换，旋转角0∈ y:多观测样本的类别。 [-40°，40°]。每次测试时，选取2类不同的数字 处理： 进行实验，共有45种组合，即(0,1)，(0,2)，…， 1)由X四和X)得到样本矩阵X,XCRx4,由 (7,8),(7,9),(8,9)。再由这2类数字的训练样 YD得到标签矩阵Y; 本共同组成算法的训练集X④，而对应的测试集作 2)计算样本矩阵X对应的核矩阵K; 为算法的测试集，即多观测样本。该实验对不同大 3)设y=-1,求解优化问题：max OA- 小的多观测样本进行了实验，样本数m=[5:5: A'(YY)·K)A/2,得到g1;设y=+1,求解优化问 40]。对于不同大小的数据集X,45种组合中的 题：max OA-A'(YY)·K)A/2,得到g2; 每个组合进行10次随机实验，每个组合要对2个测 4)若g1>82则y=-1,否则y=+1。 试集进行测试，所以实验中的每个结果都是900次
解方程渊员员冤可得 憎 越 移 造 蚤 越 员 琢蚤赠蚤渍渊曾蚤冤 垣 移 灶 躁 越 造垣员 茁躁 赠渍渊曾躁 冤 移 造 蚤 越 员 琢蚤赠蚤 垣 移 灶 躁 越 造垣员 茁躁 赠 越 园 悦 原 琢蚤 原 则蚤 越 园 渊员圆冤 摇 摇 将式渊员圆冤代入式渊员园冤得到优化问题式渊愿冤的对 偶形式袁即关于 琢蚤尧 茁躁 的最大化函数院 皂葬曾移 造 蚤 越 员 琢蚤 垣 移 灶 蚤 越 造垣员 茁蚤 原 员 圆 移 造 蚤 越 员 移 造 躁 越 员 琢蚤琢躁 赠蚤赠躁 噪渊曾蚤袁曾躁 冤 原 员 圆 移 灶 蚤 越 造 垣员 移 灶 躁 越 造垣员 茁蚤茁躁 赠蚤赠躁 噪渊曾蚤袁曾躁 冤 原 移 造 蚤 越 员 移 灶 躁 越 造 垣员 琢蚤茁躁 赠蚤赠躁 噪渊曾蚤袁曾躁 冤 泽援贼援摇 园 臆 琢蚤 臆 悦袁蚤 越 员袁圆袁援援援袁造 茁蚤 逸 园袁蚤 越 造 垣 员袁圆袁援援援袁灶 移 造 蚤 越 员 琢蚤赠蚤 垣 移 灶 躁 越 造垣员 茁躁 赠 越 园 渊员猿冤 摇 摇 若设 再 越 赠员 噎 赠造 赠造垣员 噎 赠 灶 栽 袁因为 赠造 垣员 越 赠造垣圆 越 噎 越 赠灶 越 赠 袁 所 以 再 越 赠员 噎 赠造 赠 噎 赠 栽 遥 令 韵 越 员员噎员 袁 粤 越 琢员 噎琢造 茁造 垣员 噎 茁灶 栽 袁则式渊员猿冤变为 皂葬曾 韵粤 原 员 圆 粤栽 渊 渊再再栽 冤窑运冤粤 渊员源冤 摇 摇 可以看到袁通过求解式渊员源冤可以能得到两次标 签假设对应的目标函数值 早员 和 早圆 袁从而根据式渊怨冤 确定待测试的多观测样本的标签遥 圆援猿摇 基于 杂灾酝 的多观测样本二分类的算法描述 基于 杂灾酝 的多观测样本二分类的算法如下院 输入院 载渊造冤 尧 再渊造冤 院已标记样本集和它的标签集曰 载渊怎冤 院多观测样本集曰 造 院已标记样本的数目曰 皂 院多观测样本数目遥 输出院 赠 赞 院多观测样本的类别遥 处理院 员冤由 载渊造冤 和 载渊怎冤 得到样本矩阵 载袁载奂砸灶伊凿 袁由 再渊造冤 得到标签矩阵 再曰 圆冤计算样本矩阵 载 对应的核矩阵 运曰 猿冤 设 赠 越 原 员袁 求解优化问题院 皂葬曾 韵粤 原 粤栽 渊 渊再再栽 冤窑运冤粤辕 圆袁得到 早员 曰设 赠 越 垣 员袁求解优化问 题院 皂葬曾 韵粤 原 粤栽 渊 渊再再栽 冤窑运冤粤辕 圆袁得到 早圆 曰 源冤若 早员 跃 早圆 则 赠 赞 越 原 员袁否则 赠 赞 越 垣 员遥 猿摇 多图像样本集的分类 猿援员摇 手写数字分类 为了验证基于 杂灾酝 的多观测样本二分类算法 的有效性袁首先在手写数字数据库上进行实验遥 同 类数字不同形式的手写图像组成多观测样本集袁对 此类样本集进行分类遥 实验中袁使用 圆 种不同的数 据库院月蚤灶葬则赠 手写数字数据库和 哉杂孕杂 手写数字数 据库遥 月蚤灶葬则赠 数据库包含 园耀怨 共 员园 类数字的手写 图像袁每类数字有 猿怨 个样本袁每个样本用大小为 圆园伊员远 的二值图像表示遥 哉杂孕杂 数据库由 园耀怨 共 员园 类手写数字组成袁每类数字有 员 员园园 个样本袁每个样 本用大小为 员远伊员远 的灰度图像表示遥 模式变换的鲁棒性是多观测样本分类的一种重 要特性遥 可以使用虚拟样本来扩充已标记样本集袁 从而加强分类算法的抗变换性遥 虚拟样本一般通过 原始样本的变换产生袁虚拟样本的类别与原始样本 相同袁因此是已知标签的已标记样本遥 通过在数据 集中添加虚拟样本袁分类算法对测试样本的鲁棒性 更强遥 因此袁在本文所提的算法中使用这一方法袁在 原始数据集中添加大小为 灶增泽 的样本集 载渊增泽冤 袁数据 集变为院 载 越 喳载渊造冤 袁载渊增泽冤 袁载渊怎冤 札 遥 实验中袁核函数选 用高斯核函数袁 即院 噪 曾 袁赠 越 藻曾责渊 原 椰曾 原 赠椰圆 辕 圆滓圆 冤 遥 为计算参数 滓 的大小袁在数据 集 载 中随机选取 员 园园园 个样本袁并计算两两样本之 间的欧式距离袁 滓 设置为所有距离的中值的 员 辕 圆遥 对于每类数字袁首先从对应样本中随机抽取 圆 个样本组成训练集袁剩下的样本组成测试集遥 再对 训练集中的每个样本做连续的 源 次旋转变换袁得到 的样本放在训练集中袁其中旋转角 兹 从 咱 原 源园毅 袁源园毅 暂 的均匀采样序列中得到遥 这样的区间能避免野远冶和 野怨冶 圆 类数字的混淆遥 为了建立每类数字的多观测 样本数据集 载渊怎冤 袁从每类数字的测试集中随机选取 一个样本并对这个样本进行旋转变换袁旋转角 兹 沂 咱 原 源园毅 袁源园毅 暂 遥 每次测试时袁选取 圆 类不同的数字 进行实验袁共有 源缘 种组合袁即 渊园袁员冤 袁 渊园袁圆冤 袁噎袁 渊苑袁愿冤 袁渊苑袁怨冤 袁 渊愿袁怨冤 遥 再由这 圆 类数字的训练样 本共同组成算法的训练集 载渊贼冤 袁而对应的测试集作 为算法的测试集袁即多观测样本遥 该实验对不同大 小的多观测样本进行了实验袁样本数 皂 越 咱缘院缘院 源园暂 遥 对于不同大小的数据集 载渊怎冤 袁源缘 种组合中的 每个组合进行 员园 次随机实验袁每个组合要对 圆 个测 试集进行测试袁所以实验中的每个结果都是 怨园园 次 窑猿怨远窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 怨 卷
第4期 李欢，等：支持向量机的多观测样本二分类算法 .397. 随机实验的均值，如图2所示。 3)KMSMIs](kernel mutual subspace method): 1[ KMSM是MSM在非线性空间的扩展，该方法考虑了 图像集的非线性。与MSM不同的是，在用线性子空 间建模之前，KMSM需要先把图像样本非线性地映 射到高维特征空间。也就是说，KMSM用KPCA来 取代PCA,从而获得了数据的非线性。KMSM方法 …0 中，使用高斯核函数k(x,y)=exp(- 父以渊计古古门 ‖x-y‖2/2σ2)，其中σ的选取与本文所提的算 (a)在Binary数据库上的平均识别率 法相同。 实验选用ETH-80物体识别数据库，ETH-80含 有8个种类的图像：苹果、车子、牛、杯子、狗、马、梨 和西红柿（如图3(a)所示）。每个种类又含有10个 物体类（例如，狗有10个不同的品种），每个物体类 中包含该物体不同角度的41张图像，例如图3(b) 93 ·0 显示了狗这一种类中一个物体类的所有图像。数据 :以w计士古门 库中的所有图像大小为128×128，为了简化计算，对 (b)在USPS数据库上的平均识别率 图像重新采样，使其大小为32×32。 图2在2种手写数字数据库上的识别率 Fig.2 Classification results measured on two different handwritten digit data sets 从实验结果可以看出本文SVM算法在Binary 数据库和USPS数据库上的识别率很高，尤其在 USPS数据库上，当样本不少于10时识别率为 100%,这就说明基于SVM的多观测样本二分类算 法的可行性。分析数据可得：算法的识别率随着多 观测样本数目的增大而提高，因为增加多观测样本 的数目能提供更多的某特定类别的信息，从而更加 准确地判断类别。 3.2物体图像分类 (a)ETH-80 下面在物体图像数据库上验证基于SVM的多 观测样本二分类算法的有效性，实验中同一物体的 不同观测图像作为此类物体的多观测样本。并将本 文算法与经典的多观测样本分类算法进行对比： I)KLD2(KL-divergence):该方法是典型的基 于密度估计的统计方法，把所有样本集看作是独立 同分布的高斯随机变量，然后通过计算样本集间KL 散度完成多观测样本的分类。实验中，协方差矩阵 特征向量的长度按能量的96%来选取。 2)MSMo(mutual subspace method):MSM是典 型的子空间方法，该方法中的每个图像集用子空间 来表示，而子空间通过主成分即协方差矩阵获得，把 (b)ETH-80中一个物体类的41张图片 训练集与测试集之间的主成分角)]作为相似性度 图3ETH80数据库的样本图像 量。实验中，当样本数目小于9时候，协方差矩阵的 Fig.3 Sample images from the ETH-80 database 特征向量长度等于样本数目，否则设为9
随机实验的均值袁如图 圆 所示遥 渊葬冤 在 月蚤灶葬则赠 数据库上的平均识别率 渊遭冤 在 哉杂孕杂 数据库上的平均识别率 图 圆摇 在 圆 种手写数字数据库上的识别率 云蚤早援圆摇 悦造葬泽泽蚤枣蚤糟葬贼蚤燥灶 则藻泽怎造贼泽 皂藻葬泽怎则藻凿 燥灶 贼憎燥 凿蚤枣枣藻则藻灶贼 澡葬灶凿憎则蚤贼贼藻灶 凿蚤早蚤贼 凿葬贼葬 泽藻贼泽 摇 摇 从实验结果可以看出本文 杂灾酝 算法在 月蚤灶葬则赠 数据库和 哉杂孕杂 数据库上的识别率很高袁尤其在 哉杂孕杂 数据库上袁 当样本不少于 员园 时识别率为 员园园豫袁这就说明基于 杂灾酝 的多观测样本二分类算 法的可行性遥 分析数据可得院算法的识别率随着多 观测样本数目的增大而提高袁因为增加多观测样本 的数目能提供更多的某特定类别的信息袁从而更加 准确地判断类别遥 猿援圆摇 物体图像分类 下面在物体图像数据库上验证基于 杂灾酝 的多 观测样本二分类算法的有效性袁实验中同一物体的 不同观测图像作为此类物体的多观测样本遥 并将本 文算法与经典的多观测样本分类算法进行对比院 员冤运蕴阅咱圆暂 渊 运蕴鄄凿蚤增藻则早藻灶糟藻冤 院该方法是典型的基 于密度估计的统计方法袁把所有样本集看作是独立 同分布的高斯随机变量袁然后通过计算样本集间 运蕴 散度完成多观测样本的分类遥 实验中袁协方差矩阵 特征向量的长度按能量的 怨远豫来选取遥 圆冤酝杂酝咱远暂渊皂怎贼怎葬造 泽怎遭泽责葬糟藻 皂藻贼澡燥凿冤 院酝杂酝 是典 型的子空间方法袁该方法中的每个图像集用子空间 来表示袁而子空间通过主成分即协方差矩阵获得袁把 训练集与测试集之间的主成分角咱员苑暂 作为相似性度 量遥 实验中袁当样本数目小于 怨 时候袁协方差矩阵的 特征向量长度等于样本数目袁否则设为 怨遥 猿冤 运酝杂酝咱愿暂 渊 噪藻则灶藻造 皂怎贼怎葬造 泽怎遭泽责葬糟藻 皂藻贼澡燥凿 冤 院 运酝杂酝 是 酝杂酝 在非线性空间的扩展袁该方法考虑了 图像集的非线性遥 与 酝杂酝 不同的是袁在用线性子空 间建模之前袁运酝杂酝 需要先把图像样本非线性地映 射到高维特征空间遥 也就是说袁运酝杂酝 用 运孕悦粤 来 取代 孕悦粤袁从而获得了数据的非线性遥 运酝杂酝 方法 中袁 使用高斯核函数 噪 曾 袁赠 越 藻曾责渊 原 椰曾 原 赠椰圆 辕 圆滓圆 冤 袁其中 滓 的选取与本文所提的算 法相同遥 实验选用 耘栽匀鄄愿园 物体识别数据库袁耘栽匀鄄愿园 含 有 愿 个种类的图像院苹果尧车子尧牛尧杯子尧狗尧马尧梨 和西红柿渊如图 猿渊葬冤所示冤 遥 每个种类又含有 员园 个 物体类渊例如袁狗有 员园 个不同的品种冤 袁每个物体类 中包含该物体不同角度的 源员 张图像袁例如图 猿渊遭冤 显示了狗这一种类中一个物体类的所有图像遥 数据 库中的所有图像大小为 员圆愿伊员圆愿袁为了简化计算袁对 图像重新采样袁使其大小为 猿圆伊猿圆遥 渊葬冤耘栽匀鄄愿园 渊 遭冤耘栽匀鄄愿园 中一个物体类的 源员 张图片 图 猿摇 耘栽匀鄄愿园 数据库的样本图像 云蚤早援猿摇 杂葬皂责造藻 蚤皂葬早藻泽 枣则燥皂 贼澡藻 耘栽匀原愿园 凿葬贼葬遭葬泽藻 第 源 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 李欢袁等院 支持向量机的多观测样本二分类算法 窑猿怨苑窑
.398 智能系统学报 第9卷 每个种类的训练样本集由其10个物体类均随 时脸部表情也在不断地变化。在两个数据库的预处 机抽取的10张图像组成，即每个种类的训练样本集 理中，首先用Viola P的人脸检测方法[2o]从视频序 含有100个样本，而剩余的31张图像组成每个物体 列的视频帧中提取人脸区域。为了简化计算，把得 类的测试集。实验中，从八大种类中选取2个不同 到的人脸图像重新采样，使其大小为32×32。 的种类进行分类测试，共有28种组合，即(1,2)， 4.2基于VidTIMIT数据库的人脸识别 (1,3),…,(6,7),(6,8),(7,8)。由这2个种类的 首先在VidTIMIT数据库上对本文算法进行测 训练样本共同组成算法的训练集X0,再分别为这 试。图4显示了VidTIMIT数据库中一些样本图像。 2个种类构建测试集：从每个种类对应的10个物体 类中随机选取一个物体类，再从此物体类中选取10 个样本组成多观测样本，即为该种类的测试集。对 28种组合中的每个组合进行10次随机实验，每个 组合要对2个测试集进行测试，所以实验中的每个 结果都是560次随机实验的均值，如表1所示。 表1在ETH80数据库上的识别率 Table 1 Object recognition rate measured on the ETH-80 database /% 图4 VidTIMIT数据库中的样本图像 算法 KLD MSM KMSM 本文SVM Fig.4 Sample images in the VidTIMIT database 识别率 85.714 97.500 91.071 98.036 由于数据库含有3个时间段的视频序列，因此 实验结果表明，本文SVM算法在ETH-80数据 采用下面的标准度量算法的性能： 库上的识别率很高，并且该算法优于其他3种算法， 3 eli,j) 这就说明了基于SVM的多观测样本二分类算法的 6台j=: 有效性。 式中：e(i,》表示第i个时间段的数据作为训练集， 第广个时间段的数据作为测试集时的分类正确率。 4基于视频的人脸识别 也就是说e是以下6次实验的平均正确率，即(1， 4.1实验数据集 2),(1,3),(2,1),(2,3),(3,1)和(3,2)。在这6 为了验证基于SVM的多观测样本二分类算法 次实验的每次实验中，选取2种不同类别的数据进 的有效性，在基于视频序列的人脸识别问题中进行 行实验，共有45种组合，即(1,2)，（1,3)，…，(9， 实验，把视频中不同的视频帧作为同一个人的多观 8),(9,10)。再由这2类在第i个时间段中的图像 测样本。由于视频中人的头部姿势，人脸表情和光 集共同组成算法的训练集X”,而这2类在第j个 照都是变化的，所以本节是在真实的环境中验证所 时间段的图像集作为算法的测试集，即多观测样本。 提算法的有效性。把所提算法与4.2节中描述的 该实验对不同大小的多观测样本进行了实验，样本 KLD,MISM和KMSM进行比较。由于实验中所用视 数目m=[4:4:16]。对于不同数目的多观测样本 频序列的视频帧在时间上是连续的，因此，该算法同 数据集X),45种组合中的每个组合都有2个测试 样适用于基于图像集的人脸识别问题。 集，因此每个组合要进行2次测试。所以实验中的 实验中，使用2个数据库：VidTIMIT数据库18) 每个e(i,j)都是90次实验的均值，每个结果e是 和Honda/UCSD19]数据库的第1部分。VidTIMIT 540次随机实验的结果，实验结果如表2所示。 数据库包含了43个人在3个时间段的人脸视频序 表2在VidTIMIT数据库上的识别率 列，其中第1个和第2个时间段间隔7天，第2和第 Table 2 Recognition results on the VidTIMIT database/% 3个时间段间隔6天。每一个视频序列中，被拍摄 样本数目mKD MSM KMSM 本文SVM 者头部在不断运动：向左，向右，回到中间，再向下， 4 50.600 72.965 86.157 97.287 向上，再回到中间位置。Honda/UCSD数据库包含 8 88.410 89.277 92.229 98.828 了20个人的59个视频序列，每个人有2~5个视频 12 94.630 95.995 95.496 99.148 序列。与VidTIMIT数据库不同的是，Honda/UCSD 16 96.630 96.742 96.244 99.003 数据库的被拍摄者以不同的速度自由移动头部，同
每个种类的训练样本集由其 员园 个物体类均随 机抽取的 员园 张图像组成袁即每个种类的训练样本集 含有 员园园 个样本袁而剩余的 猿员 张图像组成每个物体 类的测试集遥 实验中袁从八大种类中选取 圆 个不同 的种类进行分类测试袁共有 圆愿 种组合袁即 渊员袁圆冤 袁 渊员袁猿冤 袁噎袁渊远袁苑冤 袁渊远袁愿冤 袁渊苑袁愿冤 遥 由这 圆 个种类的 训练样本共同组成算法的训练集 载渊造冤 袁再分别为这 圆 个种类构建测试集院从每个种类对应的 员园 个物体 类中随机选取一个物体类袁再从此物体类中选取 员园 个样本组成多观测样本袁即为该种类的测试集遥 对 圆愿 种组合中的每个组合进行 员园 次随机实验袁每个 组合要对 圆 个测试集进行测试袁所以实验中的每个 结果都是 缘远园 次随机实验的均值袁如表 员 所示遥 表 员摇 在 耘栽匀鄄愿园 数据库上的识别率 栽葬遭造藻 员摇 韵遭躁藻糟贼 则藻糟燥早灶蚤贼蚤燥灶 则葬贼藻 皂藻葬泽怎则藻凿 燥灶 贼澡藻 耘栽匀原愿园 凿葬贼葬遭葬泽藻 辕 豫 算法 运蕴阅 酝杂酝 运酝杂酝 本文 杂灾酝 识别率 愿缘援苑员源 怨苑援缘园园 怨员援园苑员 怨愿援园猿远 摇 摇 实验结果表明袁本文 杂灾酝 算法在 耘栽匀鄄愿园 数据 库上的识别率很高袁并且该算法优于其他 猿 种算法袁 这就说明了基于 杂灾酝 的多观测样本二分类算法的 有效性遥 源摇 基于视频的人脸识别 源援员摇 实验数据集 为了验证基于 杂灾酝 的多观测样本二分类算法 的有效性袁在基于视频序列的人脸识别问题中进行 实验袁把视频中不同的视频帧作为同一个人的多观 测样本遥 由于视频中人的头部姿势袁人脸表情和光 照都是变化的袁所以本节是在真实的环境中验证所 提算法的有效性遥 把所提算法与 源援圆 节中描述的 运蕴阅袁酝杂酝 和 运酝杂酝 进行比较遥 由于实验中所用视 频序列的视频帧在时间上是连续的袁因此袁该算法同 样适用于基于图像集的人脸识别问题遥 实验中袁使用 圆 个数据库院灾蚤凿栽陨酝陨栽 数据库咱员愿暂 和 匀燥灶凿葬 辕 哉悦杂阅咱员怨暂 数据库的第 员 部分遥 灾蚤凿栽陨酝陨栽 数据库包含了 源猿 个人在 猿 个时间段的人脸视频序 列袁其中第 员 个和第 圆 个时间段间隔 苑 天袁第 圆 和第 猿 个时间段间隔 远 天遥 每一个视频序列中袁被拍摄 者头部在不断运动院向左袁向右袁回到中间袁再向下袁 向上袁再回到中间位置遥 匀燥灶凿葬 辕 哉悦杂阅 数据库包含 了 圆园 个人的 缘怨 个视频序列袁每个人有 圆耀缘 个视频 序列遥 与 灾蚤凿栽陨酝陨栽 数据库不同的是袁匀燥灶凿葬 辕 哉悦杂阅 数据库的被拍摄者以不同的速度自由移动头部袁同 时脸部表情也在不断地变化遥 在两个数据库的预处 理中袁首先用 灾蚤燥造葬 孕 的人脸检测方法咱圆园暂 从视频序 列的视频帧中提取人脸区域遥 为了简化计算袁把得 到的人脸图像重新采样袁使其大小为 猿圆伊猿圆遥 源援圆摇 基于 灾蚤凿栽陨酝陨栽 数据库的人脸识别 首先在 灾蚤凿栽陨酝陨栽 数据库上对本文算法进行测 试遥 图 源 显示了 灾蚤凿栽陨酝陨栽 数据库中一些样本图像遥 图 源摇 灾蚤凿栽陨酝陨栽 数据库中的样本图像 云蚤早援源摇 杂葬皂责造藻 蚤皂葬早藻泽 蚤灶 贼澡藻 灾蚤凿栽陨酝陨栽 凿葬贼葬遭葬泽藻 由于数据库含有 猿 个时间段的视频序列袁因此 采用下面的标准度量算法的性能院 藻 原 越 员 远 移 猿 蚤 越 员 移 猿 躁 越 员袁躁屹蚤 藻渊蚤袁躁冤 式中院 藻渊蚤袁躁冤 表示第 蚤 个时间段的数据作为训练集袁 第 躁 个时间段的数据作为测试集时的分类正确率遥 也就是说 藻 原 是以下 远 次实验的平均正确率袁即 渊员袁 圆冤 袁渊员袁猿冤 袁渊圆袁员冤 袁渊圆袁猿冤 袁渊猿袁员冤 和渊猿袁圆冤 遥 在这 远 次实验的每次实验中袁选取 圆 种不同类别的数据进 行实验袁共有 源缘 种组合袁即 渊员袁圆冤 袁 渊员袁猿冤 袁噎袁 渊怨袁 愿冤 袁渊怨袁员园冤 遥 再由这 圆 类在第 蚤 个时间段中的图像 集共同组成算法的训练集 载渊造冤 袁而这 圆 类在第 躁 个 时间段的图像集作为算法的测试集袁即多观测样本遥 该实验对不同大小的多观测样本进行了实验袁样本 数目 皂 越 咱源院源院员远暂 遥 对于不同数目的多观测样本 数据集 载渊怎冤 袁源缘 种组合中的每个组合都有 圆 个测试 集袁因此每个组合要进行 圆 次测试遥 所以实验中的 每个 藻渊蚤袁躁冤 都是 怨园 次实验的均值袁每个结果 藻 原 是 缘源园 次随机实验的结果袁实验结果如表 圆 所示遥 表 圆摇 在 灾蚤凿栽陨酝陨栽 数据库上的识别率 栽葬遭造藻 圆摇 砸藻糟燥早灶蚤贼蚤燥灶 则藻泽怎造贼泽 燥灶 贼澡藻 灾蚤凿栽陨酝陨栽 凿葬贼葬遭葬泽藻 辕 豫 样本数目 皂 运蕴阅 酝杂酝 运酝杂酝 本文 杂灾酝 源 缘园援远园园 苑圆援怨远缘 愿远援员缘苑 怨苑援圆愿苑 愿 愿愿援源员园 愿怨援圆苑苑 怨圆援圆圆怨 怨愿援愿圆愿 员圆 怨源援远猿园 怨缘援怨怨缘 怨缘援源怨远 怨怨援员源愿 员远 怨远援远猿园 怨远援苑源圆 怨远援圆源源 怨怨援园园猿 窑猿怨愿窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 怨 卷
第4期 李欢，等：支持向量机的多观测样本二分类算法 .399 图5用柱形图表示了实验结果，本文SVM算法 实验结果表明，相比于以往的KLD、MSM和 在VidTIMIT数据库上的识别率很高。由图5可知， KMSM算法，本文SVM算法获得最高的识别率。这 对不同数目的观测样本，KLD、MSM和KMSM3种 进一步说明了基于SVM的多观测样本二分类算法 算法的识别率变化较大，而本文SVM算法的识别率 的有效性。 变化不大，这说明基于SVM的多观测样本二分类算 表3 在Honda/UCSD数据库上的识别率 法对不同数目的多观测样本具有更好的鲁棒性。 Table 3 Recognition results on the Honda/UCSD database /% ■L北■E■a5M☐木.H 样本数目m KLD MSM KMSM 本文SVM 4 54.678 63.158 79.825 88.596 8 85.371 85.088 82.164 94.444 12 92.690 90.936 83.333 95.322 16 93.860 92.105 85.673 95.906 ☐江I:二[二☐水A3W …产“.- 图5在VidTIMIT数据库上的识别率 Fig.5 Recognition results on the VidTIMIT database 4.3基于Honda/UCSD数据库的人脸识别 在Honda/UCSD数据库上进一步验证本文 SVM算法的有效性。图6显示了Honda/UCSD数 12 据库中一些样本图像。实验中，选取19个人所对应 以州RAH 的视频序列进行实验。实验中，选取2种不同类别 图7在Honda/UCSD数据库上的识别率 的数据进行实验，共有171种组合，即(1,2)，(1， Fig.7 Recognition results on the Honda/UCSD database 3),…,(17,18),(17,19),(18,19)。由这2类数 据的训练样本共同组成算法的训练集X④，而对应 5结束语 的测试集作为算法的测试集，即多观测样本。该实 本文提出基于SVM的多观测样本分类算法，该 验对不同大小的多观测样本进行了实验，m=[4:4: 算法首先进行类别假设，然后求解优化问题得到相 16]。对于不同大小的数据集X,171种组合中 应的目标函数值，把目标函数值作为分类依据来实 的每个组合都有2个测试集，因此每个组合要进行 现多观测样本的二分类。实验结果表明本文算法在 2次测试。所以实验中的每个结果都是342次实验 手写数字识别、物体识别和人脸识别中都能取得较 的均值，如表3所示，并用柱形图表出来（如图7）。 好的分类效果，为模式识别问题提供了一种新的方 法。但是本文针对的是二分类问题，如何在该算法 的基础上实现多分类仍是需要进一步的研究。 fel 参考文献： [1]KIM T K,KITTLER J,CIPOLLA R.On-line learning of mutually orthogonal subspaces for face recognition by image sets[J].IEEE Transactions on Signal Processing,2010,19 2 .hi (4):1067-1074 图6 Honda/UCSD数据库中的样本图像 [2]SHAKHNAROVICH G.FISHER J W,DARREL T.Face Fig.6 Sample images in the Honda/UCSD database recognition from long-term observations [C]//European
摇 摇 图 缘 用柱形图表示了实验结果袁本文 杂灾酝 算法 在 灾蚤凿栽陨酝陨栽 数据库上的识别率很高遥 由图 缘 可知袁 对不同数目的观测样本袁运蕴阅尧酝杂酝 和 运酝杂酝 猿 种 算法的识别率变化较大袁而本文 杂灾酝 算法的识别率 变化不大袁这说明基于 杂灾酝 的多观测样本二分类算 法对不同数目的多观测样本具有更好的鲁棒性遥 图 缘摇 在 灾蚤凿栽陨酝陨栽 数据库上的识别率 云蚤早援缘摇 砸藻糟燥早灶蚤贼蚤燥灶 则藻泽怎造贼泽 燥灶 贼澡藻 灾蚤凿栽陨酝陨栽 凿葬贼葬遭葬泽藻 源援猿摇 基于 匀燥灶凿葬 辕 哉悦杂阅 数据库的人脸识别 在 匀燥灶凿葬 辕 哉悦杂阅 数据库上进一步验证本文 杂灾酝 算法的有效性遥 图 远 显示了 匀燥灶凿葬 辕 哉悦杂阅 数 据库中一些样本图像遥 实验中袁选取 员怨 个人所对应 的视频序列进行实验遥 实验中袁选取 圆 种不同类别 的数据进行实验袁共有 员苑员 种组合袁即 渊员袁圆冤 袁 渊员袁 猿冤 袁噎袁渊员苑袁员愿冤 袁 渊员苑袁员怨冤 袁 渊员愿袁员怨冤 遥 由这 圆 类数 据的训练样本共同组成算法的训练集 载渊造冤 袁而对应 的测试集作为算法的测试集袁即多观测样本遥 该实 验对不同大小的多观测样本进行了实验袁 皂 越 咱源院源院 员远暂 遥 对于不同大小的数据集 载渊怎冤 袁员苑员 种组合中 的每个组合都有 圆 个测试集袁因此每个组合要进行 圆 次测试遥 所以实验中的每个结果都是 猿源圆 次实验 的均值袁如表 猿 所示袁并用柱形图表出来渊如图 苑冤遥 图 远摇 匀燥灶凿葬 辕 哉悦杂阅 数据库中的样本图像 云蚤早援远摇 杂葬皂责造藻 蚤皂葬早藻泽 蚤灶 贼澡藻 匀燥灶凿葬 辕 哉悦杂阅 凿葬贼葬遭葬泽藻 摇 摇 实验结果表明袁相比于以往的 运蕴阅尧酝杂酝 和 运酝杂酝 算法袁本文 杂灾酝 算法获得最高的识别率遥 这 进一步说明了基于 杂灾酝 的多观测样本二分类算法 的有效性遥 表 猿摇 在 匀燥灶凿葬 辕 哉悦杂阅 数据库上的识别率 栽葬遭造藻 猿摇 砸藻糟燥早灶蚤贼蚤燥灶 则藻泽怎造贼泽 燥灶 贼澡藻 匀燥灶凿葬 辕 哉悦杂阅 凿葬贼葬遭葬泽藻 辕 豫 样本数目 皂 运蕴阅 酝杂酝 运酝杂酝 本文 杂灾酝 源 缘源援远苑愿 远猿援员缘愿 苑怨援愿圆缘 愿愿援缘怨远 愿 愿缘援猿苑员 愿缘援园愿愿 愿圆援员远源 怨源援源源源 员圆 怨圆援远怨园 怨园援怨猿远 愿猿援猿猿猿 怨缘援猿圆圆 员远 怨猿援愿远园 怨圆援员园缘 愿缘援远苑猿 怨缘援怨园远 图 苑摇 在 匀燥灶凿葬 辕 哉悦杂阅 数据库上的识别率 云蚤早援苑摇 砸藻糟燥早灶蚤贼蚤燥灶 则藻泽怎造贼泽 燥灶 贼澡藻 匀燥灶凿葬 辕 哉悦杂阅 凿葬贼葬遭葬泽藻 缘摇 结束语 本文提出基于 杂灾酝 的多观测样本分类算法袁该 算法首先进行类别假设袁然后求解优化问题得到相 应的目标函数值袁把目标函数值作为分类依据来实 现多观测样本的二分类遥 实验结果表明本文算法在 手写数字识别尧物体识别和人脸识别中都能取得较 好的分类效果袁为模式识别问题提供了一种新的方 法遥 但是本文针对的是二分类问题袁如何在该算法 的基础上实现多分类仍是需要进一步的研究遥 参考文献院 咱员暂 运陨酝 栽 运袁 运陨栽栽蕴耘砸 允袁 悦陨孕韵蕴蕴粤 砸援 韵灶鄄造蚤灶藻 造藻葬则灶蚤灶早 燥枣 皂怎贼怎葬造造赠 燥则贼澡燥早燥灶葬造 泽怎遭泽责葬糟藻泽 枣燥则 枣葬糟藻 则藻糟燥早灶蚤贼蚤燥灶 遭赠 蚤皂葬早藻 泽藻贼泽咱 允暂援 陨耘耘耘 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 杂蚤早灶葬造 孕则燥糟藻泽泽蚤灶早袁 圆园员园袁 员怨 渊源冤 院 员园远苑鄄员园苑源援 咱圆暂 杂匀粤运匀晕粤砸韵灾陨悦匀 郧袁 云陨杂匀耘砸 允 宰袁 阅粤砸砸耘蕴 栽援 云葬糟藻 则藻糟燥早灶蚤贼蚤燥灶 枣则燥皂 造燥灶早鄄贼藻则皂 燥遭泽藻则增葬贼蚤燥灶泽 咱 悦 暂 辕 辕 耘怎则燥责藻葬灶 第 源 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 李欢袁等院 支持向量机的多观测样本二分类算法 窑猿怨怨窑
·400 智能系统学报 第9卷 Conference on Computer Vision(ECCV).San Diego,USA, [13]WANG R P,SHAN S G,CHEN X L,et al.Manifold- 2002,3:851-868. manifold distance with application to face recognition based [3]ARANDJELOVIC O,SHAKHNAROVICH G,FISHER J, on image Set C]//IEEE International Conference on et al.Face recognition with image sets using manifold densi- Computer Vision and Pattern Recognition(CVPR).An- ty divergence[C]//IEEE International Conference on Com- chorage,Alaska,USA,2008:1-8. puter Vision and Pattern Recognition(CVPR).San Diego, [14]CHU W S,CHEN J C,LIEN J.Kernel discriminant trans- USA.2005,1:581-588. formation for image set-based face recognition[J].Pattern [4]CARDINAUX F,SANDERSON C,BENGIO S.User au- Recognition,2011,44(8):1567-1580. thentication via adapted statistical models of face images [15]KOKIOPOULOU E.PIRILLOS S,BROSSARD P.Graph- [J].IEEE Transactions on Signal Processing,2006,54 based classification of multiple observation sets[J].Pattern (1):361-373. Recognition,2010,43(12):3988-3997 [5]ARANDJELOVIC O,CIPOLLA R.Face recognition from [16]VAPNIK V.The nature of statistical learning theory[M]. face motion manifolds using robust kernel resistor-average New York:Springer-Verlag,1995:21-32. distance[C]//IEEE Workshop on Face Processing in Video [17]GOLUB G H,LOAN C V.Matrix computations M].3rd Washington D C,USA,2004,5:88-93. ed.Baltimore:The John Hopkins University Press,1996: [6]YAMAGUCHI O,FUKUI K,MAEDA K,et al.Face recog- 15-16. nition using temporal image sequence[C]//IEEE Interna- [18 SANDERSON C.Biometric person recognition:face, tional Conference on Automatic Face and Gesture Recogni- speech and fusion,VDM-Verlag,2008. tion.Nara,Japan,1998:318-323. [19]LEE K C,HO J,YANG M H,et al.Video-based face [7]FUKUI K,YAMAGUCHI O.Face recognition using multi- recognition using probabilistic appearance manifolds[C] viewpoint patterns for robot vision[C]//Intemational Sym- IEEE International Conference on Computer Vision and posium on Robotics Research.Siena,Italy,2005,15:192- Pattern Recognition (CVPR).Madison,USA,2003:313- 201. 320. [8]SAKANO H,MUKAWA N.Kernel mutual subspace method [20]VIOLA P,JONES M.Robust real-time face detection[J]. for robust facial image recognition[C]//Fourth International International Journal of Computer Vision,2004,57(2): Conference on Knowledge-based Intelligent Engineering Sys- 137-154 tems and Allied Technologies.S.1.],2000,1:245-248 作者简介： [9]WOLF L,SHASHUA A.Learning over sets using kernel 李欢，男，1990年生，硕士研究生， principal angles[J].Machine Learning Research,2003,4 主要研究方向为人工智能、模式识别。 (10):913-931. [10]KIM T K,KITTLER J,CIPOLLA R.Diseriminative learn- ing and recognition of image set classes using canonical correlations[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):1005-1018. 王士同.男，1964年生.教授，博士 [11]KIM T K,ARANDJELOVIC O,CIPOLLA R.Boosted 生导师，主要研究方向为人工智能、模 manifold principal angles for image set-based recognition 式识别和生物信息。 [J].Pattern Recognition,2007,40(9):2475-2484. [12]LI X,FUKUI K,ZHENG NN.Image-set based face rec- ognition using boosted global and local principal angles [C]//9th Asian Conference on Computer Vision(ACCV). Xi'an,2010:323-332
悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶渊耘悦悦灾冤援 杂葬灶 阅蚤藻早燥袁 哉杂粤袁 圆园园圆袁 猿院 愿缘员鄄愿远愿援 咱猿暂 粤砸粤晕阅允耘蕴韵灾陨悦 韵袁 杂匀粤运匀晕粤砸韵灾陨悦匀 郧袁 云陨杂匀耘砸 允袁 藻贼 葬造援 云葬糟藻 则藻糟燥早灶蚤贼蚤燥灶 憎蚤贼澡 蚤皂葬早藻 泽藻贼泽 怎泽蚤灶早 皂葬灶蚤枣燥造凿 凿藻灶泽蚤鄄 贼赠 凿蚤增藻则早藻灶糟藻咱悦暂 辕 辕 陨耘耘耘 陨灶贼藻则灶葬贼蚤燥灶葬造 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂鄄 责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶渊 悦灾孕砸冤援 杂葬灶 阅蚤藻早燥袁 哉杂粤袁 圆园园缘袁 员院 缘愿员鄄缘愿愿援 咱源暂 悦粤砸阅陨晕粤哉载 云袁 杂粤晕阅耘砸杂韵晕 悦袁 月耘晕郧陨韵 杂援 哉泽藻则 葬怎鄄 贼澡藻灶贼蚤糟葬贼蚤燥灶 增蚤葬 葬凿葬责贼藻凿 泽贼葬贼蚤泽贼蚤糟葬造 皂燥凿藻造泽 燥枣 枣葬糟藻 蚤皂葬早藻泽 咱 允暂援 陨耘耘耘 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 杂蚤早灶葬造 孕则燥糟藻泽泽蚤灶早袁 圆园园远袁 缘源 渊员冤 院 猿远员鄄猿苑猿援 咱缘 暂 粤砸粤晕阅允耘蕴韵灾陨悦 韵袁 悦陨孕韵蕴蕴粤 砸援 云葬糟藻 则藻糟燥早灶蚤贼蚤燥灶 枣则燥皂 枣葬糟藻 皂燥贼蚤燥灶 皂葬灶蚤枣燥造凿泽 怎泽蚤灶早 则燥遭怎泽贼 噪藻则灶藻造 则藻泽蚤泽贼燥则鄄葬增藻则葬早藻 凿蚤泽贼葬灶糟藻咱悦暂 辕 辕 陨耘耘耘 宰燥则噪泽澡燥责 燥灶 云葬糟藻 孕则燥糟藻泽泽蚤灶早 蚤灶 灾蚤凿藻燥援 宰葬泽澡蚤灶早贼燥灶 阅 悦袁 哉杂粤袁 圆园园源袁 缘院 愿愿鄄怨猿援 咱远暂再粤酝粤郧哉悦匀陨 韵袁 云哉运哉陨 运袁 酝粤耘阅粤 运袁 藻贼 葬造援 云葬糟藻 则藻糟燥早鄄 灶蚤贼蚤燥灶 怎泽蚤灶早 贼藻皂责燥则葬造 蚤皂葬早藻 泽藻择怎藻灶糟藻 咱 悦暂 辕 辕 陨耘耘耘 陨灶贼藻则灶葬鄄 贼蚤燥灶葬造 悦燥灶枣藻则藻灶糟藻 燥灶 粤怎贼燥皂葬贼蚤糟 云葬糟藻 葬灶凿 郧藻泽贼怎则藻 砸藻糟燥早灶蚤鄄 贼蚤燥灶援 晕葬则葬袁 允葬责葬灶袁 员怨怨愿院 猿员愿鄄猿圆猿援 咱苑暂 云哉运哉陨 运袁 再粤酝粤郧哉悦匀陨 韵援 云葬糟藻 则藻糟燥早灶蚤贼蚤燥灶 怎泽蚤灶早 皂怎造贼蚤鄄 增蚤藻憎责燥蚤灶贼 责葬贼贼藻则灶泽 枣燥则 则燥遭燥贼 增蚤泽蚤燥灶咱 悦暂 辕 辕 陨灶贼藻则灶葬贼蚤燥灶葬造 杂赠皂鄄 责燥泽蚤怎皂 燥灶 砸燥遭燥贼蚤糟泽 砸藻泽藻葬则糟澡援 杂蚤藻灶葬袁 陨贼葬造赠袁 圆园园缘袁 员缘院 员怨圆鄄 圆园员援 咱愿暂 杂粤运粤晕韵 匀袁 酝哉运粤宰粤 晕援 运藻则灶藻造 皂怎贼怎葬造 泽怎遭泽责葬糟藻 皂藻贼澡燥凿 枣燥则 则燥遭怎泽贼 枣葬糟蚤葬造 蚤皂葬早藻 则藻糟燥早灶蚤贼蚤燥灶咱悦暂 辕 辕 云燥怎则贼澡 陨灶贼藻则灶葬贼蚤燥灶葬造 悦燥灶枣藻则藻灶糟藻 燥灶 运灶燥憎造藻凿早藻鄄遭葬泽藻凿 陨灶贼藻造造蚤早藻灶贼 耘灶早蚤灶藻藻则蚤灶早 杂赠泽鄄 贼藻皂泽 葬灶凿 粤造造蚤藻凿 栽藻糟澡灶燥造燥早蚤藻泽援 咱 杂援造援暂 袁 圆园园园袁 员院 圆源缘鄄圆源愿援 咱怨暂 宰韵蕴云 蕴袁 杂匀粤杂匀哉粤 粤援 蕴藻葬则灶蚤灶早 燥增藻则 泽藻贼泽 怎泽蚤灶早 噪藻则灶藻造 责则蚤灶糟蚤责葬造 葬灶早造藻泽咱 允暂援 酝葬糟澡蚤灶藻 蕴藻葬则灶蚤灶早 砸藻泽藻葬则糟澡袁 圆园园猿袁 源 渊员园冤 院 怨员猿鄄怨猿员援 咱员园暂运陨酝 栽 运袁 运陨栽栽蕴耘砸 允袁 悦陨孕韵蕴蕴粤 砸援 阅蚤泽糟则蚤皂蚤灶葬贼蚤增藻 造藻葬则灶鄄 蚤灶早 葬灶凿 则藻糟燥早灶蚤贼蚤燥灶 燥枣 蚤皂葬早藻 泽藻贼 糟造葬泽泽藻泽 怎泽蚤灶早 糟葬灶燥灶蚤糟葬造 糟燥则则藻造葬贼蚤燥灶泽 咱 允 暂援 陨耘耘耘 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 孕葬贼贼藻则灶 粤灶葬造赠泽蚤泽 葬灶凿 酝葬糟澡蚤灶藻 陨灶贼藻造造蚤早藻灶糟藻袁 圆园园苑袁 圆怨渊远冤 院 员园园缘鄄员园员愿援 咱员员暂 运陨酝 栽 运袁 粤砸粤晕阅允耘蕴韵灾陨悦 韵袁 悦陨孕韵蕴蕴粤 砸援 月燥燥泽贼藻凿 皂葬灶蚤枣燥造凿 责则蚤灶糟蚤责葬造 葬灶早造藻泽 枣燥则 蚤皂葬早藻 泽藻贼鄄遭葬泽藻凿 则藻糟燥早灶蚤贼蚤燥灶 咱 允暂援 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶袁 圆园园苑袁 源园渊怨冤 院 圆源苑缘鄄圆源愿源援 咱员圆暂蕴陨 载袁 云哉运哉陨 运袁 在匀耘晕郧 晕 晕援 陨皂葬早藻鄄泽藻贼 遭葬泽藻凿 枣葬糟藻 则藻糟鄄 燥早灶蚤贼蚤燥灶 怎泽蚤灶早 遭燥燥泽贼藻凿 早造燥遭葬造 葬灶凿 造燥糟葬造 责则蚤灶糟蚤责葬造 葬灶早造藻泽 咱悦暂 辕 辕 怨贼澡 粤泽蚤葬灶 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶渊粤悦悦灾冤援 载蚤爷葬灶袁 圆园员园院 猿圆猿鄄猿猿圆援 咱员猿暂 宰粤晕郧 砸 孕袁 杂匀粤晕 杂 郧袁 悦匀耘晕 载 蕴袁 藻贼 葬造援 酝葬灶蚤枣燥造凿鄄 皂葬灶蚤枣燥造凿 凿蚤泽贼葬灶糟藻 憎蚤贼澡 葬责责造蚤糟葬贼蚤燥灶 贼燥 枣葬糟藻 则藻糟燥早灶蚤贼蚤燥灶 遭葬泽藻凿 燥灶 蚤皂葬早藻 杂藻贼 咱 悦 暂 辕 辕 陨耘耘耘 陨灶贼藻则灶葬贼蚤燥灶葬造 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶 渊 悦灾孕砸 冤援 粤灶鄄 糟澡燥则葬早藻袁 粤造葬泽噪葬袁 哉杂粤袁 圆园园愿院 员鄄愿援 咱员源暂悦匀哉 宰 杂袁 悦匀耘晕 允 悦袁 蕴陨耘晕 允援 运藻则灶藻造 凿蚤泽糟则蚤皂蚤灶葬灶贼 贼则葬灶泽鄄 枣燥则皂葬贼蚤燥灶 枣燥则 蚤皂葬早藻 泽藻贼鄄遭葬泽藻凿 枣葬糟藻 则藻糟燥早灶蚤贼蚤燥灶咱 允暂援 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶袁 圆园员员袁 源源渊愿冤 院 员缘远苑鄄员缘愿园援 咱员缘暂运韵运陨韵孕韵哉蕴韵哉 耘袁 孕陨砸陨蕴蕴韵杂 杂袁 月砸韵杂杂粤砸阅 孕援 郧则葬责澡鄄 遭葬泽藻凿 糟造葬泽泽蚤枣蚤糟葬贼蚤燥灶 燥枣 皂怎造贼蚤责造藻 燥遭泽藻则增葬贼蚤燥灶 泽藻贼泽咱 允暂援 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶袁 圆园员园袁 源猿渊员圆冤 院 猿怨愿愿鄄猿怨怨苑援 咱员远暂灾粤孕晕陨运 灾援 栽澡藻 灶葬贼怎则藻 燥枣 泽贼葬贼蚤泽贼蚤糟葬造 造藻葬则灶蚤灶早 贼澡藻燥则赠咱 酝暂援 晕藻憎 再燥则噪院 杂责则蚤灶早藻则鄄灾藻则造葬早袁 员怨怨缘院 圆员鄄猿圆援 咱员苑暂郧韵蕴哉月 郧 匀袁 蕴韵粤晕 悦 灾援 酝葬贼则蚤曾 糟燥皂责怎贼葬贼蚤燥灶泽 咱 酝暂援 猿则凿 藻凿援 月葬造贼蚤皂燥则藻院 栽澡藻 允燥澡灶 匀燥责噪蚤灶泽 哉灶蚤增藻则泽蚤贼赠 孕则藻泽泽袁 员怨怨远院 员缘鄄员远援 咱 员愿 暂 杂粤晕阅耘砸杂韵晕 悦援 月蚤燥皂藻贼则蚤糟 责藻则泽燥灶 则藻糟燥早灶蚤贼蚤燥灶院 枣葬糟藻袁 泽责藻藻糟澡 葬灶凿 枣怎泽蚤燥灶袁 灾阅酝鄄灾藻则造葬早袁 圆园园愿援 咱员怨暂蕴耘耘 运 悦袁 匀韵 允袁 再粤晕郧 酝 匀袁 藻贼 葬造援 灾蚤凿藻燥鄄遭葬泽藻凿 枣葬糟藻 则藻糟燥早灶蚤贼蚤燥灶 怎泽蚤灶早 责则燥遭葬遭蚤造蚤泽贼蚤糟 葬责责藻葬则葬灶糟藻 皂葬灶蚤枣燥造凿泽咱悦暂 辕 辕 陨耘耘耘 陨灶贼藻则灶葬贼蚤燥灶葬造 悦燥灶枣藻则藻灶糟藻 燥灶 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶 葬灶凿 孕葬贼贼藻则灶 砸藻糟燥早灶蚤贼蚤燥灶 渊悦灾孕砸冤援 酝葬凿蚤泽燥灶袁 哉杂粤袁 圆园园猿院 猿员猿鄄 猿圆园援 咱圆园暂灾陨韵蕴粤 孕袁 允韵晕耘杂 酝援 砸燥遭怎泽贼 则藻葬造鄄贼蚤皂藻 枣葬糟藻 凿藻贼藻糟贼蚤燥灶咱 允暂援 陨灶贼藻则灶葬贼蚤燥灶葬造 允燥怎则灶葬造 燥枣 悦燥皂责怎贼藻则 灾蚤泽蚤燥灶袁 圆园园源袁 缘苑 渊圆冤 院 员猿苑鄄员缘源援 作者简介院 李欢袁男袁员怨怨园 年生袁硕士研究生袁 主要研究方向为人工智能尧模式识别遥 王士同袁男袁员怨远源 年生袁教授袁博士 生导师袁主要研究方向为人工智能尧模 式识别和生物信息遥 窑源园园窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 怨 卷