第11卷第1期 智能系统学报 Vol.11 No.1 2016年2月 CAAI Transactions on Intelligent Systems Feb.2016 D0I:10.11992/is.201506011 网络出版地址:http:/www.cnki.net/kcms/detail/23.1538.TP.20160218.1452.002.html 仿生模式识别技术研究与应用进展 陈阳,覃鸿2,李卫军2,周新奇3,董肖莉2,张丽萍2,李浩光2 (1.工业和信息化部中国电子信息产业发展研究院,北京100846:2.中国科学院半导体研究所高速电路与神经网 络实验室,北京100083:3.聚光科技(杭州)股份有限公司,浙江杭州310052)】 摘要:回顾了仿生模式识别与传统模式识别的本质区别,与传统模式识别“分类划分”思想不同,仿生模式识别把 模式识别问题看成是各类样本的“认识”,并将“同源连续性”规律作为先验知识,用高维空间几何形体覆盖方法实现 对同类事物的学习,因此克服了传统模式识别的缺点。其有效性逐渐受到学者的广泛关注。分析总结了目前已有 的仿生模式识别方法的研究和应用,方法研究包括样本点分布的拓扑分析、覆盖算法和重叠空间中样本的归属:应 用研究方面包括目标识别、生物特征识别、文本识别、近红外光谱定性分析等。分析表明仿生模式识别是创新、有效 的模式识别方法。最后指出同类样本点分布流形的分析方法和高维空间拓扑理论与算法研究等是仿生模式识别未 来重要的发展方向。 关键词:模式识别:仿生模式识别:同源连续性:拓扑分析:覆盖算法:目标识别:生物特征识别;文本识别 中图分类号:TP391文献标志码:A文章编号:1673-4785(2016)01-0001-14 中文引用格式:陈阳,覃鸿,李卫军,等.仿生模式识别技术研究与应用进展[J].智能系统学报,2016,11(1):1-14. 英文引用格式:CHEN Yang,QIN Hong,LI Weijun,etal.Progress in research and application of biomimetic pattern recognition technology[J].CAAI Transactions on Intelligent Systems,2016,11(1):1-14. Progress in research and application of biomimetic pattern recognition technology CHEN Yang',QIN Hong,LI Weijun2,ZHOU Xinqi,DONG Xiaoli2,ZHANG Liping,LI Haoguang? (1.China Center of Information Industry Development,Ministry of Industry and Information Technology of the People's Republic of China,Beijing 100846,China;2.Institute of Semiconductors,Chinese Academy of Sciences,Beijing 100083,China;3.Focused Photonics Hangzhou),Inc.,Hangzhou 310052,China) Abstract:An essential difference between traditional pattern recognition and biomimetic pattern recognition(BPR) is reviewed.Different from the idea of "matter classification"of traditional pattern recognition,BPR considers the problem of pattern recognition as the "cognition"of every type of sample,uses the principle of"homology continui- ty"as a priori knowledge,and performs class recognition by a union of geometrical cover sets in high-dimensional space and feature space,thus overcoming the shortcomings of traditional pattern recognition.The effectiveness of BPR has gradually drawn extensive attention from scholars.In this study,research on BPR and its applications are summarized.The research method includes the topological analysis of the distribution of sample points,covering al- gorithm research,and a sample's attribute in the overlapping space.Applications of BPR involve object recogni- tion,biometric identification,text recognition,NIR spectroscopy qualitative analysis,and so on.Results show that BPR is an innovative and effective means of pattern recognition.Finally,important development directions of BPR are reported,such as manifold analytical methods of sample distribution in the same class,topological theory,and algorithm research in a high-dimensional space. Keywords:pattern recognition;biomimetic pattern recognition;homology continuity;topological analysis;covering algorithm;object recognition;biometric feature identification;text recognition 模式识别经过多年的发展,已形成了一系列经 典的理论和方法。传统模式识别的目的是将对象 (样本)进行分类,因此也被称作模式分类山,传统 收稿日期:2015-06-08.网络出版日期:2016-02-18. 基金项目:国家自然科学基金资助项目(61572458):国家重大科学仪器 模式识别认为所有可用的信息都包含在训练样本集 设备开发专项项目(2014YQ470377):国家公派访问学者资 助项目(留金发[2014]3012号). 中,考虑的出发点是特征空间中若干类别样本的最 通信作者:陈阳.E-mail:z.zhou@scu.cdu.cn
第 11 卷第 1 期 智 能 系 统 学 报 Vol.11 №.1 2016 年 2 月 CAAI Transactions on Intelligent Systems Feb. 2016 DOI:10.11992 / tis.201506011 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20160218.1452.002.html 仿生模式识别技术研究与应用进展 陈阳1 ,覃鸿2 ,李卫军2 ,周新奇3 ,董肖莉2 ,张丽萍2 ,李浩光2 (1.工业和信息化部 中国电子信息产业发展研究院,北京 100846; 2. 中国科学院半导体研究所 高速电路与神经网 络实验室,北京 100083; 3.聚光科技(杭州)股份有限公司,浙江 杭州 310052) 摘 要:回顾了仿生模式识别与传统模式识别的本质区别,与传统模式识别“分类划分”思想不同,仿生模式识别把 模式识别问题看成是各类样本的“认识”,并将“同源连续性”规律作为先验知识,用高维空间几何形体覆盖方法实现 对同类事物的学习,因此克服了传统模式识别的缺点。 其有效性逐渐受到学者的广泛关注。 分析总结了目前已有 的仿生模式识别方法的研究和应用,方法研究包括样本点分布的拓扑分析、覆盖算法和重叠空间中样本的归属;应 用研究方面包括目标识别、生物特征识别、文本识别、近红外光谱定性分析等。 分析表明仿生模式识别是创新、有效 的模式识别方法。 最后指出同类样本点分布流形的分析方法和高维空间拓扑理论与算法研究等是仿生模式识别未 来重要的发展方向。 关键词:模式识别;仿生模式识别;同源连续性;拓扑分析;覆盖算法;目标识别;生物特征识别;文本识别 中图分类号:TP391 文献标志码:A 文章编号:1673⁃4785(2016)01⁃0001⁃14 中文引用格式:陈阳,覃鸿,李卫军,等.仿生模式识别技术研究与应用进展[J]. 智能系统学报, 2016, 11(1): 1⁃14. 英文引用格式:CHEN Yang, QIN Hong, LI Weijun,et al. Progress in research and application of biomimetic pattern recognition technology[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1):1⁃14. Progress in research and application of biomimetic pattern recognition technology CHEN Yang 1 , QIN Hong 2 , LI Weijun 2 , ZHOU Xinqi 3 , DONG Xiaoli 2 , ZHANG Liping 2 , LI Haoguang 2 (1. China Center of Information Industry Development, Ministry of Industry and Information Technology of the People’ s Republic of China, Beijing 100846, China; 2. Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China; 3. Focused Photonics (Hangzhou), Inc., Hangzhou 310052, China) Abstract:An essential difference between traditional pattern recognition and biomimetic pattern recognition (BPR) is reviewed. Different from the idea of “matter classification” of traditional pattern recognition, BPR considers the problem of pattern recognition as the “cognition” of every type of sample, uses the principle of “homology continui⁃ ty” as a priori knowledge, and performs class recognition by a union of geometrical cover sets in high⁃dimensional space and feature space, thus overcoming the shortcomings of traditional pattern recognition. The effectiveness of BPR has gradually drawn extensive attention from scholars. In this study, research on BPR and its applications are summarized. The research method includes the topological analysis of the distribution of sample points, covering al⁃ gorithm research, and a sample’ s attribute in the overlapping space. Applications of BPR involve object recogni⁃ tion, biometric identification, text recognition, NIR spectroscopy qualitative analysis, and so on. Results show that BPR is an innovative and effective means of pattern recognition. Finally, important development directions of BPR are reported, such as manifold analytical methods of sample distribution in the same class, topological theory, and algorithm research in a high⁃dimensional space. Keywords:pattern recognition; biomimetic pattern recognition; homology continuity; topological analysis; covering algorithm; object recognition; biometric feature identification; text recognition 收稿日期:2015⁃06⁃08. 网络出版日期:2016⁃02⁃18. 基金项目:国家自然科学基金资助项目(61572458);国家重大科学仪器 设备开发专项项目( 2014YQ470377);国家公派访问学者资 助项目(留金发[2014]3012 号). 通信作者:陈阳.E⁃mail:xz.zhou@ scu.edu.cn. 模式识别经过多年的发展,已形成了一系列经 典的理论和方法。 传统模式识别的目的是将对象 (样本)进行分类,因此也被称作模式分类[1] ,传统 模式识别认为所有可用的信息都包含在训练样本集 中,考虑的出发点是特征空间中若干类别样本的最
·2 智能系统学 报 第11卷 佳分类划分,代表性方法有Fisher判别分析2]、支撑 并且学习某类时不需要负样本(非此类或他类样 向量机(SVM)[]等。这些方法解决了很多问题,并 本)参加训练,学习新类时不需要重新学习已知类 在多个领域得到了成功应用,为科学发展和社会进 即不会影响原有已经学习好的知识: 步做出了巨大贡献,但这些传统方法也存在一些固 3)仿生模式识别在低训练样本数量情况下仍 有的缺陷:1)对事物进行学习时通常至少需要两类 能获得较高的正确识别率,这得益于引入了“同源 才可进行“区分”,例如在人脸检测中,学习的任务 连续性规律“的先验知识,因而有效的信息不再局 仅是人脸这一个类别,但在训练分类器时,分类器需 限于训练样本。低训练样本数、高识别率的特点,更 要学习“人脸”和“非人脸”两种类型;2)已训练好的 适合一些不易获取大量训练样本的特殊场合下的识 分类器类别之间的最优分类边界是确定的,若要增 别任务。 加学习新类,则需要重新训练分类器,这将会打乱现 仿生模式识别由于其独特的优点,在国内逐渐 有知识(最优分类边界改变):3)未经训练类别的样 受到关注,越来越多的研究机构加入研究队伍,从理 本很容易被误认为是已训练的某一类,分类器不能 论、方法以及应用等多方面开展研究,这些研究机构 有效对其进行正确拒识,这是由于分类边界只是将 包括中科院半导体研究所、同济大学、中国农业大 ·个无限特征空间划分为多个无限空间。 学、浙江工业大学、厦门大学、深圳大学、中科院苏州 中国科学院半导体研究所王守觉院士通过分析 纳米技术与纳米仿生研究所、长沙理工大学、合肥工 人类认识事物的特点,提出了一种全新思想的模式 业大学、吉林大学、西安电子科技大学等众多高校和 识别方法一仿生模式识别(biomimetic pattern rec- 研究机构。仿生模式识别的研究成果不断涌现,先 ognition,BPR)。仿生模式识别认为,事物具有 后用于目标识别、生物特征识别、信号处理、医学图 “同源连续性规律”,即同类事物的两个不同样本之 像识别、基因预测和近红外定性分析,涉及机器视 间,至少有一个渐变过程,在这个渐变过程中的所有 觉、安防、农业、生物医学、通信以及互联网等众多领 样本仍属于该类:也可以这样认为:同类样本在特征 域,获得了有益的效果。2002年迄今,在国内学术 空间中是连续分布的,任意两个样本点之间具有某 期刊发表的与仿生模式识别直接相关的论文有80 种连续变化的关系。“同源连续性规律”是现实中 余篇,相关的国内硕士和博士学位论文30余篇,在 人类直观认识世界的普遍存在的规律,同时也是仿 国际期刊和会议上发表的论文40篇左右,此外,还 生模式识别方法用于提高对事物的识别能力的“先 有3本专著出版[s刃。 验知识”。引入“同源连续性规律”后,研究仿生模 仿生模式识别是我国自主创新的方法与技术, 式识别如何对某类事物进行学习,就是研究在高维 从提出至今,已有十多年的发展,但目前还没有对该 特征空间中如何对该类样本进行最优连续“覆盖” 技术的全面总结。本文旨在对仿生模式识别进行全 (即对一类样本的“识”):它不同于传统模式识别方 面的综述。首先介绍仿生模式识别的基本原理,再 法侧重于“别”,即如何在高维特征空间中对不同类 对仿生模式识别的实现方法进行分析和对比研究 样本进行最优“划分”。可见,在特征空间中对某一 并给出了仿生模式识别在多个应用领域的使用效 类样本的分布进行最优覆盖是仿生模式识别的首要 果,最后探讨仿生模式识别的未来研究方向,希望能 目标,覆盖后在特征空间中形成的连续、闭合的复杂 够为该方法的进一步发展和实际应用提供参考。 几何形体区域赋予该类的属性:则仿生模式识别的 1 仿生模式识别的基本原理 识别过程就是判断特征空间中待识别样本点是否落 入此几何形体内。若是,则该样本点属于此几何形 1.1仿生模式识别的基点一“同源连续性”规律 体所代表的类别;否则认为不属于该类。仿生模式 仿生模式识别把同一类事物称为“同源”,这里 识别于2002年被提出后,被迅速应用到多种识别任 所谓的“同一类”是指在源头或原理上是相同的一 务中,获得了有效的识别结果,并展现出独特的 类,而不是拼凑或合并而成的同一类。例如,在手写 优势: 体汉字识别中,同为简体汉字的手写体认为是同源 1)仿生模式识别既能够“识”,又能够“别”,对 的:如果手写体汉字中包含了简体和繁体两种字体, 于没有训练过的样本,不会将其错误归为已训练样 “简体”和“繁体”是不同源的,则认为是简体和繁体 本中的某一类,而是能够将其正确拒识,实际应用中 两类事物的归并。后文所提到的同类,若无特别说 误识率非常低: 明,都是指“同源”同类。依据上述“同源”的定义, 2)仿生模式识别可以不断学习新事物(类别), 同类样本之间有如下“同源连续性”规律:
佳分类划分,代表性方法有 Fisher 判别分析[2] 、支撑 向量机(SVM) [3]等。 这些方法解决了很多问题,并 在多个领域得到了成功应用,为科学发展和社会进 步做出了巨大贡献,但这些传统方法也存在一些固 有的缺陷:1)对事物进行学习时通常至少需要两类 才可进行“区分”,例如在人脸检测中,学习的任务 仅是人脸这一个类别,但在训练分类器时,分类器需 要学习“人脸”和“非人脸”两种类型;2)已训练好的 分类器类别之间的最优分类边界是确定的,若要增 加学习新类,则需要重新训练分类器,这将会打乱现 有知识(最优分类边界改变);3)未经训练类别的样 本很容易被误认为是已训练的某一类,分类器不能 有效对其进行正确拒识,这是由于分类边界只是将 一个无限特征空间划分为多个无限空间。 中国科学院半导体研究所王守觉院士通过分析 人类认识事物的特点,提出了一种全新思想的模式 识别方法———仿生模式识别(biomimetic pattern rec⁃ ognition,BPR) [4] 。 仿生模式识别认为,事物具有 “同源连续性规律”,即同类事物的两个不同样本之 间,至少有一个渐变过程,在这个渐变过程中的所有 样本仍属于该类;也可以这样认为:同类样本在特征 空间中是连续分布的,任意两个样本点之间具有某 种连续变化的关系。 “同源连续性规律” 是现实中 人类直观认识世界的普遍存在的规律,同时也是仿 生模式识别方法用于提高对事物的识别能力的“先 验知识”。 引入“同源连续性规律” 后,研究仿生模 式识别如何对某类事物进行学习,就是研究在高维 特征空间中如何对该类样本进行最优连续“覆盖” (即对一类样本的“识”);它不同于传统模式识别方 法侧重于“别”,即如何在高维特征空间中对不同类 样本进行最优“划分”。 可见,在特征空间中对某一 类样本的分布进行最优覆盖是仿生模式识别的首要 目标,覆盖后在特征空间中形成的连续、闭合的复杂 几何形体区域赋予该类的属性;则仿生模式识别的 识别过程就是判断特征空间中待识别样本点是否落 入此几何形体内。 若是,则该样本点属于此几何形 体所代表的类别;否则认为不属于该类。 仿生模式 识别于 2002 年被提出后,被迅速应用到多种识别任 务中,获得了有效的识别结果, 并展现出独特的 优势: 1)仿生模式识别既能够“识”,又能够“别”,对 于没有训练过的样本,不会将其错误归为已训练样 本中的某一类,而是能够将其正确拒识,实际应用中 误识率非常低; 2)仿生模式识别可以不断学习新事物(类别), 并且学习某类时不需要负样本(非此类或他类样 本)参加训练,学习新类时不需要重新学习已知类, 即不会影响原有已经学习好的知识; 3)仿生模式识别在低训练样本数量情况下仍 能获得较高的正确识别率,这得益于引入了“同源 连续性规律“的先验知识,因而有效的信息不再局 限于训练样本。 低训练样本数、高识别率的特点,更 适合一些不易获取大量训练样本的特殊场合下的识 别任务。 仿生模式识别由于其独特的优点,在国内逐渐 受到关注,越来越多的研究机构加入研究队伍,从理 论、方法以及应用等多方面开展研究,这些研究机构 包括中科院半导体研究所、同济大学、中国农业大 学、浙江工业大学、厦门大学、深圳大学、中科院苏州 纳米技术与纳米仿生研究所、长沙理工大学、合肥工 业大学、吉林大学、西安电子科技大学等众多高校和 研究机构。 仿生模式识别的研究成果不断涌现,先 后用于目标识别、生物特征识别、信号处理、医学图 像识别、基因预测和近红外定性分析,涉及机器视 觉、安防、农业、生物医学、通信以及互联网等众多领 域,获得了有益的效果。 2002 年迄今,在国内学术 期刊发表的与仿生模式识别直接相关的论文有 80 余篇,相关的国内硕士和博士学位论文 30 余篇,在 国际期刊和会议上发表的论文 40 篇左右,此外,还 有 3 本专著出版[5⁃7] 。 仿生模式识别是我国自主创新的方法与技术, 从提出至今,已有十多年的发展,但目前还没有对该 技术的全面总结。 本文旨在对仿生模式识别进行全 面的综述。 首先介绍仿生模式识别的基本原理,再 对仿生模式识别的实现方法进行分析和对比研究, 并给出了仿生模式识别在多个应用领域的使用效 果,最后探讨仿生模式识别的未来研究方向,希望能 够为该方法的进一步发展和实际应用提供参考。 1 仿生模式识别的基本原理 1.1 仿生模式识别的基点———“同源连续性”规律 仿生模式识别把同一类事物称为“同源”,这里 所谓的“同一类”是指在源头或原理上是相同的一 类,而不是拼凑或合并而成的同一类。 例如,在手写 体汉字识别中,同为简体汉字的手写体认为是同源 的;如果手写体汉字中包含了简体和繁体两种字体, “简体”和“繁体”是不同源的,则认为是简体和繁体 两类事物的归并。 后文所提到的同类,若无特别说 明,都是指“同源”同类。 依据上述“同源”的定义, 同类样本之间有如下 “同源连续性”规律: ·2· 智 能 系 统 学 报 第 11 卷
第1期 陈阳,等:仿生模式识别技术研究与应用进展 3 自然界中待认识的事物,若两个事物同类但不 点集(设为集合A)是一个闭合的子空间,这个闭合 完全相等,则可以用一个渐变的或非量子化的过程 的子空间因实际事物的不同,在特征空间中表现为 来描述这两个事物之间的关系,在此变化过程中的 不同维数的“流形”。现实中获取到的样本点往往 所有事物与这两个事物同属一类。“同源连续性” 包含噪声,因而实际应用仿生模式识别时,用特征空 规律可用数学描述为: 间中的集合P。取代集合A;其中x、y是特征空间中 在n维特征空间R”中,假设A为某一同类样本 的点,k为选定的距离常数。因而,仿生模式识别的 (事物)全体的集合,如果样本x,yCA,则对于任意 识别过程就是判断特征空间R”中表示“被识别事 E>0,必定存在一个集合B满足如下条件: 物”的点(未知样本点)是否属于集合P。,其中 x,x2,3x=x,x=y,lE N,) B= CA (p(xm,xm+1)<e,1≤m≤l-1 P.出P,P表示第i个简单几何形体。仿生模 式识别的识别过程在二维特征空间中的示意图如图 式中p(x。,x1)表示样本x.与x1间的距离。 2所示,在二维特征空间R中,假设A事物样本点的 1.2仿生模式识别的学习过程 全体为空间A(现实中A无法确定),少12为训练样 基于1.1节的“同源连续性”规律,两个同类样 本,采用圆形作为覆盖单元,k为距离常数,则分别 本间存在连续渐变的关系,并且位于这个渐变过程 以y1y2为圆心、k为半径的两个圆所代表的集合 中的样本点仍属于同一类。仿生模式识别的目标就 P1、P2的并构成集合P.(图2中阴影区域)。识别 是把分布在特征空间中的同类样本实现连续覆盖, 过程即是判断特征空间中的未知样本点:是否属于 以二维空间的情况示意图如图1所示。 集合P。若是,则该样本点属于A类;若否,则不属 于A类。 图1仿生模式识别覆盖示意图 图2识别过程示意图 Fig.1 The Schematic Diagram of BPR Fig.2 The Schematic Diagram of recognition 图1中,三角形、十字形、圆点表示分别表示三 类不同样本,椭圆表示仿生模式识别采用某种覆盖 综上所述,仿生模式识别与传统模式识别的差 方法在特征空间内形成类别子空间的“认识”方式。 别可归纳如表1所示。 也就是说,仿生模式识别的学习过程,就是特征空间 中对同类样本点进行连续覆盖的过程,不同的覆盖 表1仿生模式识别与传统模式识别的差别 算法构成了仿生模式识别的学习算法。 Table 1 Difference Between BPR and TPR 通常,特征空间R”是n≥3的高维特征空间,某 传统模式识别 仿生模式识别 类事物样本分布子空间在这样的高维空间中是非常 基本出发点 多类样本的区分 一类类样本的认识 复杂的,实际设计学习算法时,将类别子空间分解为 多个封闭的简单几何形体空间(如图1三角形类所 所有可用的信息都包 示,类别空间被分解成多个首尾相接的椭圆),则用 理论基础 同源连续性规律 含在训练集中 这些简单几何形体的并近似原来的类别子空间,可 使仿生模式识别的学习算法灵活、高效。 数学工具 统计学 拓扑学 1.3仿生模式识别的识别过程 高维空间的复杂几何 对于仿生模式识别而言,某一类事物的全体样 学习方法 高维空间的空间划分 形体覆盖 本点在特征空间中的连续映射的“像”所构成的
自然界中待认识的事物,若两个事物同类但不 完全相等,则可以用一个渐变的或非量子化的过程 来描述这两个事物之间的关系,在此变化过程中的 所有事物与这两个事物同属一类。 “同源连续性” 规律可用数学描述为: 在 n 维特征空间 R n 中,假设 A 为某一同类样本 (事物)全体的集合,如果样本 x,y⊂A,则对于任意 ε>0, 必定存在一个集合 B 满足如下条件: B = x1 ,x2 ,x3…,xl x1 = x,xl = y,l ∈ N, ρ(xm ,x { m+1 ) < ε,1 ≤ m ≤ l - 1 } ⊂ A 式中 ρ(xm ,xm+1 )表示样本 xm 与 xm+1间的距离。 1.2 仿生模式识别的学习过程 基于 1.1 节的“同源连续性”规律,两个同类样 本间存在连续渐变的关系,并且位于这个渐变过程 中的样本点仍属于同一类。 仿生模式识别的目标就 是把分布在特征空间中的同类样本实现连续覆盖, 以二维空间的情况示意图如图 1 所示。 图 1 仿生模式识别覆盖示意图 Fig.1 The Schematic Diagram of BPR 图 1 中,三角形、十字形、圆点表示分别表示三 类不同样本,椭圆表示仿生模式识别采用某种覆盖 方法在特征空间内形成类别子空间的“认识”方式。 也就是说,仿生模式识别的学习过程,就是特征空间 中对同类样本点进行连续覆盖的过程,不同的覆盖 算法构成了仿生模式识别的学习算法。 通常,特征空间 R n 是 n≥3 的高维特征空间,某 类事物样本分布子空间在这样的高维空间中是非常 复杂的,实际设计学习算法时,将类别子空间分解为 多个封闭的简单几何形体空间(如图 1 三角形类所 示,类别空间被分解成多个首尾相接的椭圆),则用 这些简单几何形体的并近似原来的类别子空间,可 使仿生模式识别的学习算法灵活、高效。 1.3 仿生模式识别的识别过程 对于仿生模式识别而言,某一类事物的全体样 本点在特征空间 R n 中的连续映射的“像”所构成的 点集(设为集合 A)是一个闭合的子空间,这个闭合 的子空间因实际事物的不同,在特征空间中表现为 不同维数的“流形”。 现实中获取到的样本点往往 包含噪声,因而实际应用仿生模式识别时,用特征空 间中的集合 Pa 取代集合 A;其中 x、y 是特征空间中 的点,k 为选定的距离常数。 因而,仿生模式识别的 识别过程就是判断特征空间 R n 中表示“被识别事 物”的点 ( 未知样本点) 是否属于集合 Pa , 其中 Pa =∪ n i = 1 Pai, Pai 表示第 i 个简单几何形体。 仿生模 式识别的识别过程在二维特征空间中的示意图如图 2 所示,在二维特征空间 R 2中,假设 A 事物样本点的 全体为空间 A(现实中 A 无法确定),y1 、y2 为训练样 本,采用圆形作为覆盖单元,k 为距离常数,则分别 以 y1 、y2 为圆心、k 为半径的两个圆所代表的集合 Pa1 、Pa2的并构成集合 Pa(图 2 中阴影区域)。 识别 过程即是判断特征空间中的未知样本点 z 是否属于 集合 Pa 。 若是,则该样本点属于 A 类;若否,则不属 于 A 类。 图 2 识别过程示意图 Fig.2 The Schematic Diagram of recognition 综上所述,仿生模式识别与传统模式识别的差 别可归纳如表 1 所示。 表 1 仿生模式识别与传统模式识别的差别 Table 1 Difference Between BPR and TPR 传统模式识别 仿生模式识别 基本出发点 多类样本的区分 一类类样本的认识 理论基础 所有可用的信息都包 含在训练集中 同源连续性规律 数学工具 统计学 拓扑学 学习方法 高维空间的空间划分 高维空间的复杂几何 形体覆盖 第 1 期 陈阳,等:仿生模式识别技术研究与应用进展 ·3·
智能系统学报 第11卷 2 方法研究 决问题的能力。 2.1样本点分布的拓扑分析 仿生模式识别的一般流程如图3所示。 仿生模式识别的核心是覆盖,而分析类别空间 的流形是确定用何种覆盖方法的前提。样本点分布 分析训 样本预 在特征空 类别属性 训练样本 练样本 处理及 的拓扑属性简单分为两种情况,一种情况是拓扑结 间中,采 子空间 点分布 特征提 用复杂几 构是已知的或可以预测的:另一种情况是拓扑结构 的拓扑 取 何形体连 流形 续覆盖同 是未知的。例如在采集训练样本时,设定严格的采 类样本 集条件,按照一定的规律或顺序采集,此时,样本点 (a)学习过程 分布的拓扑结构是已知的或者是可以估计的。王守 未知样本 样本预 样本点 处理及 与类别 特征提 识别结果 觉在目标识别应用中[,采用了特定的样本采集方 取 式:摄像头在同一水平面上采集目标的0~360°方向 类别属性子空间 的图像,此时目标方向的改变只有一个变量,可认为 (b)识别过程 目标全体样本在特征空间中的分布近似呈环状的一 图3仿生模式识别的一般流程 维流形。王宪保等)的双螺旋曲线识别任务,识别 Fig.3 Flow chart of BPR 目标—双螺旋曲线是分布在二维空间的一维流 仿生模式识别为模式识别技术的发展开辟了一 形。王守觉、徐健等在一项人脸身份确认研究 条新路径,同时也提出了实现仿生模式识别需要研 中,使用三个摄像头组成一组镜头,这一组镜头同时 究的多方面问题,目前的研究主要集中在如下几,点: 采集同一人脸的图像得到多个样本点,这多个样本 1)类别子空间的拓扑流形分析:仿生模式识别 点的分布状况部分反映了该人脸在特征空间中的分 是一类一类地“认识”事物,在学习某类事物时,需 布状况,后续用一个多权值神经元对这一组样本进 要先分析该类训练样本点的分布,依据同类样本点 行覆盖完成学习。在高维空间中,遇到更多的是拓 在特征空间中的分布特性,确定这种分布具有何种 扑结构未知的情况,目前还没有有效分析高维空间 拓扑属性,从而确定类别子空间在特征空间中的流 中点分布状况的系统方法和工具,并且流形的维数 形。在确定类别空间的流形及其维数后,仿生模式 越高,分析的难度越大,目前的研究大多假定样本呈 识别再考虑用何种覆盖方法。 一维流形分布4,四),在这些实验中,采用一维流形 2)覆盖方法研究:研究发现,同一类样本在高 覆盖,都能够取得很好的识别效果。王宪保等1]研 维特征空间中的分布表现为一个非常复杂的几何形 究了不限定流形维数的仿生模式识别实现方法,研 体,虽然具有一定的拓扑流形属性,但要实现对这个 究发现随着覆盖维数的增加,样本的识别率也逐渐 几何形体的覆盖会遇到很多困难,例如选择何种几 提高,但提高幅度逐渐变小。 何覆盖单元、如何确定覆盖的顺序、怎样进行连续覆 2.2覆盖算法研究 盖等,这也就成为仿生模式识别研究的热点。 覆盖算法的实现是仿生模式识别的研究重点, 3)识别方法研究:在确定使用哪种覆盖方法 神经网络被证明是有效的方法[.)。Wang Shou- 后,识别通常会比较简单,只需计算待识别样本点是 jue,Zhao Xingtao等1.l6提出一种超香肠神经网 否落入特征空间中表征某一类的几何形体内。若 络,网络由超香肠神经元(hyper sausage neuron, 是,则将样本点识别为该类:若否,则认为不属于该 HSN)构成,HSN在特征空间中可看成是以两个样 类。理论上,不同类事物在特征空间的覆盖形体不 本点的连线作为中心线,与中心线距离小于阈值的 会交叉重叠,因此,决不会出现误识。然而,在工程 所有点的集合。在3维空间中,神经元可看成是一 应用实践中,所采集到的训练样本及待识别样本中 个以两个样本点之间的线段作为中线的圆柱体、分 往往包含不同程度的“噪声”,特征提取过程中也会 别以两个样本点为球心的半个超球共3个区域的 丢失一些信息,最终有可能导致类别空间重叠,需要 并,构成一个新的空间区域,因其在3维空间中像一 解决处于重叠空间中的未知样本的归属问题。 根香肠,称之为超香肠神经元。王守觉、徐健、Lai 除上述几个主要研究方向,也有学者将仿生模 Jiangliang等9,川还提出了业函数神经网络:业函数 式识别思想与其他方法相结合,从而提高该方法解 神经网络由多权值神经元组成,而多权值神经元的
2 方法研究 仿生模式识别的一般流程如图 3 所示。 图 3 仿生模式识别的一般流程 Fig.3 Flow chart of BPR 仿生模式识别为模式识别技术的发展开辟了一 条新路径,同时也提出了实现仿生模式识别需要研 究的多方面问题,目前的研究主要集中在如下几点: 1)类别子空间的拓扑流形分析:仿生模式识别 是一类一类地“认识”事物,在学习某类事物时,需 要先分析该类训练样本点的分布,依据同类样本点 在特征空间中的分布特性,确定这种分布具有何种 拓扑属性,从而确定类别子空间在特征空间中的流 形。 在确定类别空间的流形及其维数后,仿生模式 识别再考虑用何种覆盖方法。 2)覆盖方法研究:研究发现,同一类样本在高 维特征空间中的分布表现为一个非常复杂的几何形 体,虽然具有一定的拓扑流形属性,但要实现对这个 几何形体的覆盖会遇到很多困难,例如选择何种几 何覆盖单元、如何确定覆盖的顺序、怎样进行连续覆 盖等,这也就成为仿生模式识别研究的热点。 3)识别方法研究:在确定使用哪种覆盖方法 后,识别通常会比较简单,只需计算待识别样本点是 否落入特征空间中表征某一类的几何形体内。 若 是,则将样本点识别为该类;若否,则认为不属于该 类。 理论上,不同类事物在特征空间的覆盖形体不 会交叉重叠,因此,决不会出现误识。 然而,在工程 应用实践中,所采集到的训练样本及待识别样本中 往往包含不同程度的“噪声”,特征提取过程中也会 丢失一些信息,最终有可能导致类别空间重叠,需要 解决处于重叠空间中的未知样本的归属问题。 除上述几个主要研究方向,也有学者将仿生模 式识别思想与其他方法相结合,从而提高该方法解 决问题的能力。 2.1 样本点分布的拓扑分析 仿生模式识别的核心是覆盖,而分析类别空间 的流形是确定用何种覆盖方法的前提。 样本点分布 的拓扑属性简单分为两种情况,一种情况是拓扑结 构是已知的或可以预测的;另一种情况是拓扑结构 是未知的。 例如在采集训练样本时,设定严格的采 集条件,按照一定的规律或顺序采集,此时,样本点 分布的拓扑结构是已知的或者是可以估计的。 王守 觉在目标识别应用中[4] ,采用了特定的样本采集方 式:摄像头在同一水平面上采集目标的 0~360°方向 的图像,此时目标方向的改变只有一个变量,可认为 目标全体样本在特征空间中的分布近似呈环状的一 维流形。 王宪保等[8]的双螺旋曲线识别任务,识别 目标———双螺旋曲线是分布在二维空间的一维流 形。 王守觉、徐健等[9] 在一项人脸身份确认研究 中,使用三个摄像头组成一组镜头,这一组镜头同时 采集同一人脸的图像得到多个样本点,这多个样本 点的分布状况部分反映了该人脸在特征空间中的分 布状况,后续用一个多权值神经元对这一组样本进 行覆盖完成学习。 在高维空间中,遇到更多的是拓 扑结构未知的情况,目前还没有有效分析高维空间 中点分布状况的系统方法和工具,并且流形的维数 越高,分析的难度越大,目前的研究大多假定样本呈 一维流形分布[4,10⁃12] ,在这些实验中,采用一维流形 覆盖,都能够取得很好的识别效果。 王宪保等[13] 研 究了不限定流形维数的仿生模式识别实现方法,研 究发现随着覆盖维数的增加,样本的识别率也逐渐 提高,但提高幅度逐渐变小。 2.2 覆盖算法研究 覆盖算法的实现是仿生模式识别的研究重点, 神经网络被证明是有效的方法[14⁃15] 。 Wang Shou⁃ jue, Zhao Xingtao 等[11,16] 提出一种超香肠神经网 络,网络由超香肠神经元 ( hyper sausage neuron, HSN)构成,HSN 在特征空间中可看成是以两个样 本点的连线作为中心线,与中心线距离小于阈值的 所有点的集合。 在 3 维空间中,神经元可看成是一 个以两个样本点之间的线段作为中线的圆柱体、分 别以两个样本点为球心的半个超球共 3 个区域的 并,构成一个新的空间区域,因其在 3 维空间中像一 根香肠,称之为超香肠神经元。 王守觉、徐健、Lai Jiangliang 等[9,17]还提出了 Ψ 函数神经网络:Ψ 函数 神经网络由多权值神经元组成,而多权值神经元的 ·4· 智 能 系 统 学 报 第 11 卷
第1期 陈阳,等:仿生模式识别技术研究与应用进展 5 权值通过样本来确定,一个多权值神经元在特征空 是一个神经元,而多个几何体的并或交可看成是多 间中形成的覆盖区域是依据多个权值矢量共同作用 个神经元构成的神经网络。从这个意义上看,神经 形成的复杂几何形体。因此,多权值神经元覆盖的 网络方法和高维形象几何方法是相通的。杨国为 空间状况是由样本决定的。以三权值神经网络进行 等]采用高维空间点分布分析方法,给出从数学上 人脸身份确认,在误识率为0的情况下,正确识别率 证明了找到满意的几何覆盖形体的方法。王宪保 达到96%,实验结果也显示,增加网络规模可提高 等[]运用高维空间几何理论和流形学习理论,在不 识别效果。多权值神经元网络用在非特定人语音识 需要限定流形维数的情况下,研究了具体实现训练 别中1],每个词汇的训练样本数量为30个的情况 样本的覆盖方法及测试样本的识别方法,并对覆盖 下,已训练词汇的误识率仅为1.48%,未训练词汇的 维数以及与识别性能之间的关系进行了分析:并将 误识率为13.29%,而同条件下HMM方法的误识率 该实现方法应用在语音识别中,取得比传统的HMM 为89.24%,远高于仿生模式识别方法。王宪保等[】 和最近邻法(零维覆盖)都要高的识别率。实验还 使用了两种不同结构的神经元来构造一个三层神经 表明,提出的方法对未学习人的语音样本的正确识 网络,该网络可实现一维流形覆盖:由于网络的参数 别率提高更显著:随着覆盖维数的增加,样本的识别 是根据样本直接计算得到,网络不存在迭代时间及 率也逐渐提高,但提高幅度逐渐变小:由于点到覆盖 收敛性问题:网络的规模也是由样本数量决定的,不 体距离的计算是个递归的过程,随着维数的增加,计 存在隐层节点数选择难题。邱立达等19)将改进蚁 算量呈级数的增长,综合考虑识别率和识别时间,本 群算法引入仿生模式识别的神经网络构造当中,并 文认为二维覆盖是合适的选择。另外,Cao Wenming 选取超球作为覆盖几何体。该算法通过设计目标函 等6,2]系统研究了仿生模式识别的几何代数方法, 数、转移概率公式以及信息素更新算法等方法,算出 还研究了多光谱图像的仿生模式识别理论和方 神经网络中覆盖几何体的最优参数:算法还引入调 法25.26 节因子α:α越大,单个神经元的体积越小、神经元 2.3重叠空间中样本的归属判别 数量越多,算法构造的网络的复杂度也就越高、识别 武妍等[列研究发现实际情况中,仿生模式识别 率越高:反之,α越小,单个神经元的体积越大、神经 为了提高识别率而增大阈值或训练样本增加时,不 元数量越少,算法构造的网络的复杂度也就越低,识 可避免地出现空间重叠。为了解决处于重叠空间中 别率越低。在实际应用中可通过调整α的取值来 的未知样本的归属问题,文献提出了适当增大阈值 平衡网络的性能和复杂度,以满足不同需要。胡静 以及允许大样本情况下的空间重叠,在出现空间重 等[20]基于神经网络模块化编程思想,提出了一种实 叠的情况下,采用相对子空间划分的决策方法(rela- 现仿生模式识别的三层前向神经网络结构设计准 tive division of overlapping space based biomimetic 则,即:采用单隐节点层结构,网络的输入层与隐节 pattern recognition,RDBPR),即通过计算重叠空间 点层的连接方式为全连接,将隐节点层划分为C个 中样本到各个特征子空间的距离,得到距离相对最 子节点组,且各个子节点组只与其相应的输出层节 小的类别并将其归类。RDBPR方法能够在不增加 点相连接。其中C为学习样本的“基元素”数目,实 误识率的基础上,提高对处于重叠空间中样本的识 验比较了严格按照该准则设计的网络与未按照该准 别能力,从而提高最终识别率。文献的实验结果表 则设计的网络在交通标识符形状识别中的效果,隐 明,在训练样本数量较少的情况下,即空间覆盖的几 节点分组时,网络收敛次数更多、识别率更高且训练 何形体体积较小时,与BPR(biomimetic pattern rec- 时间更少,识别速度更快。其他神经覆盖方法研 ognition)相比,RDBPR未显示出明显的优势;但随 究2]提出的类高斯混合模型的神经元覆盖方法,王 着训练样本数量增加,在保持较高的稳定性和不显 改良等]利用动态聚类的方法寻找到每个覆盖区 著增加误识率的前提下,RDBPR比BPR的识别率 中心,然后用多权值神经元进行覆盖等。 更优。丁杰等]给出了通过计算基于类条件的后 从高维形象几何的观点出发,研究采用多个简 验概率对样本进行相对区别的判别规则,依据待识 单几何体进行局部覆盖,再通过对简单几何体合并 别样本与各类别子空间的相对距离做置信评估,根 或相交的方法,可实现对复杂几何体的覆盖。实际 据各类模式散布计算后验概率,实现因空间重叠造 上,从广义神经网络的角度看,简单几何体可以看成 成拒识的样本的相对划分,提高识别率
权值通过样本来确定,一个多权值神经元在特征空 间中形成的覆盖区域是依据多个权值矢量共同作用 形成的复杂几何形体。 因此,多权值神经元覆盖的 空间状况是由样本决定的。 以三权值神经网络进行 人脸身份确认,在误识率为 0 的情况下,正确识别率 达到 96%,实验结果也显示,增加网络规模可提高 识别效果。 多权值神经元网络用在非特定人语音识 别中[18] ,每个词汇的训练样本数量为 30 个的情况 下,已训练词汇的误识率仅为 1.48%,未训练词汇的 误识率为 13.29%,而同条件下 HMM 方法的误识率 为89.24%,远高于仿生模式识别方法。 王宪保等[8] 使用了两种不同结构的神经元来构造一个三层神经 网络,该网络可实现一维流形覆盖;由于网络的参数 是根据样本直接计算得到,网络不存在迭代时间及 收敛性问题;网络的规模也是由样本数量决定的,不 存在隐层节点数选择难题。 邱立达等[19] 将改进蚁 群算法引入仿生模式识别的神经网络构造当中,并 选取超球作为覆盖几何体。 该算法通过设计目标函 数、转移概率公式以及信息素更新算法等方法,算出 神经网络中覆盖几何体的最优参数;算法还引入调 节因子 α:α 越大,单个神经元的体积越小、神经元 数量越多,算法构造的网络的复杂度也就越高、识别 率越高;反之,α 越小,单个神经元的体积越大、神经 元数量越少,算法构造的网络的复杂度也就越低,识 别率越低。 在实际应用中可通过调整 α 的取值来 平衡网络的性能和复杂度,以满足不同需要。 胡静 等[20]基于神经网络模块化编程思想,提出了一种实 现仿生模式识别的三层前向神经网络结构设计准 则,即:采用单隐节点层结构,网络的输入层与隐节 点层的连接方式为全连接,将隐节点层划分为 C 个 子节点组,且各个子节点组只与其相应的输出层节 点相连接。 其中 C 为学习样本的“基元素”数目,实 验比较了严格按照该准则设计的网络与未按照该准 则设计的网络在交通标识符形状识别中的效果,隐 节点分组时,网络收敛次数更多、识别率更高且训练 时间更少,识别速度更快。 其他神经覆盖方法研 究[21]提出的类高斯混合模型的神经元覆盖方法,王 改良等[22]利用动态聚类的方法寻找到每个覆盖区 中心,然后用多权值神经元进行覆盖等。 从高维形象几何的观点出发,研究采用多个简 单几何体进行局部覆盖,再通过对简单几何体合并 或相交的方法,可实现对复杂几何体的覆盖。 实际 上,从广义神经网络的角度看,简单几何体可以看成 是一个神经元,而多个几何体的并或交可看成是多 个神经元构成的神经网络。 从这个意义上看,神经 网络方法和高维形象几何方法是相通的。 杨国为 等[23]采用高维空间点分布分析方法,给出从数学上 证明了找到满意的几何覆盖形体的方法。 王宪保 等[13]运用高维空间几何理论和流形学习理论,在不 需要限定流形维数的情况下,研究了具体实现训练 样本的覆盖方法及测试样本的识别方法,并对覆盖 维数以及与识别性能之间的关系进行了分析;并将 该实现方法应用在语音识别中,取得比传统的 HMM 和最近邻法(零维覆盖)都要高的识别率。 实验还 表明,提出的方法对未学习人的语音样本的正确识 别率提高更显著;随着覆盖维数的增加,样本的识别 率也逐渐提高,但提高幅度逐渐变小;由于点到覆盖 体距离的计算是个递归的过程,随着维数的增加,计 算量呈级数的增长,综合考虑识别率和识别时间,本 文认为二维覆盖是合适的选择。 另外,Cao Wenming 等[6,24]系统研究了仿生模式识别的几何代数方法, 还研究了多光谱图像的仿生模式识别理论和方 法[25⁃26] 。 2.3 重叠空间中样本的归属判别 武妍等[27]研究发现实际情况中,仿生模式识别 为了提高识别率而增大阈值或训练样本增加时,不 可避免地出现空间重叠。 为了解决处于重叠空间中 的未知样本的归属问题,文献提出了适当增大阈值 以及允许大样本情况下的空间重叠,在出现空间重 叠的情况下,采用相对子空间划分的决策方法(rela⁃ tive division of overlapping space based biomimetic pattern recognition,RDBPR),即通过计算重叠空间 中样本到各个特征子空间的距离,得到距离相对最 小的类别并将其归类。 RDBPR 方法能够在不增加 误识率的基础上,提高对处于重叠空间中样本的识 别能力,从而提高最终识别率。 文献的实验结果表 明,在训练样本数量较少的情况下,即空间覆盖的几 何形体体积较小时,与 BPR( biomimetic pattern rec⁃ ognition)相比,RDBPR 未显示出明显的优势;但随 着训练样本数量增加,在保持较高的稳定性和不显 著增加误识率的前提下,RDBPR 比 BPR 的识别率 更优。 丁杰等[28] 给出了通过计算基于类条件的后 验概率对样本进行相对区别的判别规则,依据待识 别样本与各类别子空间的相对距离做置信评估,根 据各类模式散布计算后验概率,实现因空间重叠造 成拒识的样本的相对划分,提高识别率。 第 1 期 陈阳,等:仿生模式识别技术研究与应用进展 ·5·
6 智能系统学报 第11卷 2.4其他仿生模式识别实现方法研究 表2仿生模式识别实现方法研究总结 由仿生模式识别学习过程可知,训练样本的代 Table 2 Research summary on the realization method of BPR 表性是进行有效学习的前提,然而在实际情况中由 内容 主要思想方法 性能及特点 于某些原因,训练样本可能包含有不属于本类的离 设定严格的采集条拓扑结构是已知的或者是 群样本,会对学习结果产生不利影响:此外,由于多 件,按照一定的规律可以估计的,对训练样本 种内外因素的共同影响,采集到的同类样本都会含 或顺序采集训练样采集要求严格,学习效果 有不同程度的噪声成分,噪声过大的离群样本通常 本4品9) 优 会导致学习效果变差;另外,大规模的训练样本通常 样本点分假定样本呈一维流形通常与实际拓扑结构相 会有冗余,冗余样本的存在使学习时间增加而对学 习效果提高不大。丁杰等[2]采用仿射传播聚类 布的拓扑分布4,o 符,算法简单、有效 (affinity propagation,AP)算法对样本进行聚类去除 分析 随着覆盖维数的增加,样 离群样本,获得更优的识别结果。王改良等2利用 本的识别率也逐渐提高, 迭代自组织数据分析方法对训练样本进行动态聚 不限定流形维数[) 但提高幅度逐渐变小。实 类,寻找到同一类的多个小类覆盖区中心,然后用多 验结果表明,覆盖维数在 权值神经元网络覆盖小类,实现该类的整体覆盖。 2维时综合性能最优。 此外,还有一些研究,将仿生模式识别思想与其 依据不同的流形维数构造 他方法相结合,获得更优的算法效果。赵莹等9以 构造神经网 神经网络,网络的复杂度 仿生模式识别的同类样本之间“同源连续性”为基 同类样本络[8,,6n,9 与流形维数、神经元数量 础,推广了传统的最邻近方法。利用样本点分布的 点覆盖方 神经网络层数相关 “先验知识”增加训练样本数量,再通过由多个超球 法 通过对简单几何体合并或 高维空间点分布分析 体的并所形成的几何形体,覆盖可能的样本点。该 相交的方法实现对复杂几 方法不但能够更加准确地识别同类样本,还能对非 方法[3,到 何体的覆盖 本类样本进行拒识,有效地提高了传统最近邻方法 随着训练样本数量增加, 的识别效果。王丹等0]提出了一种多维多分辨仿 在保持较高的稳定性和不 生识别方法,其特点是用多分辨分析方法来获取特 被识别样 相对子空间划分[切 显著增加误识率的前提 征空间的多分辨表示,并将HOG(histogram of orien- 本点的归 下,比BPR的识别率更优 ted gradient)描述符用于多尺度分析,获得鲁棒性 属判别 实现因空间重叠造成拒识 基于类条件后验概率 强、稳定性好的多尺度的特征表示,再通过SOM 的样本的相对划分,获得 (self-organizing map)聚类的方法实现了多尺度的样 的判别[2 更优识别效果 本在特征空间中的覆盖:识别过程给出了一种核函 数的多尺度融合决策的识别方法,判定待识别样本 3 应用研究 是否属于相应的样本空间拓扑覆盖。殷建等3)从 相比仿生模式识别的方法研究,技术应用研究 纯数学角度给出基于矢量量化的仿生模式识别算 更受关注,其研究成果更为丰富,包括目标识别、生 法,并列出了如何进行划分的具体算法和公式。殷 物特征识别、近红外定性分析、信号处理、医学图像 维栋[2]阐述了主方向神经网络及覆盖框架的概念, 识别和基因预测等,涉及计算机视觉、安防、农业、生 通过分析及实验,说明了主方向神经网络的原理,通 物医学、通信以及互联网等领域。仿生模式识别技 过获知训练样本的细节分布,降低了主方向神经网 术的通用性及有效性使其在众多应用中展现出活 络的噪声敏感度,获得了较好的映射逼近性能,从而 力,在众多的研究中,仿生模式识别都获得了比传统 具备一定的鲁棒性。但如何选取可调参数、如何确 模式识别更优的综合性能。与此同时,仿生模式识 定隐层的神经元数目是主方向神经网络需要解决的 别对未训练样本的极低误识率以及低训练样本下高 问题。 识别率的优点更为突出。下面将按照技术分类对这 仿生模式识别方法研究可总结如表2所示。 些技术应用研究进行总结
2.4 其他仿生模式识别实现方法研究 由仿生模式识别学习过程可知,训练样本的代 表性是进行有效学习的前提,然而在实际情况中由 于某些原因,训练样本可能包含有不属于本类的离 群样本,会对学习结果产生不利影响;此外,由于多 种内外因素的共同影响,采集到的同类样本都会含 有不同程度的噪声成分,噪声过大的离群样本通常 会导致学习效果变差;另外,大规模的训练样本通常 会有冗余,冗余样本的存在使学习时间增加而对学 习效果提高不大。 丁杰等[28] 采用仿射传播聚类 (affinity propagation, AP)算法对样本进行聚类去除 离群样本,获得更优的识别结果。 王改良等[22] 利用 迭代自组织数据分析方法对训练样本进行动态聚 类,寻找到同一类的多个小类覆盖区中心,然后用多 权值神经元网络覆盖小类,实现该类的整体覆盖。 此外,还有一些研究,将仿生模式识别思想与其 他方法相结合,获得更优的算法效果。 赵莹等[29] 以 仿生模式识别的同类样本之间“同源连续性” 为基 础,推广了传统的最邻近方法。 利用样本点分布的 “先验知识”增加训练样本数量,再通过由多个超球 体的并所形成的几何形体,覆盖可能的样本点。 该 方法不但能够更加准确地识别同类样本,还能对非 本类样本进行拒识,有效地提高了传统最近邻方法 的识别效果。 王丹等[30] 提出了一种多维多分辨仿 生识别方法,其特点是用多分辨分析方法来获取特 征空间的多分辨表示,并将 HOG(histogram of orien⁃ ted gradient)描述符用于多尺度分析,获得鲁棒性 强、稳定性好的多尺度的特征表示,再通过 SOM (self⁃organizing map)聚类的方法实现了多尺度的样 本在特征空间中的覆盖;识别过程给出了一种核函 数的多尺度融合决策的识别方法,判定待识别样本 是否属于相应的样本空间拓扑覆盖。 殷建等[31] 从 纯数学角度给出基于矢量量化的仿生模式识别算 法,并列出了如何进行划分的具体算法和公式。 殷 维栋[32]阐述了主方向神经网络及覆盖框架的概念, 通过分析及实验,说明了主方向神经网络的原理,通 过获知训练样本的细节分布,降低了主方向神经网 络的噪声敏感度,获得了较好的映射逼近性能,从而 具备一定的鲁棒性。 但如何选取可调参数、如何确 定隐层的神经元数目是主方向神经网络需要解决的 问题。 仿生模式识别方法研究可总结如表 2 所示。 表 2 仿生模式识别实现方法研究总结 Table 2 Research summary on the realization method of BPR 内容 主要思想方法 性能及特点 样本点分 布的拓扑 分析 设定 严 格 的 采 集 条 件,按照一定的规律 或顺 序 采 集 训 练 样 本[4,8,9] 拓扑结构是已知的或者是 可以估计的,对训练样本 采集要求严格,学习效果 优 假定样本呈一维流形 分布[4,10⁃12] 通常与实际拓扑结构相 符,算法简单、有效 不限定流形维数[13] 随着覆盖维数的增加,样 本的识别率也逐渐提高, 但提高幅度逐渐变小。 实 验结果表明,覆盖维数在 2 维时综合性能最优。 同类样本 点覆盖方 法 构造神经网 络[8,11,16⁃17,19] 依据不同的流形维数构造 神经网络,网络的复杂度 与流形维数、神经元数量、 神经网络层数相关 高维空间点分布分析 方法[13,23] 通过对简单几何体合并或 相交的方法实现对复杂几 何体的覆盖 被识别样 本点的归 属判别 相对子空间划分[27] 随着训练样本数量增加, 在保持较高的稳定性和不 显著增加误识率的前提 下, 比 BPR 的识别率更优 基于类条件后验概率 的判别[28] 实现因空间重叠造成拒识 的样本的相对划分,获得 更优识别效果 3 应用研究 相比仿生模式识别的方法研究,技术应用研究 更受关注,其研究成果更为丰富,包括目标识别、生 物特征识别、近红外定性分析、信号处理、医学图像 识别和基因预测等,涉及计算机视觉、安防、农业、生 物医学、通信以及互联网等领域。 仿生模式识别技 术的通用性及有效性使其在众多应用中展现出活 力,在众多的研究中,仿生模式识别都获得了比传统 模式识别更优的综合性能。 与此同时,仿生模式识 别对未训练样本的极低误识率以及低训练样本下高 识别率的优点更为突出。 下面将按照技术分类对这 些技术应用研究进行总结。 ·6· 智 能 系 统 学 报 第 11 卷
第1期 陈阳,等:仿生模式识别技术研究与应用进展 7 3.1目标识别 的单训练样本人脸仿生模式识别。这些研究方法与 仿生模式识别最初应用在目标识别,王守觉) 其他经典方法相比,误识率更低,综合性能更优。此 用仿生模式识别方法识别观察方向水平的全方位 外,翟懿奎等21采用基于局部相位量化(local phase (360°)实物模型,实验采用14个实物模型,其中训 quantization,LPQ)特征提取结合仿生模式识别的方 练8个模型,另外6个用来做未训练类样本误识率 法,对伪装人脸识别进行了研究,该方法优于SVM、 测试,实验显示,已训练类的样本正确识别率达 SRC及PCA+BPR方法,实验结果证明这种方法具 99.75%,而未训练类样本的误识率为0。此外,他还 有较高效率,同时大大地提升了伪装人脸识别的性 研究了斜视方向的目标识别)],仿生模式识别的正 能指标。XU Ying等I]则采用了LBP+LPQ特征提 确识别率达99.89%,误识率仅为0.11%。刘焕云 取及超香肠神经网络覆盖来识别伪装人脸。 等3]将仿生模式识别应用于灰度图像目标的识别 仿生模式识别应用在语音识别的研究也较多, 与跟踪,实验结果表明,该方法对于目标尺寸渐变的 并取得了不错的效果。覃鸿等[1)以MFCC作为语 视频图像序列中的目标识别与跟踪是有效的和稳健 音特征参数,对较低数量训练样本情况下非特定人 的。在地面声目标识别实用系统中,目标误识率更 语音的仿生模式识别进行了研究,并将其与其他常 为关键。黄琦等[3]基于二权值神经元网络实现仿 规语音识别方法如HMM及DTW进行了比较,每类 生模式识别的地面声目标识别,在训练样本数为 18个训练样本时,仿生模式识别对未训练类的误识 200的情况下,仿生模式识别的正确识别率与 率为13.92%,远低于HMM(95.57%)及DTW GMM、BP网络和RBF网络相当,在90%左右;而当 (93.67%);研究表明仿生模式识别方法在训练样本 训练样本数下降到80时,仿生模式识别的正确识别 数量较少的情况下,就能获得很好的识别效果,而且 率为82.5%,远高于其他3种方法(其中识别率最高 对于未训练过的词组有较高的正确拒识率,综合性 的方法约为74%)。实验表明,仿生模式识别有效 能优于另外两种方法。王守觉、潘晓霞等[)提出了 克服现有识别系统中误识率高、低训练样本数量情 一种基于动态搜索的连续数字语音仿生模式识别方 况下识别率低、系统需重复训练等缺点。 法,该方法鲁棒性强,适合长短不同、语速不同的连 3.2生物特征识别 续数字识别。王改良等2]采用基音频率轨迹作为 生物特征识别是利用人的生理特征或行为特征 声调特征,研究了基于仿生模式识别的四种声调识 来进行个人身份识别的统称,常见的有人脸识别、语 别,仿生模式识别的覆盖单元采用多权值神经元网 音识别、虹膜识别等。仿生模式识别应用在人脸识 络,实验与HMM、SVM和BP方法比较,在大训练集 别是研究的一大热点,这些研究包括1:1的人脸身 下识别率最优,为99.1%:在小训练集下识别率为 份确认和1:N的人脸识别。王守觉、徐健等[)采用 98.5%,远优于其他方法(其他方法SVM最优,为 多镜头信息融合,建立多权值神经网络的仿生模式 95.2%)。张卫强[]等采用归一化的短时子带平均 识别方法进行人脸身份确认,正确识别率达到 幅度谱作为特征,研究了基于仿生模式识别的固定 96%,其余4%均为拒识,无一误识。王守觉、曲延锋 音频检索方法,并取得了综合性能优良的实验结果。 等[3]研究了仿生模式识别在ORL人脸库上的人脸 此外还有说话人识别6s0)、小词汇量语音识 识别效果,特征提取采用PCA方法,获得了误识率 别[s1s)、问候语识别s。另外,李晗等2将仿生模 为0的识别效果,而在同样实验条件下,SVM方法 式识别应用在声音的性别识别,采用WSJ英文语音 的误识率为6%:实验结果表明仿生模式识别方法 数据库,以基音频率为特征,男性和女性的训练样本 优于SVM方法及最近邻方法。莫华毅等[列采用灰 各为50个,测试样本为850个,覆盖单元采用类高 度微分的特征提取方法研究人脸的仿生模式识别: 斯混合模型神经元,取得了比HMM更优的识别效 蒋加伏等38]采用PCA与LDA的特征提取方法研究 果:改用训练样本100个、测试样本500个的实验条 人脸仿生模式识别:周书仁等采用DCT与LDA 件,特征维数为100维时仿生模式识别达到最优,男 的特征提取方法研究人脸仿生模式识别:陈勇等[] 性识别率达到100%,女性识别率为98.2%。 研究了基于二进小波变换的人脸仿生模式识别:庄 在虹膜识别方面,翟懿奎等[s]研究一种基于仿 德文等4)研究了基于LOG-GABOR滤波二值变换 生模式识别理论的虹膜识别算法,该识别算法基于
3.1 目标识别 仿生模式识别最初应用在目标识别,王守觉[4] 用仿生模式识别方法识别观察方向水平的全方位 (360°)实物模型,实验采用 14 个实物模型,其中训 练 8 个模型,另外 6 个用来做未训练类样本误识率 测试,实验显示, 已训练类的样本正确识别率达 99.75%,而未训练类样本的误识率为 0。 此外,他还 研究了斜视方向的目标识别[33] ,仿生模式识别的正 确识别率达 99. 89%,误识率仅为 0. 11%。 刘焕云 等[34]将仿生模式识别应用于灰度图像目标的识别 与跟踪,实验结果表明,该方法对于目标尺寸渐变的 视频图像序列中的目标识别与跟踪是有效的和稳健 的。 在地面声目标识别实用系统中,目标误识率更 为关键。 黄琦等[35] 基于二权值神经元网络实现仿 生模式识别的地面声目标识别,在训练样本数为 200 的 情 况 下, 仿 生 模 式 识 别 的 正 确 识 别 率 与 GMM、BP 网络和 RBF 网络相当,在 90%左右;而当 训练样本数下降到 80 时,仿生模式识别的正确识别 率为82.5%,远高于其他 3 种方法(其中识别率最高 的方法约为 74%)。 实验表明,仿生模式识别有效 克服现有识别系统中误识率高、低训练样本数量情 况下识别率低、系统需重复训练等缺点。 3.2 生物特征识别 生物特征识别是利用人的生理特征或行为特征 来进行个人身份识别的统称,常见的有人脸识别、语 音识别、虹膜识别等。 仿生模式识别应用在人脸识 别是研究的一大热点,这些研究包括 1 ∶1的人脸身 份确认和 1 ∶N 的人脸识别。王守觉、徐健等[17] 采用 多镜头信息融合,建立多权值神经网络的仿生模式 识别方 法 进 行 人 脸 身 份 确 认, 正 确 识 别 率 达 到 96%,其余 4%均为拒识,无一误识。 王守觉、曲延锋 等[36]研究了仿生模式识别在 ORL 人脸库上的人脸 识别效果,特征提取采用 PCA 方法,获得了误识率 为 0 的识别效果,而在同样实验条件下,SVM 方法 的误识率为 6%;实验结果表明仿生模式识别方法 优于 SVM 方法及最近邻方法。 莫华毅等[37] 采用灰 度微分的特征提取方法研究人脸的仿生模式识别; 蒋加伏等[38]采用 PCA 与 LDA 的特征提取方法研究 人脸仿生模式识别;周书仁等[39] 采用 DCT 与 LDA 的特征提取方法研究人脸仿生模式识别;陈勇等[40] 研究了基于二进小波变换的人脸仿生模式识别;庄 德文等[41]研究了基于 LOG⁃GABOR 滤波二值变换 的单训练样本人脸仿生模式识别。 这些研究方法与 其他经典方法相比,误识率更低,综合性能更优。 此 外,翟懿奎等[42]采用基于局部相位量化(local phase quantization, LPQ)特征提取结合仿生模式识别的方 法,对伪装人脸识别进行了研究,该方法优于 SVM、 SRC 及 PCA+BPR 方法,实验结果证明这种方法具 有较高效率,同时大大地提升了伪装人脸识别的性 能指标。 XU Ying 等[43]则采用了 LBP+LPQ 特征提 取及超香肠神经网络覆盖来识别伪装人脸。 仿生模式识别应用在语音识别的研究也较多, 并取得了不错的效果。 覃鸿等[18] 以 MFCC 作为语 音特征参数,对较低数量训练样本情况下非特定人 语音的仿生模式识别进行了研究,并将其与其他常 规语音识别方法如 HMM 及 DTW 进行了比较,每类 18 个训练样本时,仿生模式识别对未训练类的误识 率为 13. 92%, 远 低 于 HMM ( 95. 57%) 及 DTW (93.67%);研究表明仿生模式识别方法在训练样本 数量较少的情况下,就能获得很好的识别效果,而且 对于未训练过的词组有较高的正确拒识率,综合性 能优于另外两种方法。 王守觉、潘晓霞等[44] 提出了 一种基于动态搜索的连续数字语音仿生模式识别方 法,该方法鲁棒性强,适合长短不同、语速不同的连 续数字识别。 王改良等[22] 采用基音频率轨迹作为 声调特征,研究了基于仿生模式识别的四种声调识 别,仿生模式识别的覆盖单元采用多权值神经元网 络,实验与 HMM、SVM 和 BP 方法比较,在大训练集 下识别率最优,为99.1%;在小训练集下识别率为 98.5%,远优于其他方法(其他方法 SVM 最优,为 95.2%)。 张卫强[45]等采用归一化的短时子带平均 幅度谱作为特征,研究了基于仿生模式识别的固定 音频检索方法,并取得了综合性能优良的实验结果。 此外 还 有 说 话 人 识 别[46⁃50] 、 小 词 汇 量 语 音 识 别[51⁃53] 、问候语识别[54] 。 另外,李晗等[21] 将仿生模 式识别应用在声音的性别识别,采用 WSJ 英文语音 数据库,以基音频率为特征,男性和女性的训练样本 各为 50 个,测试样本为 850 个,覆盖单元采用类高 斯混合模型神经元,取得了比 HMM 更优的识别效 果;改用训练样本 100 个、测试样本 500 个的实验条 件,特征维数为 100 维时仿生模式识别达到最优,男 性识别率达到 100%,女性识别率为 98.2%。 在虹膜识别方面,翟懿奎等[55] 研究一种基于仿 生模式识别理论的虹膜识别算法,该识别算法基于 第 1 期 陈阳,等:仿生模式识别技术研究与应用进展 ·7·
·8 智能系统学报 第11卷 小波变换及奇异值分解的方法进行虹膜特征的提 的实验结果平均正确识别率达94.3%:卢洋等[6]在 取,再利用超香肠神经网络进行覆盖学习。在中科 近红外短波段采用仿生模式识别方法对37个玉米 院自动化所的虹膜数据库(CASIAver-1.0)上进行仿 品种进行识别,获得97.6%的正确识别率:曹吾 真实验,取得了良好的正确识别率,并且对于未参与 等6侧研究了采用仿生模式识别方法建立的7个玉 训练的待识别虹膜样本具有较高的拒识率。XU 米品种近红外定性模型的稳健性与适应性:柳培忠 Ying等6也对虹膜的仿生模式识别进行了研究。 等[6的]采用DS算法进一步提高了仿生模式识别的玉 王丹等[0]将仿生模式识别用于虹膜识别,在LUL- 米品种近红外定性模型的稳定性。单粒玉米种子品 RIS数据库上获得了良好的识别效果。而LI Zhihui 种鉴别方面,贾仕强等]采用仿生模式识别方法建 等[s切则研究了基于仿生模式识别的多尺度虹膜 立定性鉴别模型,研究了单粒玉米种子品种真实性 识别。 鉴定的光谱测量方法。贾仕强等[6]还采用仿生模 仿生模式识别在生物特征识别的其他方面还有 式识别方法,研究了带种衣剂玉米种子的品种鉴别 李颜瑞等)研究的一种基于仿生模式识别的眉毛 方法。黄华军等[]则采用仿生模式识别方法研究 识别方法,采用小波变换提取眉毛特征和三权值神 了玉米杂交种纯度的近红外光谱分析技术。此外, 经网络覆盖学习,在一个有120人的眉毛信息库上 翟亚锋等[例]利用仿生模式识别方法建立近红外定 进行实验,最高识别率达91.67%。 性分析模型,研究了转基因小麦快速鉴别方法。上 3.3文本识别 述研究都获得了优于传统近红外定性分析方法的鉴 文本识别方面,丁杰等2]将仿生模式识别应用 别效果,值得一提的是,其中一些应用研究成果已成 在手写体数字识别中,数据库使用了NUST手写金 熟并开始在企业中推广。 额库及Concordia大学的CENPARMI库,与KNN、 3.5其他应用 SVM和通用分类器学习框架方法比较,仿生模式识 在生物信息学方面,陈阳等[0]利用仿生模式识 别方法的可靠性最佳,在小样本识别情况下,比传统 别原理,采用超香肠神经元网络对水平转移基因进 模式识别更具有优势。王建平等[9]提取手写体汉 行识别,结果显示仿生模式识别方法对大肠杆菌 字的笔画特征,采用双权值椭圆形神经元覆盖方法 (Escherichia coli K1.2)基因组的命中率与目前预测 进行手写体汉字识别,通过对SCUT-IRAC手写体汉 结果最好的八联核苷酸频率的打分算法相比,提高 字库中的简单和较复杂手写体汉字识别进行的仿真 了42.3%,与基于支撑向量机的识别算法相比提高 实验,验证了该方法具有接近人类识别汉字的容错 了30.5%。安冬等[m提出了一种物种自动分类的 性和准确性。ZHANG Jibin等o]使用仿生模式识 方法。该方法利用仿生模式识别对嗜肝病毒科病毒 别进行文本分类,实验结果显示三权值神经元网络 及花椰菜花叶病毒科病毒实现自动分类,达到了较 的效果最优。 高的识别率。SU Qian等2]研究了基于仿生模式识 此外,胡静等[2]研究了仿生模式识别的交通标 别的细胞代谢周期识别方法,对酵母的代谢周期的 识符识别,取每类标识符的10幅图像作为训练样本 三个阶段,分类正确率分别达到90%、100%和 建立相应的仿生模式识别网络,用另外6幅作为测 100%。 试样本,识别率最高可达95.47%。 在医学影像识别方面,JIANG Jiafu等[)]和吴海 3.4近红外光谱定性分析 珍等[4)研究基于仿生模式识别的医学图像分割算 仿生模式识别应用在近红外光谱定性分析农作 法,算法采用旷多权值神经元网络在高维特征空 物种子品质方面。中国科学院半导体研究和中国 间中对样本进行最优覆盖,然后对覆盖结果进行识 农业大学做了大量的研究工作,研究人员基于近红 和分割,利用该方法得到的实验结果比传统图像分 外漫反射或漫透射光谱,进行了仿生模式识别种子 割法准确性更高、可靠性好、泛化能力强。何中市 识别。群体玉米种子品种鉴别方面有苏谦等]研 等[]研究基于仿生模式识别的孤立性肺结节检测 究基于仿生模式识别的玉米品种快速鉴别方法,7 方法,实验在小样本集上进行,并与BP神经网络和 个玉米品种的平均正确识别率达94.3%,同时正确 SVM方法进行比较,从特异性、敏感性等几个指标 拒识率达99.1%:邬文锦等62]在37个玉米品种上 对实验结果进行比较分析,仿生模式识别方法的综
小波变换及奇异值分解的方法进行虹膜特征的提 取,再利用超香肠神经网络进行覆盖学习。 在中科 院自动化所的虹膜数据库(CASIAver⁃1.0)上进行仿 真实验,取得了良好的正确识别率,并且对于未参与 训练的待识别虹膜样本具有较高的拒识率。 XU Ying 等[56]也对虹膜的仿生模式识别进行了研究。 王丹等[30] 将仿生模式识别用于虹膜识别,在 JLUI⁃ RIS 数据库上获得了良好的识别效果。 而 LI Zhihui 等[57]则研究了基于仿生模式识别的多尺度虹膜 识别。 仿生模式识别在生物特征识别的其他方面还有 李颜瑞等[58]研究的一种基于仿生模式识别的眉毛 识别方法,采用小波变换提取眉毛特征和三权值神 经网络覆盖学习,在一个有 120 人的眉毛信息库上 进行实验,最高识别率达 91.67%。 3.3 文本识别 文本识别方面,丁杰等[28]将仿生模式识别应用 在手写体数字识别中,数据库使用了 NUST 手写金 额库及 Concordia 大学的 CENPARMI 库,与 KNN、 SVM 和通用分类器学习框架方法比较,仿生模式识 别方法的可靠性最佳,在小样本识别情况下,比传统 模式识别更具有优势。 王建平等[59] 提取手写体汉 字的笔画特征,采用双权值椭圆形神经元覆盖方法 进行手写体汉字识别,通过对 SCUT⁃IRAC 手写体汉 字库中的简单和较复杂手写体汉字识别进行的仿真 实验,验证了该方法具有接近人类识别汉字的容错 性和准确性。 ZHANG Jibin 等[60] 使用仿生模式识 别进行文本分类,实验结果显示三权值神经元网络 的效果最优。 此外,胡静等[20]研究了仿生模式识别的交通标 识符识别,取每类标识符的 10 幅图像作为训练样本 建立相应的仿生模式识别网络,用另外 6 幅作为测 试样本,识别率最高可达 95.47%。 3.4 近红外光谱定性分析 仿生模式识别应用在近红外光谱定性分析农作 物种子品质方面。 中国科学院半导体研究所和中国 农业大学做了大量的研究工作,研究人员基于近红 外漫反射或漫透射光谱,进行了仿生模式识别种子 识别。 群体玉米种子品种鉴别方面有苏谦等[65] 研 究基于仿生模式识别的玉米品种快速鉴别方法,7 个玉米品种的平均正确识别率达 94.3%,同时正确 拒识率达 99.1%;邬文锦等[62] 在 37 个玉米品种上 的实验结果平均正确识别率达 94.3%;卢洋等[63] 在 近红外短波段采用仿生模式识别方法对 37 个玉米 品种进行识别,获得 97. 6% 的正确识别率; 曹吾 等[64]研究了采用仿生模式识别方法建立的 7 个玉 米品种近红外定性模型的稳健性与适应性;柳培忠 等[65]采用 DS 算法进一步提高了仿生模式识别的玉 米品种近红外定性模型的稳定性。 单粒玉米种子品 种鉴别方面,贾仕强等[66]采用仿生模式识别方法建 立定性鉴别模型,研究了单粒玉米种子品种真实性 鉴定的光谱测量方法。 贾仕强等[67] 还采用仿生模 式识别方法,研究了带种衣剂玉米种子的品种鉴别 方法。 黄华军等[68] 则采用仿生模式识别方法研究 了玉米杂交种纯度的近红外光谱分析技术。 此外, 翟亚锋等[69]利用仿生模式识别方法建立近红外定 性分析模型,研究了转基因小麦快速鉴别方法。 上 述研究都获得了优于传统近红外定性分析方法的鉴 别效果,值得一提的是,其中一些应用研究成果已成 熟并开始在企业中推广。 3.5 其他应用 在生物信息学方面,陈阳等[70] 利用仿生模式识 别原理,采用超香肠神经元网络对水平转移基因进 行识别,结果显示仿生模式识别方法对大肠杆菌 (Escherichia coli K12)基因组的命中率与目前预测 结果最好的八联核苷酸频率的打分算法相比,提高 了 42.3%,与基于支撑向量机的识别算法相比提高 了 30.5%。 安冬等[71] 提出了一种物种自动分类的 方法。 该方法利用仿生模式识别对嗜肝病毒科病毒 及花椰菜花叶病毒科病毒实现自动分类,达到了较 高的识别率。 SU Qian 等[72]研究了基于仿生模式识 别的细胞代谢周期识别方法,对酵母的代谢周期的 三个 阶 段, 分 类 正 确 率 分 别 达 到 90%、 100% 和 100%。 在医学影像识别方面,JIANG Jiafu 等[73]和吴海 珍等[74]研究基于仿生模式识别的医学图像分割算 法,算法采用 Ψ 3 多权值神经元网络在高维特征空 间中对样本进行最优覆盖,然后对覆盖结果进行识 和分割,利用该方法得到的实验结果比传统图像分 割法准确性更高、可靠性好、泛化能力强。 何中市 等[75]研究基于仿生模式识别的孤立性肺结节检测 方法,实验在小样本集上进行,并与 BP 神经网络和 SVM 方法进行比较,从特异性、敏感性等几个指标 对实验结果进行比较分析,仿生模式识别方法的综 ·8· 智 能 系 统 学 报 第 11 卷
第1期 陈阳,等:仿生模式识别技术研究与应用进展 9 合性能最优。武妍等〔6]研究运动想象脑电识别, 间序列之间,用这种方法增加样本点的数量。实验 采用增量半监督的仿生模式识别算法,使用脑机接 结果表明,这种方法比基于动态时间弯折的方法更 口国际大赛公布的数据集对该算法进行了离线分 有优势。 析、模拟在线实验,以及作者在线采集的实际脑电数 仿生模式识别的应用研究可总结如表3所示。 据进行了实际在线实验。实验结果表明该算法平均 表3仿生模式识别的应用研究 准确率高,并且其在抗过学习和稳定性上也体现出 Table 3 Application summary of BPR 了明显的优势。YANG Xiaoli等[]研究了仿生模式 应用领域 识别的乳腺癌预测方法,癌细胞转移、预后良好及预 水平全方位目标识别) 后不良的的预测率分别为85%、98%及88%,均优于 目标 识别 斜视方向目标识别[划 Fisher判别分析及SVM方法。 地面声目标识别[3 在信号处理方面,安冬等[90分别采用自相关 1:1的人脸身份确认(切 特征提取方法和PCA/ICA特征提取方法,研究了基 人脸 1:N的人脸识别64 于仿生模式识别的DOA估计,实验结果证明仿生模 生物特 识别 式识别不仅可以应用于传统的模式识别,还可以应 伪装人脸识别4 征识别 用于非感性的抽象对象的信息处理,并且模型鲁棒 语音识别18,21-2,44 性强,计算量较小,在信号处理领域具有普遍意义。 虹膜识别[0,5] 在图像识别方面,蒋加伏等[研究了基于仿生 文本 手写体数字识别[2测 模式识别的纹理图像识别算法,采用Contourlet变换 识别 手写体汉字识别( 提取图像能量特征和超香肠神经网络,在Vistex纹 近红外 群体玉米种子品种鉴别3] 理库上进行仿真实验,分类正确率为100%,优于 光谱定 单粒玉米种子品种鉴别“个 SVMk均值和BP方法。耿春云等2将仿生模式 性分析 转基因小麦快速鉴别[ 识别用于海洋微藻识别,实现了不同种及同种不同 水平转移基因识别] 状态下的藻体的准确识别。胡静等[2]研究了仿生 生物 物种自动分类)] 模式识别的交通标识符识别,取每类标识符的10幅 信息学 细胞代谢周期识别(] 图像作为训练样本建立相应的仿生模式识别网络, 图像分割[4) 用另外6幅作为测试样本,识别率最高可达 医学影 孤立性肺结节检测) 95.47%。 像识别 运动想象脑电识别[列 故障诊断方面,SHⅢHaitao等[3研究了基于仿 其他 乳腺癌预测[例 生模式识别的电潜螺杆泵状态识别,通过识别电潜 应用 信号处理—DOA估计[ 螺杆泵的电参数状态来进行故障诊断,正确识别率 纹理图像识别s】 为86.7%,获得了有效的识别效果。WANG Xiaozhe 图像 识别 等8]将仿生模式识别与匹配跟踪算法相结合进行 海洋微藻识别!②】 电路系统的故障检测仿真实验,实验结果表明该方 故障 电潜螺杆泵状态识别 法提高了故障检测的鲁棒性和识别精度。 诊断 电路系统的故障检测[刷 网络攻击识别方面,周全强等[s]针对有监督 网络攻击识别5s 方法,研究了基于仿生模式识别的未知推荐攻击 时间序列匹配可列 (用户概貌攻击)检测方法,用于MovieLens数据集 实验中,结果表明该方法具有较高的命中率和较低 4 结束语 的误报率。 仿生模式识别自2002年提出,为模式识别领域 在时间序列匹配方面,闾海荣等[]基于仿生模 开辟了一条全新的研究方向,诸多学者已经相继提 式识别思想,利用同类样本间的连续性规律,对时间 出了一系列具体实现方法并将其广泛应用在模式识 序列进行排序,将若干新时间序列添加进相邻的时 别的各个领域。与此同时,将仿生模式识别思想应
合性能最优。 武妍等[76⁃77] 研究运动想象脑电识别, 采用增量半监督的仿生模式识别算法,使用脑机接 口国际大赛公布的数据集对该算法进行了离线分 析、模拟在线实验,以及作者在线采集的实际脑电数 据进行了实际在线实验。 实验结果表明该算法平均 准确率高,并且其在抗过学习和稳定性上也体现出 了明显的优势。 YANG Xiaoli 等[78]研究了仿生模式 识别的乳腺癌预测方法,癌细胞转移、预后良好及预 后不良的的预测率分别为 85%、98%及 88%,均优于 Fisher 判别分析及 SVM 方法。 在信号处理方面,安冬等[79⁃80] 分别采用自相关 特征提取方法和 PCA/ ICA 特征提取方法,研究了基 于仿生模式识别的 DOA 估计,实验结果证明仿生模 式识别不仅可以应用于传统的模式识别,还可以应 用于非感性的抽象对象的信息处理,并且模型鲁棒 性强,计算量较小,在信号处理领域具有普遍意义。 在图像识别方面,蒋加伏等[81] 研究了基于仿生 模式识别的纹理图像识别算法,采用 Contourlet 变换 提取图像能量特征和超香肠神经网络,在 Vistex 纹 理库上进行仿真实验,分类正确率为 100%,优于 SVM、k 均值和 BP 方法。 耿春云等[82] 将仿生模式 识别用于海洋微藻识别,实现了不同种及同种不同 状态下的藻体的准确识别。 胡静等[20] 研究了仿生 模式识别的交通标识符识别,取每类标识符的 10 幅 图像作为训练样本建立相应的仿生模式识别网络, 用另 外 6 幅 作 为 测 试 样 本, 识 别 率 最 高 可 达 95.47%。 故障诊断方面,SHI Haitao 等[83] 研究了基于仿 生模式识别的电潜螺杆泵状态识别,通过识别电潜 螺杆泵的电参数状态来进行故障诊断,正确识别率 为 86.7%,获得了有效的识别效果。 WANG Xiaozhe 等[84]将仿生模式识别与匹配跟踪算法相结合进行 电路系统的故障检测仿真实验,实验结果表明该方 法提高了故障检测的鲁棒性和识别精度。 网络攻击识别方面,周全强等[85⁃86] 针对有监督 方法,研究了基于仿生模式识别的未知推荐攻击 (用户概貌攻击)检测方法,用于 MovieLens 数据集 实验中,结果表明该方法具有较高的命中率和较低 的误报率。 在时间序列匹配方面,闾海荣等[87] 基于仿生模 式识别思想,利用同类样本间的连续性规律,对时间 序列进行排序,将若干新时间序列添加进相邻的时 间序列之间,用这种方法增加样本点的数量。 实验 结果表明,这种方法比基于动态时间弯折的方法更 有优势。 仿生模式识别的应用研究可总结如表 3 所示。 表 3 仿生模式识别的应用研究 Table 3 Application summary of BPR 应用领域 目标 识别 水平全方位目标识别[4] 斜视方向目标识别[33] 地面声目标识别[35] 生物特 征识别 人脸 识别 1:1 的人脸身份确认[17] 1:N 的人脸识别[36⁃41] 伪装人脸识别[42⁃43] 语音识别[18,21⁃22,44⁃54] 虹膜识别[30,55⁃56] 文本 识别 手写体数字识别[28] 手写体汉字识别[59] 近 红 外 光 谱 定 性分析 群体玉米种子品种鉴别[63⁃65] 单粒玉米种子品种鉴别[66⁃68] 转基因小麦快速鉴别[69] 其他 应用 生物 信息学 水平转移基因识别[70] 物种自动分类[71] 细胞代谢周期识别[72] 医学影 像识别 图像分割[74] 孤立性肺结节检测[75] 运动想象脑电识别[76⁃77] 乳腺癌预测[78] 信号处理———DOA 估计[79⁃80] 图像 识别 纹理图像识别[81] 海洋微藻识别[82] 故障 诊断 电潜螺杆泵状态识别[83] 电路系统的故障检测[84] 网络攻击识别[85-86] 时间序列匹配[87] 4 结束语 仿生模式识别自 2002 年提出,为模式识别领域 开辟了一条全新的研究方向,诸多学者已经相继提 出了一系列具体实现方法并将其广泛应用在模式识 别的各个领域。 与此同时,将仿生模式识别思想应 第 1 期 陈阳,等:仿生模式识别技术研究与应用进展 ·9·
·10 智能系统学报 第11卷 用在其他信息处理方面,扩大了仿生模式识别研究 ognition theory and its applications[J].Chinese journal of 的范围,拓展了仿生模式识别研究的内容,使仿生模 electronics,2004,13(3):373.377 式识别可以解决更多领域的新问题。从目前仿生模 [12]杨建琦,丁立军,蒋维.基于拓扑学识别理论的身份鉴 定研究[J].嘉兴学院学报,2013,25(3):99-104. 式识别的方法研究及应用研究可以看到,还没有有 YANG Jianqi,DING Lijun,JIANG Wei.Identification 效的分析同类样本点分布流形的方法,还需要发展 based on topology recognition theory[].Journal of Jinxing 高维空间拓扑理论与算法,以及更灵活高效的神经 University,2013,25(3):99-104. 元模型等。仿生模式识别优于传统模式识别,且具 [13]王宪保,陆飞,陈勇,等.仿生模式识别的算法实现与 有光明的研究前景,但是也应清晰认识到,该方法亟 应用J].浙江工业大学学报,2011,39(1):71-74. WANG Xianbao,LU Fei,CHEN Yong,et al.Algorithm 待开展深入细致的研究,将该方法及其应用研究向 and application of biomimetic pattern recognition[].Jour- 更深层次和更广领域推进。 nal of Zhejiang University of technology,2011,39(1): 71.74. 参考文献: [14]王守觉,李兆洲,陈向东,等.通用神经网络硬件中神 [1]DUDA R0.模式分类[M].李宏东,姚天翔,译.第2 经元基本数学模型的讨论[J].电子学报,2001,29 (5):577-580. 版.北京:机械工业出版社,2003:9 [2]FISHER R A.Contributions to mathematical statistics[M]. WANG Shoujue,LI Zhaozhou,CHEN Xiangdong,et al. Discussion on the basic mathematical models of neurons in New York:John Wiley,1952. [3]VAPNIK V N.统计学习理论的本质[M].张学工,译. general purpose neurocomputer[J].Acta electronica sini- ca,2001,29(5):277-280. 北京:清华大学出版社,2000. [4]王守觉.仿生模式识别(拓扑模式识别)一一种模式识 [15]WANG Shoujue.A new development on ANN in China biomimetic pattern recognition and multi weight vector neu- 别新模型的理论与应用[J].电子学报,2002,30(10): rons[M]//WANG Guoyin,LIU Qing,YAO Yiyu,et al. 1417-1420. Rough Sets,Fuzzy Sets,Data Mining,and Granular Com- WANG Shoujue.Bionic topological)pattern recognition-a puting.Berlin Heidelberg:Springer,2003:35-43. new model of pattern recognition theory and its applications [16]WANG Shoujue.Biomimetics pattern recognition[].Neu- [J].Acta electronica sinica,2002.30(10):1417-1420. ral networks society INNS,ENNS,JNNS)newsletter, [5]王守觉,来疆亮.多维空间仿生信息学入门[M].北京: 2003,1(1):3-5. 国防工业出版社,2008. [17]WANG Shoujue,LAI Jiangliang.A more complex neuron [6]曹文明,冯浩.仿生模式识别与信号处理的几何代数方 in biomimetic pattern recognition[C]//Proceedings of In- 法[M].北京:科学出版社,2010. ternational Conference on Neural Networks and Brain.Bei- [7]王守觉,刘扬阳,来疆亮,等.仿生模式识别与多权值 jing,China,2005:1487-1489. 神经元[M1.北京:国防工业出版社,2012 [18]罩鸿,王守觉.多权值神经元网络仿生模式识别方法在 [8]王宪保,周德龙,王守觉。基于仿生模式识别的构造型 低训练样本数量非特定人语音识别中与HMM及DTW 神经网络分类方法[J].计算机学报,2007,30(12): 的比较研究[J].电子学报,2005,33(5):957-960. 2109-2114 QIN Hong,WANG Shoujue.Comparison of biomimetic WANG Xianbao,ZHOU Delong,WANG Shoujue.Con- pattern recognition,HMM and DTW for speaker-independ- structive neuron networks classification algorithm based on ent speech recognition[J.Acta electronica sinica,2005 biomimetic pattern recognition[].Chinese journal of com- 33(5):957-960. puters,2007,30(12):2109-2114. 「19]邱立达,刘天键.基于蚁群算法的仿生模式识别神经网 [9]王守觉,徐健,王宪保,等.基于仿生模式识别的多镜 络构造方法[J].闽江学院学报,2013,34(2):88-91. 头人脸身份确认系统研究[J].电子学报,2003,31(1): QIU Lida,LIU Tianjian.Constructive method of bionic 1-3 pattern recognition neural networks based on ant colony al- WANG Shoujue,XU Jian,WANG Xianbao,et al.Multi- gorithm[J].Journal of Minjiang University,2013,34 camera human-face personal identification system based on (2):88-91. the biomimetic pattern recognition[J.Acta electronica sini- [20]胡静,王辉,徐小红,等.基于同类样本覆盖的BP网 ca,2003,31(1):1-3. 络结构设计准则研究[J].系统工程与电子技术,2007, [10]WANG Shoujue,CHEN Xu.Biomimetic topological)pat- 29(4):605-608. tem recognition-a new model of pattern recognition theory HU Jing,WANG Hui,XU Xiaohong,et al.Study of de- and its application [C]//Proceedings of the International signing BP neural network structure in congener sample Joint Conference on Neural Networks.Portland,America, covering[J].Systems engineering and electronics,2007, 2003.3:2258-2262 29(4):605-608. [11]WANG Shoujue,ZHAO Xingtao.Biomimetic pattern rec- [21]李晗,武妍.仿生模式识别理论在性别识别中的应用
用在其他信息处理方面,扩大了仿生模式识别研究 的范围,拓展了仿生模式识别研究的内容,使仿生模 式识别可以解决更多领域的新问题。 从目前仿生模 式识别的方法研究及应用研究可以看到,还没有有 效的分析同类样本点分布流形的方法,还需要发展 高维空间拓扑理论与算法,以及更灵活高效的神经 元模型等。 仿生模式识别优于传统模式识别,且具 有光明的研究前景,但是也应清晰认识到,该方法亟 待开展深入细致的研究,将该方法及其应用研究向 更深层次和更广领域推进。 参考文献: [1]DUDA R O. 模式分类[M]. 李宏东, 姚天翔, 译. 第 2 版. 北京: 机械工业出版社, 2003: 9. [2]FISHER R A. Contributions to mathematical statistics[M]. New York: John & Wiley, 1952. [3]VAPNIK V N. 统计学习理论的本质[M]. 张学工, 译. 北京: 清华大学出版社, 2000. [4]王守觉. 仿生模式识别(拓扑模式识别)———一种模式识 别新模型的理论与应用[ J]. 电子学报, 2002, 30(10): 1417⁃1420. WANG Shoujue. Bionic ( topological) pattern recognition⁃a new model of pattern recognition theory and its applications [J]. Acta electronica sinica, 2002, 30(10): 1417⁃1420. [5]王守觉, 来疆亮. 多维空间仿生信息学入门[M]. 北京: 国防工业出版社, 2008. [6]曹文明, 冯浩. 仿生模式识别与信号处理的几何代数方 法[M]. 北京: 科学出版社, 2010. [7]王守觉, 刘扬阳, 来疆亮, 等. 仿生模式识别与多权值 神经元[M]. 北京: 国防工业出版社, 2012. [8]王宪保, 周德龙, 王守觉. 基于仿生模式识别的构造型 神经网络分类方法[ J]. 计算机学报, 2007, 30 ( 12): 2109⁃2114. WANG Xianbao, ZHOU Delong, WANG Shoujue. Con⁃ structive neuron networks classification algorithm based on biomimetic pattern recognition[ J]. Chinese journal of com⁃ puters, 2007, 30(12): 2109⁃2114. [9]王守觉, 徐健, 王宪保, 等. 基于仿生模式识别的多镜 头人脸身份确认系统研究[J]. 电子学报, 2003, 31(1): 1⁃3. WANG Shoujue, XU Jian, WANG Xianbao, et al. Multi⁃ camera human⁃face personal identification system based on the biomimetic pattern recognition[J]. Acta electronica sini⁃ ca, 2003, 31(1): 1⁃3. [10]WANG Shoujue, CHEN Xu. Biomimetic (topological) pat⁃ tern recognition⁃ a new model of pattern recognition theory and its application [ C] / / Proceedings of the International Joint Conference on Neural Networks. Portland, America, 2003, 3: 2258⁃2262. [11]WANG Shoujue, ZHAO Xingtao. Biomimetic pattern rec⁃ ognition theory and its applications[J]. Chinese journal of electronics, 2004, 13(3): 373⁃377. [12]杨建琦, 丁立军, 蒋维. 基于拓扑学识别理论的身份鉴 定研究[J]. 嘉兴学院学报, 2013, 25(3): 99⁃104. YANG Jianqi, DING Lijun, JIANG Wei. Identification based on topology recognition theory[J]. Journal of Jinxing University, 2013, 25(3): 99⁃104. [13]王宪保, 陆飞, 陈勇, 等. 仿生模式识别的算法实现与 应用[J]. 浙江工业大学学报, 2011, 39(1): 71⁃74. WANG Xianbao, LU Fei, CHEN Yong, et al. Algorithm and application of biomimetic pattern recognition[J]. Jour⁃ nal of Zhejiang University of technology, 2011, 39 ( 1): 71⁃74. [14]王守觉, 李兆洲, 陈向东, 等. 通用神经网络硬件中神 经元基本数学模型的讨论[ J]. 电子学报, 2001, 29 (5): 577⁃580. WANG Shoujue, LI Zhaozhou, CHEN Xiangdong, et al. Discussion on the basic mathematical models of neurons in general purpose neurocomputer[ J]. Acta electronica sini⁃ ca, 2001, 29(5): 277⁃280. [15]WANG Shoujue. A new development on ANN in China – biomimetic pattern recognition and multi weight vector neu⁃ rons[M] / / WANG Guoyin, LIU Qing, YAO Yiyu, et al. Rough Sets, Fuzzy Sets, Data Mining, and Granular Com⁃ puting. Berlin Heidelberg: Springer, 2003: 35⁃43. [16]WANG Shoujue. Biomimetics pattern recognition[J]. Neu⁃ ral networks society ( INNS, ENNS, JNNS) newsletter, 2003, 1(1): 3⁃5. [17]WANG Shoujue, LAI Jiangliang. A more complex neuron in biomimetic pattern recognition[C] / / Proceedings of In⁃ ternational Conference on Neural Networks and Brain. Bei⁃ jing, China, 2005: 1487⁃1489. [18]覃鸿, 王守觉. 多权值神经元网络仿生模式识别方法在 低训练样本数量非特定人语音识别中与 HMM 及 DTW 的比较研究[J]. 电子学报, 2005, 33(5): 957⁃960. QIN Hong, WANG Shoujue. Comparison of biomimetic pattern recognition, HMM and DTW for speaker⁃independ⁃ ent speech recognition[J]. Acta electronica sinica, 2005, 33(5): 957⁃960. [19]邱立达, 刘天键. 基于蚁群算法的仿生模式识别神经网 络构造方法[J]. 闽江学院学报, 2013, 34(2): 88⁃91. QIU Lida, LIU Tianjian. Constructive method of bionic pattern recognition neural networks based on ant colony al⁃ gorithm [ J ]. Journal of Minjiang University, 2013, 34 (2): 88⁃91. [20]胡静, 王辉, 徐小红, 等. 基于同类样本覆盖的 BP 网 络结构设计准则研究[J]. 系统工程与电子技术, 2007, 29(4): 605⁃608. HU Jing, WANG Hui, XU Xiaohong, et al. Study of de⁃ signing BP neural network structure in congener sample covering[ J]. Systems engineering and electronics, 2007, 29(4): 605⁃608. [21]李晗, 武妍. 仿生模式识别理论在性别识别中的应用 ·10· 智 能 系 统 学 报 第 11 卷