智能系统学报 第2卷 其次是初始的划分尺度与泛化能力的关系问 集合的取值要求就可以得出结论.Gallant的这篇论 题.基于超曲面的分类方法与传统方法相比，如与 文开创了神经网络规则抽取这一领域，成为该领域 Parzen窗分类器相比s),由于HSC采用了局部化 被引用最多的文献之一.在Gallant之后，陆续有一 策略，克服了Parzen窗在样本分布不均衡情况下， 些研究者对神经网络规则抽取进行了研究4.0】 若窗宽度较小所导致的分类区域过于零散，分类曲 1995年，Andrews等人a]为从神经网络抽取的规 面复杂，推广性差，以及窗宽度较大时，由于分类区 则提出了一个评价体系，并提出了规则抽取算法的 域融合过度所造成的分类误差大的问题.在H$C 分类体系.前者为不同规则抽取算法的比较提供了 中由于采用局部化策略是对存在异类数据分布的同 标准，并对新算法的设计具有指导作用，后者使得对 一单元区域进行，因而这种方法是基于对数据分布 规则抽取算法的系统化分析成为可能.这2个体系 的感知来工作.Parzen窗分类器的窗宽度是可以通 为神经网络规则抽取这一领域的进一步发展奠定了 过实验逐步择优的，但是一旦选定某个值，在整个分 基础，因此，Andrews等人的这篇论文as)被认为是 类过程中就不再变化，这对于分布不均衡的样本分 该领域的一个里程碑.H$C分类超曲面以链表方式 类有明显的缺陷.但是初始的划分尺度，对HSC的 表达，已经实现了分类超曲面的可视化，但可视化并 分类精度是有影响的，研究有关这种影响的估计以 不意味着数据可理解，这些链表包含了分类信息，这 及提高精度的策略是重要的.划分尺度与极小样本 些信息能否像神经网络规则抽取那样，从中抽出分 集之间的关系.在一定意义上来说同仿生模式识别 类规则是值得研究的问题.从分类超曲面中得到的分 类似，HSC将模式识别问题看成是模式的认识，而 类规则就是可以学习、可以理解、可以传播的知识了 不是分类划分，不是模式分类.因而，其数学模型与 另外，HSC在数据理解中的作用问题.理解数 传统模式识别的“最优分类”界面的概念大不相同， 据，即获得数据集合的不同简洁程度表示，己成为机 划分尺度越小HSC所得到的模型和训练样本的拓 器学习研究的另一个重要研究方向.解决这个问题 扑结构的匹配程度就越高，误识率就越低，但这也将 的途径不能沿袭传统检验有效性的方法，即以检验 导致据识率的提高、泛化能力的下降.但是无论采用 个别事例为基础，而需要寻找必要的数学理论.数据 多大的划分尺度最终都会得到一个一致的分类模 理解包括人对数据的理解和机器对数据理解，人对 型，区别在于其细化程度的不同.还要研究不同划分 数据的理解，可以理解为借用符号机器学习的约简 尺度产生的极小样本集间有何不同，并比较它们之 与可解释的特性，将一本使用数据语言书写的书翻 间的性质 译为人可理解的表示形式，从而丰富人的知识.这就 再次，最优的H$C覆盖问题.张铃、张钹教授 是数据挖掘的主要任务之一，计算机的数据理解就 给出了MP神经元的几何意义，通过球面投影变换 是传统意义下的机器学习，分类超曲面可以看作数 将神经网络的最优设计问题转化为某种最优覆盖问 据分布的一个包络，这是对数据理解的一个方面，另 题.他们把神经元与几何上样本的球形邻域对应起 一个方面的理解是数据分布的主曲线，主曲线相当 来.按照这种观点，HSC可以看成神经元是由分类 于数据分布的骨架，这两者结合将会得到对数据更 超曲面构成的神经网络，分类超曲面的个数就是神 全面的理解 经元的个数.所不同的是HSC的分类是靠样本围 另外，要研究HSC学习算法的计算复杂性，包 绕数来计算得出的，而神经网络是通过修正权值后 括时间复杂性、空间复杂性、样本复杂性以及模型对 加权计算获得，如何找到超曲面个数少分类性能好 新问题的求解能力，或称为泛化能力.在数学上来 的HSC分类器是一个重要的问题，这也是一个最 看，学习理论就是通过计算有限的随机样本获得数 优覆盖问题 据中包含的知识4.51.函数海量数据与学习精确度 还有，HSC的抽取规则问题.以往人们觉得神 (泛化能力)以及数据性质的多样性（领域依赖）等要 经网络学习算法的分类过程不可理解，难以解释.这 求，需要考虑使用更多更复杂的数学理论，如函数逼 样在Gallant提出了一个简单的算法来解释连接主 近论和宽度理论来揭示己有或正在发展的理论与方 义专家系统所做的推理】.该算法通过产生规则来 法所存在的问题，及其对问题的适应性 解释神经网络如何为某个给定案例得出结论.其基 最后，极小样本集的性质以及与PAC样本复杂 本思想就是从当前已知的信息集中选择一个能有效 度的关系问题亟待研究.此外PAC的样本复杂度理 地产生该结论的最小信息集合，也就是说，不管其他 论给出了有多少随机抽取训练样例才足以可能近似 未知输入分量的取值为多少，只要满足该最小信息 正确(PAC)地学习到任意目标概念.通过HSC得 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net其次是初始的划分尺度与泛化能力的关系问 题. 基于超曲面的分类方法与传统方法相比 ,如与 Parzen 窗分类器相比[5 ] ,由于 HSC 采用了局部化 策略 ,克服了 Parzen 窗在样本分布不均衡情况下 , 若窗宽度较小所导致的分类区域过于零散 ,分类曲 面复杂 ,推广性差 ,以及窗宽度较大时 ,由于分类区 域融合过度所造成的分类误差大的问题. 在 HSC 中由于采用局部化策略是对存在异类数据分布的同 一单元区域进行 ,因而这种方法是基于对数据分布 的感知来工作. Parzen 窗分类器的窗宽度是可以通 过实验逐步择优的 ,但是一旦选定某个值 ,在整个分 类过程中就不再变化 ,这对于分布不均衡的样本分 类有明显的缺陷. 但是初始的划分尺度 ,对 HSC 的 分类精度是有影响的 ,研究有关这种影响的估计以 及提高精度的策略是重要的. 划分尺度与极小样本 集之间的关系. 在一定意义上来说同仿生模式识别 类似 , HSC 将模式识别问题看成是模式的认识 ,而 不是分类划分 ,不是模式分类. 因而 ,其数学模型与 传统模式识别的“最优分类”界面的概念大不相同. 划分尺度越小 HSC 所得到的模型和训练样本的拓 扑结构的匹配程度就越高 ,误识率就越低 ,但这也将 导致据识率的提高、泛化能力的下降. 但是无论采用 多大的划分尺度最终都会得到一个一致的分类模 型 ,区别在于其细化程度的不同. 还要研究不同划分 尺度产生的极小样本集间有何不同 ,并比较它们之 间的性质. 再次 ,最优的 HSC 覆盖问题. 张铃、张钹教授 给出了 M2P 神经元的几何意义 ,通过球面投影变换 将神经网络的最优设计问题转化为某种最优覆盖问 题. 他们把神经元与几何上样本的球形邻域对应起 来. 按照这种观点 , HSC 可以看成神经元是由分类 超曲面构成的神经网络 ,分类超曲面的个数就是神 经元的个数. 所不同的是 HSC 的分类是靠样本围 绕数来计算得出的 ,而神经网络是通过修正权值后 加权计算获得. 如何找到超曲面个数少分类性能好 的 HSC 分类器是一个重要的问题 ,这也是一个最 优覆盖问题. 还有 , HSC 的抽取规则问题. 以往人们觉得神 经网络学习算法的分类过程不可理解 ,难以解释. 这 样在 Gallant 提出了一个简单的算法来解释连接主 义专家系统所做的推理[33 ] . 该算法通过产生规则来 解释神经网络如何为某个给定案例得出结论. 其基 本思想就是从当前已知的信息集中选择一个能有效 地产生该结论的最小信息集合 ,也就是说 ,不管其他 未知输入分量的取值为多少 ,只要满足该最小信息 集合的取值要求就可以得出结论. Gallant 的这篇论 文开创了神经网络规则抽取这一领域 ,成为该领域 被引用最多的文献之一. 在 Gallant 之后 ,陆续有一 些研究者对神经网络规则抽取进行了研究[34 - 40 ] . 1995 年 ,Andrews 等人 [43 ]为从神经网络抽取的规 则提出了一个评价体系 ,并提出了规则抽取算法的 分类体系. 前者为不同规则抽取算法的比较提供了 标准 ,并对新算法的设计具有指导作用 ,后者使得对 规则抽取算法的系统化分析成为可能. 这 2 个体系 为神经网络规则抽取这一领域的进一步发展奠定了 基础 ,因此 ,Andrews 等人的这篇论文[43 ] 被认为是 该领域的一个里程碑. HSC 分类超曲面以链表方式 表达 ,已经实现了分类超曲面的可视化 ,但可视化并 不意味着数据可理解 ,这些链表包含了分类信息 ,这 些信息能否像神经网络规则抽取那样 ,从中抽出分 类规则是值得研究的问题. 从分类超曲面中得到的分 类规则就是可以学习、可以理解、可以传播的知识了. 另外 , HSC 在数据理解中的作用问题. 理解数 据 ,即获得数据集合的不同简洁程度表示 ,已成为机 器学习研究的另一个重要研究方向. 解决这个问题 的途径不能沿袭传统检验有效性的方法 ,即以检验 个别事例为基础 ,而需要寻找必要的数学理论. 数据 理解包括人对数据的理解和机器对数据理解. 人对 数据的理解 ,可以理解为借用符号机器学习的约简 与可解释的特性 ,将一本使用数据语言书写的书翻 译为人可理解的表示形式 ,从而丰富人的知识. 这就 是数据挖掘的主要任务之一. 计算机的数据理解就 是传统意义下的机器学习 ,分类超曲面可以看作数 据分布的一个包络 ,这是对数据理解的一个方面. 另 一个方面的理解是数据分布的主曲线 ,主曲线相当 于数据分布的骨架 ,这两者结合将会得到对数据更 全面的理解. 另外 ,要研究 HSC 学习算法的计算复杂性 ,包 括时间复杂性、空间复杂性、样本复杂性以及模型对 新问题的求解能力 ,或称为泛化能力. 在数学上来 看 ,学习理论就是通过计算有限的随机样本获得数 据中包含的知识[44 - 45 ] . 函数海量数据与学习精确度 (泛化能力) 以及数据性质的多样性(领域依赖) 等要 求 ,需要考虑使用更多更复杂的数学理论 ,如函数逼 近论和宽度理论来揭示已有或正在发展的理论与方 法所存在的问题 ,及其对问题的适应性. 最后 ,极小样本集的性质以及与 PAC 样本复杂 度的关系问题亟待研究. 此外 PAC 的样本复杂度理 论给出了有多少随机抽取训练样例才足以可能近似 正确(PAC) 地学习到任意目标概念. 通过 HSC 得 ·4 · 智 能 系 统 学 报 第 2 卷