·666. 智能系统学报 第11卷 特征的衰减因子，其取值范围为[0,1)，M(G)用于 表1多种pooling策略的比较 表示当前第j个特征是否在选中的特征图之上，其 Table 1 Comparison between different pooling strategies 表示为 池化区域 特征数词典规模衰减因子精度/% (1,特征广在已选特征图 MG)=0,其他 (10) 2×2 800 200 65.73 式中：如果特征图上含有已选中特征，则认为该图被 4×4 3200 200 73.25 选取，其M(G)值为1。 SPM 4800 200 74.01 在每一次迭代后，新的特征被加入集合S。在 此特征集合之上，需要对分类器参数W和b进行重 OC[s] 20000 200 76.44 新计算。将上次迭代计算出的W和b作为重新计 0C+学习到 6400 200 76.72 算时的初始状态，以有效地减少计算参数所消耗的 OC+改进算法 4408 200(400)】 0.7 76.95 时间。 OC+改进算法 5370 200(800) 0.8 77.89 3实验与分析 在未使用学习策略的池化方案中，由于超完备 感受野能够较好地捕获特征图中的空间信息，因此 3.1实现过程 得到了较高的分类精度。在增加学习策略之后冗余 实验中主要使用了CIFAR-10数据库[]对文中 被消除，超完备感受野又获得了0.28%的提升。在 提出的算法进行训练和验证。CIFAR-I0是由加拿 此基础上使用本文方法，以一个较大的词典作为初 大多伦多大学教授Hinton等发布的一个用于图像 始词典，同时在学习过程中对词典规模的增长进行 识别算法评估的数据库，该数据库中包含了50000 了限制。例如在表1中，分别以400和800为初始 个训练样本和10000个测试样本，共分为10类。 词典大小，将衰减因子7设为0.7和0.8，在词典规 在使用样本训练和测试前，都要对样本数据进 模为200时，学习到了4408和5370个特征。尽管 行归一化和白化处理，这样能够提高BF模型特征 使用的特征数有所减少，但是分类结果却比原有算 的预测性能。 法提高了0.23%和1.27%。该结果说明了改进算法 从训练样本中随机提取5×5的图像块用于词 的有效性。 典学习，选择K-means作为词典学习的算法，以及 3.3参数7的影响 triangle作为编码算法。输入图像经编码后会形成 本节实验中，在CIFAR-10数据库上比较了3种 28×28的特征图，然后最大值池化会将每张特征图 衰减因子刀值下，学习算法所受到的影响（如图3）。 上7×7相邻但不重叠的空间区域聚合成为一个特 首先，使用K-means算法得到一个大小为1600的 征，因此每张特征图被降维到4×4的大小。超完备 词典。然后，以该词典生成的特征图为基础，分别将 的池化区域以及对照实验都将基于这些池化后的特 7值设为0,0.3和0.7，观察和比较在学习过程中， 征图。 精度和词典规模的增长。其中，当η值设为0时 在训练分类器时，式(7)中的参数入固定为0. (即不对词典的增长进行衰减)，则本方法与Ja等 01,用于超完备池化区域和感受野学习实验。对于 提出的学习方法[)等价。 其他预定义的池化区域（比如网格结构和空间金字 821 塔)，在实验中使用L2-SVM作为分类器，其参数通 过五折交叉验证的方式搜索确定。 3.2算法性能测试 表1将本文提出的改进的感受野学习算法，同 原有方法[8]以及几种常用的池化策略进行了比较。 4月=0 表中包括网格结构的池化区域(2×2,4×4)，空间金 —1=0.3 字塔(spatial pyramid matching,SPM),超完备感受 ---=0.7 7 3 4 5 6 2*10 野(over-complete,OC),基于超完备感受野的感受 感受野数量 野学习(0C+学习)，本文方法是在超完备感受野上 (a)样本数量对分类精度的影响 的实验结果(OC+改进算法)。特征的衰减因子，其取值范围为 ［０， １），Ｍ（ ｊ）用于 表示当前第 ｊ 个特征是否在选中的特征图之上，其 表示为 Ｍ（ｊ） ＝ １， 特征 ｊ 在已选特征图 {０， 其他 （１０） 式中：如果特征图上含有已选中特征，则认为该图被 选取，其 Ｍ（ｊ）值为 １。 在每一次迭代后，新的特征被加入集合 Ｓ。 在 此特征集合之上，需要对分类器参数 Ｗ 和 ｂ 进行重 新计算。 将上次迭代计算出的 Ｗ 和 ｂ 作为重新计 算时的初始状态，以有效地减少计算参数所消耗的 时间。 ３ 实验与分析 ３．１ 实现过程 实验中主要使用了 ＣＩＦＡＲ⁃１０ 数据库［１９］对文中 提出的算法进行训练和验证。 ＣＩＦＡＲ⁃１０ 是由加拿 大多伦多大学教授 Ｈｉｎｔｏｎ 等发布的一个用于图像 识别算法评估的数据库，该数据库中包含了５０ ０００ 个训练样本和 １０ ０００ 个测试样本，共分为 １０ 类。 在使用样本训练和测试前，都要对样本数据进 行归一化和白化处理，这样能够提高 ＢｏＦ 模型特征 的预测性能。 从训练样本中随机提取 ５×５ 的图像块用于词 典学习，选择 Ｋ⁃ｍｅａｎｓ 作为词典学习的算法，以及 ｔｒｉａｎｇｌｅ 作为编码算法。 输入图像经编码后会形成 ２８×２８ 的特征图，然后最大值池化会将每张特征图 上 ７×７ 相邻但不重叠的空间区域聚合成为一个特 征，因此每张特征图被降维到 ４×４ 的大小。 超完备 的池化区域以及对照实验都将基于这些池化后的特 征图。 在训练分类器时，式（７）中的参数 λ 固定为 ０． ０１，用于超完备池化区域和感受野学习实验。 对于 其他预定义的池化区域（比如网格结构和空间金字 塔），在实验中使用 Ｌ２⁃ＳＶＭ 作为分类器，其参数通 过五折交叉验证的方式搜索确定。 ３．２ 算法性能测试 表 １ 将本文提出的改进的感受野学习算法，同 原有方法［８］以及几种常用的池化策略进行了比较。 表中包括网格结构的池化区域（２×２，４×４），空间金 字塔（ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｍａｔｃｈｉｎｇ， ＳＰＭ），超完备感受 野（ｏｖｅｒ⁃ｃｏｍｐｌｅｔｅ， ＯＣ），基于超完备感受野的感受 野学习（ＯＣ＋学习），本文方法是在超完备感受野上 的实验结果（ＯＣ＋改进算法）。 表 １ 多种 ｐｏｏｌｉｎｇ 策略的比较 Ｔａｂｌｅ １ Ｃｏｍｐａｒｉｓｏｎ ｂｅｔｗｅｅｎ ｄｉｆｆｅｒｅｎｔ ｐｏｏｌｉｎｇ ｓｔｒａｔｅｇｉｅｓ 池化区域 特征数 词典规模 衰减因子 精度／ ％ ２×２ ８００ ２００ － ６５．７３ ４×４ ３ ２００ ２００ － ７３．２５ ＳＰＭ ４ ８００ ２００ － ７４．０１ ＯＣ ［８］ ２０ ０００ ２００ － ７６．４４ ＯＣ＋学习［８］ ６ ４００ ２００ － ７６．７２ ＯＣ＋改进算法 ４ ４０８ ２００（４００） ０．７ ７６．９５ ＯＣ＋改进算法 ５ ３７０ ２００（８００） ０．８ ７７．８９ 在未使用学习策略的池化方案中，由于超完备 感受野能够较好地捕获特征图中的空间信息，因此 得到了较高的分类精度。 在增加学习策略之后冗余 被消除，超完备感受野又获得了 ０．２８％的提升。 在 此基础上使用本文方法，以一个较大的词典作为初 始词典，同时在学习过程中对词典规模的增长进行 了限制。 例如在表 １ 中，分别以 ４００ 和 ８００ 为初始 词典大小，将衰减因子 η 设为 ０．７ 和 ０．８，在词典规 模为 ２００ 时，学习到了 ４ ４０８ 和 ５ ３７０ 个特征。 尽管 使用的特征数有所减少，但是分类结果却比原有算 法提高了 ０．２３％和 １．２７％。 该结果说明了改进算法 的有效性。 ３．３ 参数 η 的影响 本节实验中，在 ＣＩＦＡＲ⁃１０ 数据库上比较了 ３ 种 衰减因子 η 值下，学习算法所受到的影响（如图 ３）。 首先，使用 Ｋ⁃ｍｅａｎｓ 算法得到一个大小为 １ ６００ 的 词典。 然后，以该词典生成的特征图为基础，分别将 η 值设为 ０、０．３ 和 ０．７，观察和比较在学习过程中， 精度和词典规模的增长。 其中，当 η 值设为 ０ 时 （即不对词典的增长进行衰减），则本方法与 Ｊｉａ 等 提出的学习方法［８］等价。 （ａ）样本数量对分类精度的影响 ·６６６· 智 能 系 统 学 报 第 １１ 卷