第5期 林丽患，等：融合整体与局部信息的武夷岩茶叶片分类方法 ·921· 的CNN模型(IGL-CNN),并将在ImageNet数据集 式迁移到武夷岩茶鲜茶叶叶片分类问题中。 上预训练的ResNet模型通过微调网络参数的方 整个叶片图像 ResNet 模型 输入 图像 预处理 特征融合 ResNet 模型 叶片图像块 图2整体与局部信息融合的CNN模型 Fig.2 CNN mode constructed by integrating global and local information 3.1网络模型结构概述 征向量[g,,其中g和1均为512维的向量。 IGL-CNN模型包含两个并行分支，分别用于 3.4损失函数 提取鲜茶叶叶片的全局特征和局部特征。两个分 考虑到武夷岩茶鲜茶叶叶片图像样本数量的 支都采用在ImageNet数据集上通过预训练得到 不均匀性，本研究使用交叉熵作为损失函数。假 的ResNet模型。第一个分支的输入是完整的茶 设待分类的武夷岩茶鲜茶叶叶片共有C个品 叶叶片图像（整体信息），其输出是叶片的全局特 种。对叶片样本k,定义其真实的类标签p为一 征。第二个分支的输入是局部的茶叶叶片图像个维度为C的向量，2，…，]，当样本k属于品 (局部信息)，其输出是叶片的局部特征。其次，在 种i时，t=1,否则=0。将叶片样本k在分类模 特征融合层将全局特征和局部特征进行融合，得 型的输出预测概率分布记为q=2,…,y]。对 到叶片图像对应的最终特征向量。最后，通过分 叶片样本k,其真实类标签与输出预测分布之间 类层将融合后的特征向量分类到不同的茶品种 的差异用交叉嫡l来表示： 类别。 3.2局部特征提取 (1) 将叶片图像归一化到224像素×224像素，然 后再将叶片图像均匀划分为3×3的子块（图3）。 对所有N个叶片样本，总损失函数L如下： 把子块分为3组。第1组由标注为1的子块组 L=-∑∑log0w) (2) 成，代表图像中间信息。第2组由标注为2的子 块组成，代表图像前后端信息。第3组由标注为 当叶片样本k属于品种i时，=1，否则 3的子块组成，代表图像边缘信息。以上3组局 t=0。y贴是IGL-CNN模型预测叶片样本k属于 部信息经过并行分支结构中的第2个分支处理后 品种i的概率。 得到对应的局部特征。 4实验 4.1数据集 数据集为实地采集武夷岩茶中9个茶叶品种 共计7330张鲜茶叶叶片图像。图4列出了9种 茶叶品种的鲜茶叶叶片图像数目。 图3叶片图像的块划分 4.2数据预处理 Fig.3 Division of a leaf image into blocks 通过基于阈值的图像分割算法对叶片图像进 3.3特征融合 行预处理，提取图像前景区域，然后将背景颜色 用特征串联操作将IGL-CNN模型提取出的 设置为纯白。图5为武夷岩茶鲜茶叶叶片图像的 茶叶叶片图像全局特征g与局部特征1组合为特 预处理结果。的 CNN 模型 (IGL-CNN)，并将在 ImageNet 数据集 上预训练的 ResNet 模型通过微调网络参数的方 式迁移到武夷岩茶鲜茶叶叶片分类问题中。 输入 图像 预处理 ResNet 模型 ResNet 模型 特征融合 整个叶片图像 分类 叶片图像块 图 2 整体与局部信息融合的 CNN 模型 Fig. 2 CNN mode constructed by integrating global and local information 3.1 网络模型结构概述 IGL-CNN 模型包含两个并行分支，分别用于 提取鲜茶叶叶片的全局特征和局部特征。两个分 支都采用在 ImageNet 数据集上通过预训练得到 的 ResNet 模型。第一个分支的输入是完整的茶 叶叶片图像 (整体信息)，其输出是叶片的全局特 征。第二个分支的输入是局部的茶叶叶片图像 (局部信息)，其输出是叶片的局部特征。其次，在 特征融合层将全局特征和局部特征进行融合，得 到叶片图像对应的最终特征向量。最后，通过分 类层将融合后的特征向量分类到不同的茶品种 类别。 3.2 局部特征提取 3×3 将叶片图像归一化到 224 像素×224 像素，然 后再将叶片图像均匀划分为 的子块 (图 3)。 把子块分为 3 组。第 1 组由标注为 1 的子块组 成，代表图像中间信息。第 2 组由标注为 2 的子 块组成，代表图像前后端信息。第 3 组由标注为 3 的子块组成，代表图像边缘信息。以上 3 组局 部信息经过并行分支结构中的第 2 个分支处理后 得到对应的局部特征。 3 2 3 3 3 1 2 3 3 图 3 叶片图像的块划分 Fig. 3 Division of a leaf image into blocks 3.3 特征融合 g l 用特征串联操作将 IGL-CNN 模型提取出的 茶叶叶片图像全局特征 与局部特征 组合为特 征向量 [g, l] ，其中 g 和 l 均为 512 维的向量。 3.4 损失函数 C k p C [t1,t2,··· ,tC] k i ti=1 ti= 0 k q= [ y1, y2,··· , yC ] k lCE 考虑到武夷岩茶鲜茶叶叶片图像样本数量的 不均匀性，本研究使用交叉熵作为损失函数。假 设待分类的武夷岩茶鲜茶叶叶片共有 个品 种。对叶片样本 ，定义其真实的类标签 为一 个维度为 的向量 ，当样本 属于品 种 时， ，否则 。将叶片样本 在分类模 型的输出预测概率分布记为 。对 叶片样本 ，其真实类标签与输出预测分布之间 的差异用交叉熵 来表示： lCE = − ∑C i=1 ti log(yi) (1) 对所有 N 个叶片样本，总损失函数 L 如下： L = − ∑N k=1 ∑C i=1 tki log(yki) (2) k i tki=1 tki= 0 yki k i 当叶片样本 属于品种 时 ， ，否则 。 是 IGL-CNN 模型预测叶片样本 属于 品种 的概率。 4 实验 4.1 数据集 数据集为实地采集武夷岩茶中 9 个茶叶品种 共计 7 330 张鲜茶叶叶片图像。图 4 列出了 9 种 茶叶品种的鲜茶叶叶片图像数目。 4.2 数据预处理 通过基于阈值的图像分割算法对叶片图像进 行预处理，提取图像前景区域，然后将背景颜色 设置为纯白。图 5 为武夷岩茶鲜茶叶叶片图像的 预处理结果。 第 5 期 林丽惠，等：融合整体与局部信息的武夷岩茶叶片分类方法 ·921·