第2期 董旭德，等：基于质心分水岭算法的静态手势分割算法模型 ·351· 点”集合中的每两个点，求得它们之间的斜率k和 4.2实验结果比较与分析 距离d,进而根据k×k=-1,取得与-1最接近的前 本文首先使用传统的SIFT算法对无类肤色 3条连线和点集，再从中取d最大的作为手臂的 背景的静态手势图片进行了基于特征点匹配的自 分割点，因为手臂间的宽度总是大于手指间的宽 动识别，其识别结果如图13所示。其中，手势图 度。若在“远点”集合中没有寻找到分割线就再在 片为数据集中表示“平铺”意义的手势，图13(a)检 “近点”集合中进行查找。最后，还要以手势质心 测出了47个特征点，而图13b)检测出了41个特 方向判断分割线是否查找正确，若质心点在分割 征，连线表示匹配成功的特征点。可以看出，在 线之上则正确，反之错误继续查找。根据以上步 此SFT特征点匹配算法中，由于手势的旋转或者 骤进行了基于PCA降维的手臂分割线提取方法 阴影的干扰，都会造成特征点提取和匹配的误 的手腕分割实验，结果如图11和图12所示。 差，从而导致识别的准确率降低，同时由于手臂 的冗余信息无法去除会造成匹配算法的效率大大 降低。 图11提取的手臂分割线 (@)原始训练数据库手势图片(b)测试数据库手势图片 Fig.11 An extracted arm dividing line 图13SFT算法特征匹配结果 Fig.13 SIFT feature matching results 此外，本文将传统WA、主动标记的分水岭算 法AMWA(active marker watershed algorithm)和 ICWA进行了对比实验。图14在展示了在类肤 色背景下WA、AMWA和ICWA之间的静态手势 分割结果对比。其存在的主要问题在于WA算法 虽然能够分割出肤色和类肤色区域，但会出现严 重的过分割现象，将手势分割的较为零散，影响 图12手掌与手臂的分割结果 后续识别的准确率。而改进的AMWA算法，虽 Fig.12 The segmentation between the palm and arm 然不会出现过分割现象，但无法区分肤色和类肤 4实验及分析 色区域，所以同样影响识别准确率。而本文提出 的ICWA算法可以较为准确地分割出手势区域， 4.1实验硬件环境和数据集 原因在于其集成的高斯滤波可以有效地减少图像 本文的实验采用Python3..5和OpenCV3.3实 的梯度差，并且ICWA算法只由一个质心点作为 现，测试平台的硬件环境如表2所示。本文使用 初始点，有效地减少了传统静态手势分割算法中 的手势图片数据集包括Marcel标准手势数据集 的过分割和无法完全分割的问题。本实验将 和网络上收集的手势数据图片，一共包含了9种 ICWA处理后的图片（像素为48×48）作为输入数 手势，共16898张图片。 据，放入LeNet CNN中达到了较好的识别效果。 表2实验硬件环境 为了验证该实验的实用性和正确性，本实验初步 Table 2 Experimental hardware environment 采用了CNN中最经典的LeNet-5模型：首先由 设备 型号 6个卷积核为5×5、步长为1的卷积层提取图像特 征，由核为3×3、步长为2的池化层聚合特征，然 处理器 Inter®Core i5,2.5GHz 后由16个卷积核为5×5、步长为1的卷积层提取 内存 6GB 特征和核为3×3、步长为2的池化层聚合特征，再 固态硬盘 128GB 由2层全连接层平铺特征进行分类，最后输出分 显卡 GeForce GTX 650 类信息，具体结构如图15所示。点”集合中的每两个点，求得它们之间的斜率 k′和 距离 d，进而根据 k×k′=−1，取得与−1 最接近的前 3 条连线和点集，再从中取 d 最大的作为手臂的 分割点，因为手臂间的宽度总是大于手指间的宽 度。若在“远点”集合中没有寻找到分割线就再在 “近点”集合中进行查找。最后，还要以手势质心 方向判断分割线是否查找正确，若质心点在分割 线之上则正确，反之错误继续查找。根据以上步 骤进行了基于 PCA 降维的手臂分割线提取方法 的手腕分割实验，结果如图 11 和图 12所示。 4 实验及分析 4.1 实验硬件环境和数据集 本文的实验采用 Python3.5 和 OpenCV3.3 实 现，测试平台的硬件环境如表 2 所示。本文使用 的手势图片数据集包括 Marcel 标准手势数据集 和网络上收集的手势数据图片，一共包含了 9 种 手势，共 16 898 张图片。 4.2 实验结果比较与分析 本文首先使用传统的 SIFT 算法对无类肤色 背景的静态手势图片进行了基于特征点匹配的自 动识别，其识别结果如图 13 所示。其中，手势图 片为数据集中表示“平铺”意义的手势，图 13(a) 检 测出了 47 个特征点，而图 13(b) 检测出了 41 个特 征，连线表示匹配成功的特征点。可以看出，在 此 SIFT 特征点匹配算法中，由于手势的旋转或者 阴影的干扰，都会造成特征点提取和匹配的误 差，从而导致识别的准确率降低，同时由于手臂 的冗余信息无法去除会造成匹配算法的效率大大 降低。 此外，本文将传统 WA、主动标记的分水岭算 法 AMWA(active marker watershed algorithm) 和 ICWA 进行了对比实验。图 14 在展示了在类肤 色背景下 WA、AMWA 和 ICWA 之间的静态手势 分割结果对比。其存在的主要问题在于 WA 算法 虽然能够分割出肤色和类肤色区域，但会出现严 重的过分割现象，将手势分割的较为零散，影响 后续识别的准确率。而改进的 AMWA 算法，虽 然不会出现过分割现象，但无法区分肤色和类肤 色区域，所以同样影响识别准确率。而本文提出 的 ICWA 算法可以较为准确地分割出手势区域， 原因在于其集成的高斯滤波可以有效地减少图像 的梯度差，并且 ICWA 算法只由一个质心点作为 初始点，有效地减少了传统静态手势分割算法中 的过分割和无法完全分割的问题。本实验将 ICWA 处理后的图片 (像素为 48×48) 作为输入数 据，放入 LeNet CNN 中达到了较好的识别效果。 为了验证该实验的实用性和正确性，本实验初步 采用了 CNN 中最经典的 LeNet-5 模型：首先由 6 个卷积核为 5×5、步长为 1 的卷积层提取图像特 征，由核为 3×3、步长为 2 的池化层聚合特征，然 后由 16 个卷积核为 5×5、步长为 1 的卷积层提取 特征和核为 3×3、步长为 2 的池化层聚合特征，再 由 2 层全连接层平铺特征进行分类，最后输出分 类信息，具体结构如图 15 所示。 表 2 实验硬件环境 Table 2 Experimental hardware environment 设备 型号 处理器 Inter®Core i5，2.5GHz 内存 6 GB 固态硬盘 128 GB 显卡 GeForce GTX 650 图 11 提取的手臂分割线 Fig. 11 An extracted arm dividing line 图 12 手掌与手臂的分割结果 Fig. 12 The segmentation between the palm and arm (a) 原始训练数据库手势图片 (b) 测试数据库手势图片 图 13 SIFT 算法特征匹配结果 Fig. 13 SIFT feature matching results 第 2 期 董旭德，等：基于质心分水岭算法的静态手势分割算法模型 ·351·