D0I:10.13374/i.issn1001-053x.2001.04.025 第23卷第4期 北京科技大学学报 VoL23 No.4 2001年8月 Journal of University of Scieace and Technology Beljing Ag2001 一种用于手语识别的新型数据手套 张亚新) 原魁) 杨学良) 1)中国科技大学研究生院，北京1000382)中国科学院自动化研究所北京100080 摘要介绍一种新型的用于手语识别的数据手套.这种数据手套与当今广泛采用的CyberGlove 型号的数据手套相比，增加了新型的接触传感器，有效地利用了汉语手语中大量的接触信息， 具有价格便宜、更适合中国手语的特点和识别精确度高等优点.将这种数据手套应用于新型汉 语手语识别系统，与视觉部分相结合，可以更准确地识别汉语手语词汇， 关葡词接触传感器；佩带式输入装置：计算机视觉 分类号TP39.14 1前言 置.数据手套通常用有一定弹性的材料制成，在 其关节处布置有用于检测手指弯曲、外展、以及 手语是一种“视觉”语言.“听者”必须能够 手腕动作的传感器.当操作者戴上数据手套时， 看到“发话者”的动作以及面部表情才能够得到 计算机可以通过检测各个传感器的输出，实时 必要的信息.因此，对于计算机手语处理系统来 地得到手指的弯曲、外展和手形变化等方面的 说，利用计算机视觉系统作为手语识别系统的 信息.利用置于双手腕部的三维跟踪装置将得 输人装置是最直观和理想的方法.由于手语信 到相对于发射器的手的位置及手的朝向等信 息是三维的空间信息，因此利用计算机视觉技 息.基于佩带式输人设备的手语识别方法的优 术进行手语处理的基础是计算机立体视觉技术 点主要有：可以直接得到手指、手掌和手臂的动 必须能够满足实时处理的需要.但是，由于在利 作信息；在进行手语特征提取时所需处理的信 用计算机视觉进行3D处理时需要处理的信息 息量比基于计算机视觉的手语识别系统小得 量非常大，短时间内计算机立体视觉尚难以解 多；容易满足实时处理的要求.而其缺点是价格 决手语发话过程的实时识别问题，人们不得不 较昂贵. 求助于数据手套、3D跟踪装置等佩带式辅助输 本文介绍了一种新型的用于手语识别的数 人装置. 据手套.该数据手套是专为汉语手语识别而设 目前的计算机手语识别方法基本上可以分 计的，充分考虑了汉语手语的特点，并具有价格 为2种类型：基于机器视觉(machine-vision)的 便宜、识别精度高等优点. 手语识别方法和基于佩带式输人设备(boy-in~ strumentation)的手语识别方法.基于机器视觉 2用于手语识别的新型数据手套 的手语识别方法的优点主要有：可以同时检测 发话者手部的动作和面部表情等.而其缺点主 手语是采用手型(Configuration)、手掌的指 要有：对光照条件比较敏感；在识别手指动作时 向(Orientation)、手的运动Movement)、手的位置 存在遮挡和方向等问题；提取三维空间中的信 (Location)、以及面部表情Facial Expression)等要 息时需要处理的信息量非常大，对于复杂动作 素来描述和刻划的四.为了利用计算机进行手语 难以实现实时识别， 识别，必须通过数据手套等佩带式装置、计算机 基于佩带式输入设备的手语识别方法中使 视觉系统等传感器得到关于上述要素的信息， 用的输人设备主要有数据手套和三维跟踪装 并利用这些信息提取必要的特征，然后才能够 根据这些特征用计算机对手语输人进行识别. 收稿日期2001-02-20张亚新女，29岁，学士 2,1手语中的接触信惠 ★中国科学院重点项目基金No技[1999]075) 在对中国手语进行了较为详尽的分析之第 23 . 第 4 期 2 0 1 年 8 月 北 京 科 技 大 学 学 报 oJ . r. . I of U刘 vI e ,r 勺 of cs 加 . 份 . d T日血 . 。晌盯 取幼纯 、 勺U日 N O月 A . 乡 2的 1 一种用于手语识别的新型数据手套 张亚 断 ” 原 魁 2) 杨学良 ” 1)中国科技大学研究生院 , 北京 10( 沁 3 8 2) 中国科学院自动化研究所J 匕京 l 以旧80 摘 要 介绍一种新型的用于手语识别的数据手套 . 这种数据手套与当今广泛采用 的q 伙, . 毗 型号的数据手套相 比 , 增加 了新型 的接触传感器 , 有效地利用 了汉语手语 中大t 的接触信息 , 具有价格便宜 、 更适合中国手语的特点和识别精确度高等优点 . 将这 种数据手套应用于新型汉 语手语识别系统 , 与视觉部分相结合 , 可以更准确地识别汉语手语词汇 . 关扭询 接触传感器 ; 佩带式输人装t ; 计算机视觉 分类号 开 39 . 14 1 前言 手语 是一种 “ 视觉 ” 语言 . “ 听者 ” 必须能够 看 到 ` 发话者 ” 的动作 以及面部表情才能够得到 必要 的信息 . 因此 , 对于计算机手语处理系统来 说 , 利用计算机 视觉系统作为手语识 别系统的 输 人装置是最直 观和理想的方法 . 由于手语信 息是三维 的空 间信息 , 因此利用计算 机视觉技 术进行手语处理 的基础是计算机立体视觉技术 必须 能够满足实时处理的需要 . 但是 , 由于在利 用计算机视觉进行 3D 处理 时需要处 理的信息 t 非常大 , 短时间内计算机立体视 觉 尚难 以解 决 手语发话过程 的实时识别 问题 , 人 们不得不 求助于数据手套 、 3D 跟踪 装置等佩带式辅助输 人装置 . 目前的计算机手语识别方法基本上可 以分 为 2 种类型 : 基于机器视觉 ( m a c hj 的e一ia on ) 的 手语识别方法和基于佩带式翰人设备(加勿 一 i-n s lt ” m e n at ion ) 的手语识别方法 . 基于机器视觉 的手语识别方 法的优点主要有 : 可以 同时检测 发话者手部 的动作和面部表情等 . 而其缺点 主 要有 : 对光照条件 比较 敏感 ; 在识别 手指动作时 存在遮挡 和方向等问题 ; 提取 三维空间 中的信 息时需要 处理的信息量非常大 , 对于复杂动作 难 以实现 实时识别 . 基于佩带式输人设备 的手语识别方法 中使 用 的输人设备 主要 有数据 手套 和三 维跟 踪装 置 . 数据手套通常用有一定弹性 的材料制成 , 在 其关节处 布置有用于检测手指弯 曲 、 外展 、 以及 手腕动作的传感器 . 当操作者戴上数据手套时 , 计算机可 以通过检测各个传感器 的输出 , 实时 地得到手指 的弯曲 、 外展和手形变 化等方面的 信息 . 利用 置于双手腕部 的三维跟踪装 置将得 到相 对 于发射 器 的手 的位里 及手的朝 向等信 息 . 基 于佩带式输人设备的手语识别方法的优 点主要有 : 可 以直接得 到手指 、 手掌和手臂 的动 作信息 ; 在进 行手语特征提取 时所需处理的信 息量 比基于计算机 视觉 的手 语识别系统小 得 多 ;容易满足实时处理 的要求 . 而其缺点是价格 较 昂贵 . 本文介绍 了一种新 型的用 于手语识别的数 据手套 . 该数据手套是专为汉语 手语识别而设 计的 , 充分考虑 了汉语手语 的特点 , 并具有价格 便宜 、 识别精度高等优点 . 收稿 日期 2 0 1刁Z es Z o 张亚新 女 , 29 岁 , 学士 * 中国科学院重点项 目基金困。 技【l 臾珍」0 75 ) 2 用于手语识别的新型数据手套 手语是采用手 型 (c 0 心脚丽On ) 、 手掌 的指 向( O d en at itL on ) 、 手 的运动似 。 v e m ent ) 、 手的位里 (L o c iat on) 、 以及面部表情 (F aC 过 Ex 户限 s s ion )等要 素来描述和刻划 的1] . 为了利用计算机进行手语 识别 , 必须通过数据手套等佩带式装置 、 计算机 视觉 系统等传感器 得到关于上述要 素的信息 , 并利用这些信息提取必要 的特征 , 然后才能够 根据这些特征用计算机对手语输人进行识别 . .2 1 手语 中的接触信息 在对 中 国手 语 进行 了较 为 详尽 的分析 之 DOI: 10. 13374 /j . issn1001 -053x. 2001. 04. 025