第1期 魏佳琪，等：触觉手势情感识别的超限学习方法 ·129· 过迭代反复调整刷新，而是直接求解一个最小范 该数据集的采集由安装在假肢手臂上的 数最小二乘问题，最终化归成一个矩阵的广义逆 8×8阵列式触觉传感器以135fs的频率完成。每 问题。ELM的原理如图2所示。 一个手势均由多个帧的数据构成，数据集的每一 帧都由64个传感器通道的压力值组成，压力值单 输入层 位为8gcm2。图3为传感器的8×8压力通道一帧 的灰度图，白色部分对应压力值最高的通道，黑 色部分对应压力值最低的通道。 隐含层 输出层 图2ELM的网络结构 Fig.2 The model structure of ELM 3数据处理及特征提取方法 图3传感器的灰度图 在以往的研究中，大部分学者把重心放在手 Fig.3 Gray scale image of sensor 势识别上6，本文主要对不同的手势进行情感识 3.1数据预处理 别。对数据集的处理一般包括3部分：数据预处 理、特征提取、特征选择。因为特征维度并不大， 首先，对部分数据进行观察，画出CoST数据 所以在本文中并没有使用常用的随机森林模型进 集帧数与每一帧压力总和之间的关系图，如图4 行特征选择。 所示，但手势的前半部分（第1个虚线前）属于手 文献[16]中提出的CoST数据集包含31个参 势执行前的噪声，虚线内的部分才是手势执行的 与者，每个参与者根据要求分别执行14个手势， 过程，所以虚线前并无实际意义，需要删除此部 每个手势重复6次，每个动作分别以3种情感（温 分。因此对整体的Co$T数据集进行分割，以此 柔、普通、暴躁)来执行。也就是说，每个参与者 来删除掉手势中无意义的帧。这样就能保证计算 都会执行252次动作。手势包括grab、hit、massage、 的时间序列特征更有意义。 pat、pinch、poke、press、rub、scratch、slap、squeeze、 1.5*10 stroke、tap、tickle。表1是对14个手势的定义7。 表1手势的定义 Table 1 Gesture definition 手势名称 手势定义 grab 突然抓住手臂 hit 对手臂进行打击 0.5 50 100 150 200 massage 按摩手臂 帧数 pat 轻轻的拍手臂 pinch 拧手臂 图4对“暴躁的massage”的分割图 poke 戳手臂 Fig.4 Segmentation of a“rough massage” press 按压手臂 3.2特征提取 rub 用不变的压力搓手臂 不同的情感环境下，最主要的3个影响因素 scratch 用指甲挠手臂 slap 扇手臂 分别为压力值、传感器的接触面积和触摸的有效 squeeze 挤手臂 时间。显然，不同情感的平均压力值和最大压力 stroke 手在手臂上来回划动 值是判别情感程度的初步特征，压力值由小到大 tap 敲手臂 分别为：温柔的动作压力值、正常的动作压力值、 tickle 用手指轻触手臂 暴躁的动作压力值。光有这两个特征远远不够。过迭代反复调整刷新，而是直接求解一个最小范 数最小二乘问题，最终化归成一个矩阵的广义逆 问题。ELM 的原理如图 2 所示。 3 数据处理及特征提取方法 在以往的研究中，大部分学者把重心放在手 势识别上[16] ，本文主要对不同的手势进行情感识 别。对数据集的处理一般包括 3 部分：数据预处 理、特征提取、特征选择。因为特征维度并不大， 所以在本文中并没有使用常用的随机森林模型进 行特征选择。 文献[16]中提出的 CoST 数据集包含 31 个参 与者，每个参与者根据要求分别执行 14 个手势， 每个手势重复 6 次，每个动作分别以 3 种情感 (温 柔、普通、暴躁) 来执行。也就是说，每个参与者 都会执行 252 次动作。手势包括 grab、hit 、massage、 pat、pinch、poke、press、rub、scratch、slap、squeeze、 stroke、tap、tickle。表 1 是对 14 个手势的定义[17]。 该数据集的采集由安装在假肢手臂上 的 8×8 阵列式触觉传感器以 135 f/s 的频率完成。每 一个手势均由多个帧的数据构成，数据集的每一 帧都由 64 个传感器通道的压力值组成，压力值单 位为[18] g/cm2。图 3 为传感器的 8×8 压力通道一帧 的灰度图，白色部分对应压力值最高的通道，黑 色部分对应压力值最低的通道。 3.1 数据预处理 首先，对部分数据进行观察，画出 CoST 数据 集帧数与每一帧压力总和之间的关系图，如图 4 所示，但手势的前半部分 (第 1 个虚线前) 属于手 势执行前的噪声，虚线内的部分才是手势执行的 过程，所以虚线前并无实际意义，需要删除此部 分。因此对整体的 CoST 数据集进行分割，以此 来删除掉手势中无意义的帧。这样就能保证计算 的时间序列特征更有意义。 3.2 特征提取 不同的情感环境下，最主要的 3 个影响因素 分别为压力值、传感器的接触面积和触摸的有效 时间。显然，不同情感的平均压力值和最大压力 值是判别情感程度的初步特征，压力值由小到大 分别为：温柔的动作压力值、正常的动作压力值、 暴躁的动作压力值。光有这两个特征远远不够。 x 1 x 2 x n (w,b) β y 输出层 隐含层 输入层 图 2 ELM 的网络结构 Fig. 2 The model structure of ELM 图 3 传感器的灰度图 Fig. 3 Gray scale image of sensor ×104 单帧总压力值/(g·cm−2 ) 帧数 1.5 1.0 0.5 0 50 100 150 200 图 4 对“暴躁的 massage”的分割图 Fig. 4 Segmentation of a “rough massage” 表 1 手势的定义 Table 1 Gesture definition 手势名称 手势定义 grab 突然抓住手臂 hit 对手臂进行打击 massage 按摩手臂 pat 轻轻的拍手臂 pinch 拧手臂 poke 戳手臂 press 按压手臂 rub 用不变的压力搓手臂 scratch 用指甲挠手臂 slap 扇手臂 squeeze 挤手臂 stroke 手在手臂上来回划动 tap 敲手臂 tickle 用手指轻触手臂 第 1 期 魏佳琪，等：触觉手势情感识别的超限学习方法 ·129·