·426· 智能系统学报 第14卷 3.2.1均值典型相关分析 均值典型相关分析较为简单，首先求得每个 22 (15) 子集的平均值，然后求得投影向量来建立子集均 值之间的相关关系，最后寻找相关系数最大时的 R产号23xr (16) 投影向量，即 @sTMxyω，T :T为建立对应关系的总对数，T=∑X p= (9) Vω.Mxxw,)Vω，Mw, 其中，M、Ma和Mw定义分别为 4实验结果及分析 Mn-22u0r (10) 本实验所用的数据集为慕尼黑工业大学建立 c=1 的触觉纹理数据集。数据集中包含108种不同 的物体，按照材质和表面特征分为固体网状物、 (11) 石头、玻璃陶瓷、木材、橡胶、纤维、泡沫、塑料纸 =1 片、纺织面料等九大类，具体每类物体的图像如 Mn=e24ggr (12) 图5所示，图5中数字表示该类材质第一个物体 的起始位置。训练集包括声音集和图片集，声音 式中：、4为相应的第c类子集的平均值，= 集中每个声音样本由一个人敲击待测物体表面 1 1次所得，其长度为0.2s。将108种待测物体每 3.2.2聚类典型相关分析 种重复敲击10次，共得到1080个声音样本。图片 聚类典型相关分析不再建立子集间均值的关 集每张图片分辨率为320×480，在不打开闪光灯 系，而是建立子集中每一个数据点和对应子集所 情况下，同样由一个人重复拍摄待测物体10次所 有数据点的关系，此时相关系数表达式为 得，共得到1080张图片样本。测试集数据数量和 样本大小与训练集相同，不同之处在于采集数据 @:RxY@y =Vo.Rxxw@,Rr0,) (13) 的过程有所差别，测试集中声音和图片样本不是 由同一个人重复10次完成，而是由10个不同的 其中，Rx、Rx和Rw定义如下： 人每人采集1次所得。整个数据集的特点是采集 15兴 Rw=72之220明 (14) 数据的过程均为人工完成，没有施加约束条件， c=1=1=1 例如敲击物体表面时，没有限制施加力的大小。 图5数据集中包含的所有材料 Fig.5 Materials included in the data set 根据第2章得到的39维声音特征和4096维 模态信息检索。常用的信息检索的评价指标有查 图像特征，应用于第3节所述典型相关分析方法， 准率P、查全率R和平均准确率(mean average pre- 找到训练集中声音特征和图像特征典型相关分析 cision,MAP)等。PR曲线比较直观地显示出检索 子空间，然后将测试集中的声音特征和图像特征 效果的好坏，MAP则考虑到检索结果的排名情 映射到典型相关分析的子空间，即可使用子空间 况。PR曲线与坐标轴围成的面积越大，MAP值 的声音特征去检索图像特征，通过计算欧氏距离 越高，则检索效果越好。本文使用MAP和PR曲 度量样本特征的相似性。 线对RCCA(同种物体声音图像随机匹配)、MCCA 实验最终在测试集上执行从声音到图像的跨 和CCCA3种方法的实验结果进行评价。图6所3.2.1 均值典型相关分析 均值典型相关分析较为简单，首先求得每个 子集的平均值，然后求得投影向量来建立子集均 值之间的相关关系，最后寻找相关系数最大时的 投影向量，即 ρ = ωx TMXYωy T √ (ωx TMXXωx) √ (ωy TMYYωy) (9) 其中，MXY、MXX 和 MYY 定义分别为 MXY= 1 C ∑C c=1 µ c x (µ c y ) T (10) MXX= 1 C ∑C c=1 µ c x (µ c x ) T (11) MYY= 1 C ∑C c=1 µ c y (µ c y ) T (12) µ c x µ c y µ c x= 1 |Xc | ∑ |Xc | i=1 x c i µ c y= 1 |Yc | ∑ |Yc | j=1 y c j 式中： 、 为相应的第 c 类子集的平均值， ， 。 3.2.2 聚类典型相关分析 聚类典型相关分析不再建立子集间均值的关 系，而是建立子集中每一个数据点和对应子集所 有数据点的关系，此时相关系数表达式为 ρ = ωx TRXYωy T √ (ωx TRXXωx) √ (ωy TRYYωy) (13) 其中，RXY、RXX 和 RYY 定义如下： RXY= 1 T ∑C c=1 ∑ |Xc | i=1 ∑ |Yc | j=1 x c i (y c j ) T (14) RXX= 1 T ∑C c=1 ∑ |Xc | i=1 |Yc | x c i (x c i ) T (15) RYY= 1 T ∑C c=1 ∑ |Yc | j=1 |Xc | y c j (y c j ) T (16) T= ∑C c=1 |Xc | |Yc 式中：T 为建立对应关系的总对数， |。 4 实验结果及分析 本实验所用的数据集为慕尼黑工业大学建立 的触觉纹理数据集[15]。数据集中包含 108 种不同 的物体，按照材质和表面特征分为固体网状物、 石头、玻璃陶瓷、木材、橡胶、纤维、泡沫、塑料纸 片、纺织面料等九大类，具体每类物体的图像如 图 5 所示，图 5 中数字表示该类材质第一个物体 的起始位置。训练集包括声音集和图片集，声音 集中每个声音样本由一个人敲击待测物体表面 1 次所得，其长度为 0.2 s。将 108 种待测物体每 种重复敲击 10 次，共得到 1 080 个声音样本。图片 集每张图片分辨率为 320×480，在不打开闪光灯 情况下，同样由一个人重复拍摄待测物体 10 次所 得，共得到 1 080 张图片样本。测试集数据数量和 样本大小与训练集相同，不同之处在于采集数据 的过程有所差别，测试集中声音和图片样本不是 由同一个人重复 10 次完成，而是由 10 个不同的 人每人采集 1 次所得。整个数据集的特点是采集 数据的过程均为人工完成，没有施加约束条件， 例如敲击物体表面时，没有限制施加力的大小。 1 14 23 32 45 50 65 77 92 图 5 数据集中包含的所有材料 Fig. 5 Materials included in the data set 根据第 2 章得到的 39 维声音特征和 4 096 维 图像特征，应用于第 3 节所述典型相关分析方法， 找到训练集中声音特征和图像特征典型相关分析 子空间，然后将测试集中的声音特征和图像特征 映射到典型相关分析的子空间，即可使用子空间 的声音特征去检索图像特征，通过计算欧氏距离 度量样本特征的相似性。 实验最终在测试集上执行从声音到图像的跨 模态信息检索。常用的信息检索的评价指标有查 准率 P、查全率 R 和平均准确率 (mean average pre￾cision，MAP) 等。PR 曲线比较直观地显示出检索 效果的好坏，MAP 则考虑到检索结果的排名情 况。PR 曲线与坐标轴围成的面积越大，MAP 值 越高，则检索效果越好。本文使用 MAP 和 PR 曲 线对 RCCA (同种物体声音图像随机匹配)、MCCA 和 CCCA 3 种方法的实验结果进行评价。图 6 所 ·426· 智 能 系 统 学 报 第 14 卷