第4期 刘咏梅，等：词间相关性的CMRM图像标注方法 ·351· 用的图像描述方法如下： 所以该值一般取为0或1；#(w,T)表示0出现在训 1)关键字记为w:,i=1,2,…,n. 练集T中的总次数，它等于用该关键字标注的训练 2)视觉词元记为b,i=1,2,…,m.并用它对图 图像的总数；同理，#(b,J)和#(b,T)也表示相应的 像进行表示. 次数.利用式(1)~(5)4估计出概率P(01I)后， 3)训练图像记为J={b1,b2,…,bm,01,02,…, 就可以直接利用这个概率对图像进行标注.本文中 wn,其中i为图像的编号， 将a,和B,这2个参数经评估后分别取为a,=0.1, 4)测试图像记为I={b,b2,…,bm}. B=0.9. 1.1CMRM标注的基本原理 1.2CMRM的图像标注算法 CMRM模型采用一种生成式的语言建模方 利用联合媒体相关模型对图像进行标注的主要 法45]，该方法认为每幅图像的视觉特征与标注关键 步骤总结如下： 字之间都有一种潜在概率分布P(·1),并且将这个 1)从数据集的文件中统计出的基本信息， 分布看作是1的相关模型46.可以将图像的视觉词 #(W,J):每个关键字出现在每幅图像的标注中 元表示{b1,b2,…,bm}看作是从P(·II)中进行m次 的次数，一般为0或1. 随机采样得到的.同理，很自然地想到对图像I进行 #(w,T):关键字出现在数据集中的总次数 标注可以看作是从它的相关模型P(·)中随机抽 #料b,J):视觉词元b出现在每幅图像中的次数 样n次得到了n个关键字，为了能对相关模型进行抽 #(b,T):视觉词元b出现在全部训练图像中的 样需要对标注集中每个关键字都估计概率 次数 由于P(·I)本身是未知的，因此可以考虑利 2)利用统计信息计算关键字和视觉词元的条 用条件概率P(wb,b2,…,bn)近似P(olI)[61,即 件概率P(wIJ)和P(b1J). p(olI)≈P(wlb1,b2,…,bm）. (1) 3)利用条件概率对关键字和视觉词元的联合 对于式(1)等号右边的概率，可以首先利用已标注 概率进行估计. 的训练图像集来估计在一幅图像中同时观察到关键 4)利用p(0,b1,b2,…,bm)来近似p(wlb1,b2, 字0和视觉词元b,b2,…,bn的联合分布，然后对 …,bm) 该分布按0进行边缘化得到.而联合分布可以利用 2基于词间相关性的CMRM图像标注 训练集中的图像J的期望得到 P(0,b1,b2,…,bm)= CMRM算法是根据图像的底层特征等对图像 ∑P(J)P(w,b1,b2,…,bmIJ). (2) 进行标注的，由于“语义鸿沟”的存在，使得该算法 的标注性能受到影响.在利用CMRM对图像进行初 假设某一幅训练图像J被选定后，关键字和和 视觉词b1,b2,…,bm是否出现是相互独立的46.因 始的标注之后，利用图学习方法，将从训练集中得到 的词间相关关系矩阵作用到初始标注矩阵上，使得 此可以将式(2)重写为 关键字之间的相关性在图的各个顶点之间进行传 P(w,b1,…,bm）= 播，从而实现了对标注结果的改善 ∑P(J)P(wIJ)ΠP(b:IJ). (3) 2.1词间相关性描述 式中：P(J)可以对训练集中的所有图像保持一致. 词间相关性是指2个关键字同时标注一幅图像 由于J中同时包含了全部视觉词元与关键字，因此 的特性.相关程度用词间相关性矩阵表示.为了获得 可以利用平滑的期望最大化算法对式(3)中的概率 关键字之间的相关性矩阵，可以对训练集中关键字 进行估计，当给定一幅训练图像J时，可以同时观察 出现的次数进行统计，文中将2个关键字作为同一 到关键字0和视觉词元b的概率由式(4)、(5)给 幅图像的标注出现的次数称为它们的共生次数. 出. 由于关键字的共生次数不能全面地反映词间的 相关性，因此可以采用文本检索领域中的T℉-DF Pa1D=1-)+a2 ,(4) 1J1 (term frequency--inverse document frequency)思想对 P61》=1-)+B,平(5) 关键字的相关性进行度量，得到词间相关性矩阵.其 定义为 式中：#(0，J)表示0出现在图像J的标注中的次 (6) 数，因为同一个词很少会多次出现在同一个标题中， k)=K()x log(N) n