第6卷第6期 智能系统学报 Vol.6 No.6 2011年12月 CAAI Transactions on Intelligent Systems Dec.2011 doi:10.3969/j.issn.16734785.2011.06.004 独立分量分析的图像/视频分析与应用 刘琚，孙建德 (山东大学信息科学与工程学院，山东济南250100) 摘要：随着通信和计算机技术的发展，图像和视频信息的应用越来越多.图像和视频信息分析中的一个重要方法 是获得合适的特征来逼近人类视觉特性，独立分量分析是一种新的无监督训练方法，它可以在图像和视频的理解方 面很好地与人类视觉相匹配.给出了不同的ICA图像/视频分析模型和基于这些模型的独立特征，对多煤体ICA分 析和数字小波分析方法进行了对比，对于不同分析方法的计算机仿真给出了不同模型的独立特征，并且给出了基于 这些特征在图像和视频水印方案中的应用.应用实验的仿真结果表明，独立特征对于图像和视频水印性能具有较好 的改善作用. 关键词：独立分量分析：特征提取：视频分析：数字水印 中图分类号：TP18;TN911.7文献标志码：A文章编号：16734785(2011)060495-12 Independent component analysis-based image/video analysis and applications LIU Ju,SUN Jiande (School of Information Science and Engineering,Shandong University,Ji'nan 250100,China) Abstract:The application of image and video is becoming increasingly popular with the development of computer and communication techniques.One of the important methods applied in image and video information analysis is to obtain suitable features which approach the visual characteristics of humans.Independent component analysis (ICA)is an unsupervised training method which effectively matches human vision with image and video under- standing.In this paper,different image/video analysis models of ICA were presented and the independent image/ video features based on these models were analyzed.A comparison between multimedia ICA and digital wavelet transform(DWT)was performed.Finally,computer simulation results on various analysis methods were given to show the independent features of different models and their applications in image and video watermarking.The re- sults of the application simulations show that the independent features may make improvements for image and video watermarking. Keywords:independent component analysis;feature extraction;video analysis;digital watermarking 随着计算机和网络技术的发展，多媒体技术得析、变换后才可以获得图像/视频中隐含的特征并进 到了广泛的应用，近年来又出现了新媒体的概念.多行识别、分类、检索和理解等应用. 媒体通常是指语音、图像和视频信息，新媒体则扩展 目前常用的图像特征分析方法大多分为时/空 到图形、文字、动画和虚拟场景等.然而，人们获取信 域和变换域方法.时/空域中处理技术通常有时延、 息的最主要来源仍然是图像和视频.人们从图像/视 尺度变换、插值、采样、旋转、滤波等，而变换域方法 频可以得到直观信息，但是只有对图像/视频进行分 最主要的就是傅里叶变换和小波变换等.变换域处 理方法的中心思想是将信号分解成基信号的叠加， 收稿日期：2011-0103. 基金项目：国家自然科学基金资助项目(60872024,61001180， 这些基信号可以表现出原始信号的特性，如频率特 60970048):高等学校科技创新工程重大项目培育资金资 性、时频特性等. 助项目(708059)；山东大学资助创新基金资助项目 (2010J0007):教育部博士点专项基金资助项目（新教师项 傅里叶变换是将一个信号的时域表示形式映射 目，200804221023). 到一个频域表示形式，对一个信号做傅里叶变换，可 通信作者：刘琚.E-mail:juliu@sd血.edu.cn
·496 智能系统学报 第6卷 以得到其频域特性，包括幅度和相位2个方面.离散 解分离矩阵W,通过s=W,得到s的估计.已经有 余弦变换(discrete cosine transform,DCT)是一种与 许多成熟的ICA算法、如FastICA算法[3]由于其算 傅里叶变换紧密相关的数学运算. 法简单和良好性能而被广泛应用. 信号通过傅里叶变换表现的是频率特性，但是 FastICA是一种快速的定点独立分量分析算法. 不同频率的基信号出现的时间无法确定，因此出现 它首先对观察信号利用主分量分析(principle com- 了信号时频分析工具一小波变换.对于数字信号 ponent analysis,PCA)进行预白化，将观察信号x变 的时频特性分析主要采用的是离散小波变换(ds 换成z=Ux,使得z的分量具有单位方差且互不相 crete wavelet transform,DWT). 关，其中z的自相关矩阵是单位阵，U为白化阵。 离散小波变换是以相互正交的母小波为基函 FastICA利用峭度目标函数作为分离准则，分离 数，是时间和频率局域化的变换，因而能有效地从信 矩阵的训练公式为 号中提取时频分布参数.通过伸缩和平移等运算可 V(k)=E[z(V(k-1)z)3]-3V(k-1) 对信号进行多尺度的细化分析，解决了傅里叶变换 式中：k是迭代次数，最终分离矩阵为W=VU, 不能解决的许多问题，被认为是时间-尺度分析和多 1.2图像的ICA模型 分辨率分析的一种新技术.它在信号分析、语音 文献[4]中，A.Hyvarinen将ICA用于图像特征 合成、图像识别、计算机视觉、数据压缩、地震勘探、 提取 大气与海洋波分析等方面都取得了具有科学意义和 假设一个信号在某个采样点x的信号值表示为 应用价值的成果。 I(x).信号处理中的许多基本模型将该信号I(x)表 独立分量分析(independent component analysis, 示为一系列的特征或基函数a:(x)的线性叠加的结 ICA)是近年来在信号分析与处理中发展起来的一 果： 种新方法，它作为一种盲源分离技术(blind source separation,BSS),是信号处理领域的研究热点.ICA I(x)=】 a,(x)s 的实质就是寻求一种线性变换，将一组随机变量表 式中：s:为随机系数，每一个信号I(x)对应的S是 示成一组统计意义上相互独立的变量的线性组 不相同的.由此简化为对于信号向量x= 合2)，因此通过ICA提取的信号特征是相互独立 [x12…xm]',信号的表示为x=As.这种简洁的表 的.目前ICA已经广泛地应用于特征提取、生理学 示与基本的ICA模型完全相同. 数据分析、语音信号处理、图像处理、人脸识别和数 图1给出由特征基向量合成图像的模型4 字水印等方面. 1ICA和基于ICA的图像特征提取 a, 1.1独立分量分析 图1图像合成模型 ICA作为一种信号处理技术，其目的就是以统 Fig.1 Image mixture model 计独立的变量的线性组合来表示一组随机变量2] 1.3基于分块的ICA特征提取 ICA最有意义的2个应用就是盲源分离和特征提 在ICA模型中，至少存在2个观测信号，而实际 取，而这2个方面和数字水印研究有着相通性和密 中需要处理的往往只有一幅图像，因而，许多基于 切的联系。 ICA的水印方案采用对原始图像分块的方式得到多 盲源分离是在源信号和传输通道参数未知的情 个观测信号，把每个块看作一个观测信号来建立 况下，根据输入源信号的统计特性，仅通过观测信号 ICA模型. 就可以实时地恢复或提取源信号， 对于图像，通常是将图像分成8×8或是16× ICA信号模型如式(1)： 16的像素块，如图2，并把这些块作为ICA模型中的 x=As, 观测信号，再通过ICA得到源信号.这样得到的所 s Wx. (1) 谓源信号是相互独立的，可以视为图像的特征，因此 式中：x=[x1x2…xn]T是m维观察信号矢量，s= 这一过程称作特征提取. [s152·sn]T是n维未知源信号矢量，A是未知的混 图3是自然图像采用基于分块ICA提取出来的 叠矩阵，W是未知的分离矩阵 基向量4.为了更好地表现特征，人们往往采用一 ICA就是仅根据观察信号x来估计源信号s,求 些标准化手段.具体做法为：首先，将图像进行线性
第6期 刘琚：独立分量分析的图像/视频分析与应用 ·497· 标准化，使得像素具有零均值、单位方差：然后.将图 抽取偶行、奇列得到；由D组成的子图是由原始图像 像分成块，再利用FastICA方法进行处理；最后，得 通过抽取偶行、偶列得到.图5是将原始标准peppers 到ICA的向量基.A.Hyvarinen指出[4，这些基向量 图像经过上述采样方法得到的分解结果. 显然在空间、频率、方向这3个方面都具有局部性， 而且这些特征与Gbor函数十分相似，同时也指出 ABABABAB AAAAC CCC 这些基向量与小波也有相似性. C D C D C D C D AAAACCCC A BABABAB AAAACCCC C DC D C D C D AAAA CCCC ABABABAB BBBB DDDD C DC D C D C D 8×8 BBBBDDDD ABABABAB BB BB DDD D 或者 CD C D C D C D BB BB DDDD 16×16 图4原始图像以及经下采样得到的4个子图 Fig.4 Original image and the four sub-images ob- 原始图像 分成8×8或16×16的块 tained by downsampling 图2分块法 Fig.2 Method of image blocking 图3利用分块ICA提取出来的自然图像基向量 Fig.3 Basis vectors of natural images extracted by the 图5原始peppers图像以及经下采样得到4个子图 method of blocking ICA Fig.5 Original standard image "peppers"and the four 这些特征能被证明含有原始图像的一些方向边 sub-images obtained by downsampling 缘，因此被用作图像重构的基).此外，Hateren证明 将上述采样方法分解得到的4个子图作为观测 了这些特征与人类视觉获得的特征是相似的，并且 信号进行ICA处理，就可以得到相应的特征. 在视频中的相应实验中也得到了相似的结论[6， 为了后面便于跟小波变换对比，把下采样与 1.4基于采样的图像独立特征分析方法模型 ICA相结合处理信号的整个过程称为ICA变换 基于分块的ICA模型，在图像分块之后，各个 (ICA transform,ICAT)7].通过ICAT得到的4个特 块和原图像都失去了相似性，提取出来的特征并不 征图像(feature image,.FI),可以用子带的方式表 能很好地反映图像的整体特性， 示，如图6 采样法是一种十分常用的信号处理方法，可以 根据不同的采样因子或者采样间隔将信号分解成相 似的信号.用采样法抽取则可以使得到的图像与原 始图像相似.当采样因子为2时，原图像可以被分解 为4个相似的子图. 假设原始图像大小为n×m,通过采样因子为2的 下采样（如图4）后，得到4个子图，如式(2)表示为： I(i,)=I(2i-1,2i-1), Ie(i,j)=I(2i-1,2j), 图6ICAT提取的4个特征分量 1n(i,j)=1(2i,2j-1), Fig.6 Four feature images obtained by ICAT I4(i,j)=I(2i,2j). (2) 图6中，FL,L2,L3,F4就是原始图像经ICAT 式中：I为原始图像，i=1,2,…,n/2,j=1,2,…m/2. 获得的特征.根据ICA理论，这4个特征不但不相 图4中由A组成的子图为原始图像通过抽取奇 关，而且相互独立.不难发现，这个分析结果与图像 行、奇列得到；由B组成的子图是由原始图像通过抽 经小波理论多尺度分析得到的结果（即图8(b))很 取奇行、偶列得到；由C组成的子图为原始图像通过
·498. 智能系统学报 第6卷 相似.因此，将L4称为原始图像的概貌分量，L, FL2,FL3被称为细节分量. 1.5图像ICA特征分析与小波分析方法比较 在小波分析理论中，信号二层、三层乃至高层的 分析方法，在实际应用中被广泛地应用.因此，研究 二层、高层的ICAT分解方法具有一定意义. 基于采样和ICA的特征分析方法二层分解模 型有2种.第1种是与小波分析方法类似，将一层 ICAT分解得到的各个分量继续进行一次ICAT处 )2层DWT分解对pepper图像处理结果(L.子带为 概貌部分，其余LH,HL,HH子带分别是原始 理.另一种方法是将图像经过采样因子为4的采样 图像在竖直、水平和对角方向上的细节部分) 提取出16个子图，然后对这16个图像进行ICA处 图8ICAT与DWT的分析结果对比 理，这个过程被称为基于采样因子为4的ICAT.在 Fig.8 Comparison between ICAT and DWT 这里只以第1种方法为例进行说明，分解原理图如 小波多尺度分析中，图像分解得到概貌分量表 图7所示. 示的是原始图像的低频子带，是原始图像能量最集 中的部分，体现了原始图像中的主要信息.因此，本 -E1112 文把概貌部分的能量统计特性作为概貌分量的一个 F11F13 F11一层ICAT F11 F14 准则来衡量相应的变换方法的优劣. F11 F11 -F12 F1I 本文将概貌分量进行二维离散余弦变换(2D F12F12 F12☐一层1GAT DCT),对得到的离散余弦系数进行igag扫描，得 F12F13 到的DCT系数按从低频到高频依次排列.除第1个 始 F12F14 一层ICAT F13 F11 DCT系数（直流系数）外，再按照从低频到高频的顺 像 P13F12 13一层ICAT 序统计交流系数能量分别占整个交流系数总能量 F13■F13 F13F14 95%、90%的个数.如果这个数目在总的交流系统中 1411 所占的比例越小，则表明对应变换的能量集中特性 F14F12 -14☐一层ICAT F14 F13 更好 -F14■F14 实验中采用标准peppers图像，图像大小为512× 图7第1种2层ICAT分解原理 512,离散小波变换采用的母小波为Daubechie84小波. Fig.7 The framework of the first type of 2-order ICAT 分别对一层、二层小波分析和ICAT分解得到的概貌分 第1种方法与常用的小波多尺度分析方法相类 量进行上述的DCT系数统计分析. 似，将它与离散小波变换进行分析结果对比.标准图 1)一层分解结果.在DWT得到的概貌分量（由 像peppers通过第1种二层ICAT方法处理的结果 于采用Daubechies-4小波，概貌分量像素大小为 如图8(a),其中16个分量中存在着概貌分量（最后 259×259)的交流(AC)系数当中，按从低频到高频 一个分量)及细节分量（其余15个分量）.图8(b) 的顺序，前5627个低频交流系数的能量占据了整个 是peppers图像通过二层2D-DWT处理得到的结 交流系数总能量的95%，这些系数占据整个交流系 果，其中母小波采用的是Daubechies-4小波[89]. 数的8.39%；而ICAT概貌分量（像素大小为256× 256)的统计数量为3451个，占据整个交流系数的 5.27%,仅仅是DWT结果的61%.这说明，按从低 频到高频顺序统计，ICAT概貌分量中的前3451个 交流系数恢复的图像可以得到用小波概貌分量前 5627个交流系数恢复图像的质量.这意味着一层 ICAT分解提取的概貌分量能量较DWT更加集中. 2)二层分解统计结果.二层DWT得到的概貌 分量，其像素大小为69×69，它的交流(AC)系数当 (a)2层ICAT分解对peppers图像处理结果 中，按从低频到高频的顺序，前1673个交流系数的 能量占据了整个交流系数总能量的95%，这些系数
第6期 刘琚：独立分量分析的图像/视频分析与应用 .499· 占据整个交流系数的35.14%.另外，前962个交流 视频 系数的能量占据了整个交流系数总能量的90%，这 D为 A AB C D 子视频 些系数占据整个交流系数的19.61%.采样因子为2 EFGH 的二重ICA方法得到的概貌分量，其像素大小为64 M IJK L ×64,它的交流(AC)系数当中，按从低频到高频的 M NO P 0 顺序，前1296个低频交流系数的能量占据了整个交 流系数总能量的95%，这些系数占据整个交流系数 的31.64%；前650个低频交流系数的能量占据了 CA 整个交流系数总能量的90%，这些系数占据整个交 流系数的15.87%.这意味着基于下采样的二层 ICAT分解方法提取的概貌分量与二阶离散小波变 独立特仙 换提取的概貌分量相比，能量更加集中. 图9视频独立块特征的提取框架 ICAT和DWT概貌分量能量统计的结果说明 Fig.9 Framework of the independent block-based ICAT提取的概貌分量能量与DWT提取的概貌分量 video feature extraction 相比，能量更加集中.也就是说，可以用相对较少的 DCT系数恢复出同样质量的图像.这说明，ICAT方 法的稀疏性要强于DWT,即可以用较少的数据恢复 相同质量的图像.众所周知，DWT能去除数据的相 关性以达到减少数据的冗余的目的0]而被应用于 数据压缩，并已经作为JPEG2000压缩标准的理论 基础.ICA获得的分量不仅不相关而且是统计独立 的，这能在更大程度上减少数据冗余.上述实验也都 图10视频G0P中帧的典型结构 Fig.10 The structure of GOP 证明了这一点.因此利用ICAT压缩图像时，压缩性 按照视频中这种COP的结构来对视频在时间 能可能会优于DWT. 上进行分段.分段后，再按照图9中描述的过程进行 2视频的独立动态特征分析 视频特征的提取，这样获得的特征被称为视频独立 类似于图像的ICA分析，视频的ICA分析也有 块特征(video independent block feature,VIBF).这个 不同的模型，因此，基于ICA的视频分析可以产生 过程中的视频块特征本身也是视频的形式，称其中 不同的独立视频特征。 的视频帧为切片，以便和原视频中的帧进行区别. 2.1视频的独立块特征 2.2视频的独立动态分量特征 将1.3节中基于图像分块的ICA特征表示 基于独立块特征的表示方法能够很好地表示一 向视频扩展，首先将视频进行时间上的分段，然后将 段视频，然而这种独立块特征的含义并不非常明确。 分段视频在空间上分块，把视频分为三维块，以这些 视频是时间轴上有序排列的连续图像序列，这些连 三维块作为ICA模型中的观测分量进行ICA分解， 续图像之间存在大量相似的背景信息，帧与帧之间 所得到的独立块特征就是基于ICA的视频独立块 的区别主要是通过相对运动信息来表征的.这些背 特征的表示.文献[10]通过实验证明这些独立块特 景信息和相对运动信息在统计上是相互独立的，可 征与人类感知视觉中大脑皮层细胞所呈现的滤波器 以通过ICA技术从相邻的帧图像中分别提取出来. 非常类似.图9是视频独立块特征的提取框架， 由此就产生了基于连续帧动态分量的第2种视频的 在进行三维块特征提取时，首先要将视频进行 表示方法。 时间上的分段，即要确定视频块在时间上的跨度，然 假设视频中某连续的2帧图像分别为x()和 后才在空间上分块.视频在进行MPEG压缩时，通 xr-),它们的背景信息s-1)称为静态分量，它们 常按照COP(group of picture,COP)结构来对视频帧 之间的相对运动信息5w称为运动分量.和 分类进行不同的压缩处理，一般G0P中包括3类 xr:-可以看做是Sr-)和S()线性叠加的结果： 帧]：I帧、P帧和B帧.视频压缩中最常用的一种 G0P结构如图10所示. [A] F(-I)
·500· 智能系统学报 第6卷 式中：xp、-)、S-)八5M,0分别是xr、 2.3.1镜头分割 -)Sp:-)SMp的行向量形式.因此，ICA可以 视频镜头分割，又称为视频时间上的分割，是视 用来分离视频中相邻2帧之间的静态分量信息和运 频处理中一个重要的研究方向，视频分割就是按照 动分量信息.图11是利用FastICA对一段视频中相 场景内容的变化将视频在时间上分成不同的段.镜 邻2帧进行分解的结果. 头分割的方法主要有：基于像素的、基于块的、基于 直方图的方法等4 静态分量 2.3.2视频独立内容特征(VICF) 1)主独立分量分析. 一般地，在进行ICA分解前，先将观察信号利用 ICA 主分量分析(PCA)进行预白化.若在白化过程中，只 选择观察信号的协方差矩阵中主要特征值所对应的 特征向量来构造白化阵，就可以实现降维，并在后面 后顿 动态分量 的ICA中达到对主要独立分量的优化估计，这个过程 图11ICA分解两相邻视频帧得到的结果 被称为主独立分量分析.主独立分量分析和一般独立 Fig.11 ICA analysis on two consecutive frames 分量分析的不同就在于白化时是否进行降维.镜头中 文献[13]证明边缘是图像的独立成分，而由动 的VICP就是通过主独立分量分析提取的， 态分量图可以看出，视频帧中物体的运动轨迹就是 2)视频独立内容特征(VICF) 通过边缘体现出来的.边缘突出的地方表明发生了 将同一个镜头内视频帧作为ICA模型中的观 剧烈的运动，边缘模糊的地方只发生轻微的运动，没 察信号进行PICA分解，就可以得到基于视频内容 有边缘的地方即没有相对运动，这一结果反映了视 的独立特征VICF, 频帧的相对运动分量，有效地描述了视频的运动过 令PICA分解中的观察信号为xW= 程，而提取过程避免了传统运动估计方法中重复性 [xx…x怀]T,则x是镜头中第i帧F:的列向 的块操作，减少了计算量。 量形式，长度为p×q,P、9分别为视频帧的行、列数， 同时，利用帧差法得到的帧间相对运动信息与 M是镜头（视频段）中的总帧数.用FastICA算法对 其使用的参考帧有关，即帧间相对运动信息与静止 它们进行主独立分量分解(FastICA)p得到sc= 的背景信息之间存在相关性.因此，虽然帧差法算法 [scsc…sc]T,其中N为分解得到的独立分量的 简单，可以较快地提取视频帧间相对运动信息，但提 个数 取的运动信息并不是真正意义上的帧间相对运动信 Sic FastICA(xvr). 息，在应用中鲁棒性较弱.而使用ICA提取的帧间 将得到的每个独立分量si转化为矩阵形式 相对运动信息是惟一的，与静止的背景信息是相互 Vs,V就是视频独立内容特征VICF.以手弹钢琴 独立的，可以很好地表示视频相邻2帧之间发生的 的视频51为例进行VICF分析.视频中5个手指分 运动情况，并且在应用中具有较强的鲁棒性 别对应地弹下5个键，而且只弹下5个键.以拇指弹 2.3视频的独立内容特征 下的键作为1号键，食指弹下的键作为2号键，依次 连续帧动态分量的表示方法能够很好地体现出 类推.弹键的顺序是1-2-3-4-2-3-1-5，图12列出了视 视频中的运动成分，但是这种成分是由视频的连续帧 频中的任意几帧. 获得的，表示的只是特定时间点上的运动信息，无法 反映视频的整体信息.与此同时，人们发现视频中同 一个视频场景中运动的对象、时序等不发生变化，由 此提出基于独立内容特征的视频表示方法， 基于独立内容特征的视频表示方法首先要将视 图12手弹钢琴视频中的帧 频进行镜头分割，即根据场景将视频按内容在时间 Fig.12 Frames in the video of fingers playing piano 上划分成段，在每段中利用主独立分量分析(princi-- 图13是用FastICA对这段视频进行主独立分 pal independent component analysis,PICA)提取出基 量分析的结果，在进行P℃A预白化时，维数降至6， 于这段视频的内容特征—视频独立内容特征 b1-b6是得到的6个ICF;P1P6为PCA白化后得到 (video independent content feature,VICF). 的6个主特征分量的帧形式.图13（a)~(f)是PI-
第6期 刘琚：独立分量分析的图像/视频分析与应用 ·501 CA提取出来的ICF.其中(a)~(e)中灰度显著的 到的嵌人水印的图像就是载体图像和水印图像的混 地方显示了弹下的钢琴键，b1~b分量分别对应第 叠；在水印检测时，从待检测的载体图像中提取出水 4键、第2键、第1键、第3键和第5键.VICF是从同 印图像，通过与原始水印图像的比较来判断待检测 一内容的视频帧中提取出来的特征帧，是视频内容 的载体图像中是否嵌入水印.水印嵌人及提取的方 的本质特征，对视频中的各种处理有很强的鲁棒性. 案框图如图15所示7. 待检测的 图像 载体图像1 嵌入水印的 类载休 图像I ·图像/ (a)b,VICF (b)b,VICF (e)b,VICF 、提取水印的 提取出来 水印图像 密钥I, 的水印w 图15空域中嵌入及提取水印的方案 (d)b,VICF (e)b,VICF b VICF ig.15 Framework of watermarking embedding and extraction in spatial domain 图13PICA分解得到的独立分量顿 1)水印的嵌人和提取， Fig.13 Principal independent content feature frames 选择2幅尺寸相同的图像分别作为载体图像1 obtained by PICA 和水印图像w,将其看作ICA模型的2个源信号.水 3基于ICA的图像数字水印 印的嵌入过程用公式表示如下： 数字水印技术是一种将特制的、不可见的标记 隐藏在数字图像、声音、视频等数字内容中，由此可 以确定版权拥有者，认证数字内容来源的真实性等. 式中：S,和s分别是载体图像I和水印图像w的行 数字水印系统通常包含2个部分：水印信息的嵌入 向量形式，x和x分别是对应嵌入水印的图像 和水印信息的提取或检测，一般要求水印具有不可 和I于提取水印的密钥图像z的行向量，Am是混 见性、鲁棒性和较大的信息容量72川，水印嵌入和 叠矩阵，也就是这个方案的嵌入函数.若Am= 检测模型如图14所示. ,则 水印信息 a22 a1S1+a12Sw=1, [密钥 水印嵌入算涸 水印载体数据 a21S1+a25。=4: 载体数据 为了满足水印不可见性的要求，Am中|a1I≥ Ia2l,并且可以通过调节它们2个的比例关系来调 水印载休数据 节水印的不可见程度，其中a21、a22均不为零， 密钥 水印提取算法 水印信息 检测水印时，可以将混叠矩阵和密钥矩阵联合 起来通过水印嵌入过程的逆过程分离出水印信息； 「原始载休数据 然而这种检测方法对于混叠矩阵的保密性不好，并 图14水印嵌入和检测模型 且由于水印检测的病态性，这样的检测方法会使水 Fig.14 Models of watermark embedding and detection 印的鲁棒性变差.因此，这里采用ICA算法进行水 可以看出，ICA的混叠/分离模型与水印的嵌 印的分离，获得到分离矩阵Wm后，利用式(1)进行 入V提取在某种程度上是相通的.因此，将ICA与水 分离和提取水印.如果待检测的水印图像为”，则 印技术结合，就可以得到基于ICA的图像/视频水 提取过程的公式表示如下： 印方案.下面分别给出基于混叠图像盲分离的图像 水印检测方案 3.1直接水印方案 式中：x为待测水印图像的行向量形式，s为提 方案利用ICA的混叠/分离模型，在时空域中 取出来的水印图像w'的行向量形式，行向量s为一 将水印图像直接叠加到载体图像上.在水印嵌入时， 个与原始载体图像类似的图像'的向量形式.W 将水印图像作为一个弱信号嵌人到载体图像中，得 为提取水印时的分离矩阵
·502 智能系统学报 第6卷 2)仿真实验 实验选择256×256的Cameraman图像为载体 图像，选择256×256的Tree图像为水印图像.产生 混叠矩阵时，在满足IauI≥|a12I的前提下，采用随机 产生的方式得到混叠矩阵，这里使用的混叠矩阵为 0.70.0261 Am= 10.720.600 .混叠后的图像如图16所示. a)中值滤波后的图像 山)提取出来的水印 图18中值滤波后的图像及提取出的水印 Fig.18 Watermarked image with median filtering and the watermark extracted from it 3.2基于ICA的抗拷贝攻击的图像水印方案 “拷贝攻击”是水印攻击中容易引起版权混淆 和纠纷的一种攻击.为了对抗“拷贝攻击”，往往需 (a)提取水印时的密钥图像 ,嵌入水印的图像 要在嵌入水印的同时，嵌入表征图像的签名信息.针 PSNR=38.955 7 dB 对于这种嵌入水印时有原始图像、水印图像和签名 图16混叠后得到的图像 图像3个图像信息，而提取时则只有待检测图像和 Fig.16 Two mixture images 密钥图像2个信息的情况，文献[19]介绍了一种解 对加水印的图像进行不同的攻击处理，然后对 决方法.这种方法将原始图像的签名连同水印信息 加水印的图像进行攻击，并从攻击后的图像中提取 一同嵌入到原始图像中；在接收端，将待检测图像和 水印.图17(a)、(b)是经过JPEG压缩后的图像以 密钥图像作为2个观测信号，通过在提取/检测过程 及从中提取出来的水印.图18(a)、(b)是中值滤波 中多次采用ICA分解，并结合源信号的一定先验知 处理后的图像以及从中提取出来的水印， 识，实现从2个规测信号中分离出原始图像、原始图 像的签名以及水印信息. 1)水印的嵌入和提取 嵌入水印时，首先将原始图像进行多层小波分 解，并将其逼近子图作为源信号51，水印和原始图像 的IS分别作为源信号S2和S3·然后将5152和S3表 (a压缩后的图像 )提取出来的水印 示成行向量形式，利用ICA混叠模型x=As进行混叠 图17PEG压缩后的图像及提取出的水印 实现水印的嵌人在这里，为了降低密钥管理的复杂 Fig.17 Watermarked image with JPEG compression 度，简化水印应用过程，随机产生一个2×3维的矩阵 and the watermark extracted from it A=(a:)2x3作为混叠矩阵，即有如下嵌入模型： 从仿真结果可以看出，空域中基于ICA叠加/ 提取的数字水印方案，其优点是嵌入水印信息的量 a13 比较大，且对于一些比较猛烈的攻击，在密钥图像的 \az a22 023 辅助下，具有良好的鲁棒性 其他文献中将这种思想在不同变换域或者不同 最后选取x,作为嵌人水印和IS的小波逼近子 分量上进行了应用.文献[28]中将原始图像和数字 图，x2为私钥阵.对x1进行小波反变换，就完成了整 水印进行相同的ICA分解后，在原始图像分解后的 个嵌入过程.为了满足水印的不可见性要求，混叠矩 系数上叠加水印分解后的系数，从而完成水印的嵌 阵A中应满足2，a3≤au(a2+a3≈0.1a1).如 入；文献[29-30]中将图像先进行小波变换或者 果密钥阵x2中含有水印信息，则在提取/检测阶段， Ridgelet变换，在变换的系数上通过水印的混叠来 对于不含水印的图像，仍然能够将水印提取出来，这 完成嵌入，提取时，在变换域上通过ICA分解来提 是由于不管源信号如何混叠，ICA方法都可以仅通 取出混叠的水印；文献[31]将图像的RGB3个分量 过观测信号来恢复或提取源信号，因此为了降低虚 作为3个混叠图像进行ICA分解，在得到的特征上 警率，a22取值应为零.a2=0使得密钥阵中含有IS 进行水印的嵌入和提取.这些方法在一定场合下都 信息而不含水印信息，这使得在提取/检测时，S,将 得到了很好的结果， 获得比S2更高的鲁棒性，因此使a12>a3从而进一
第6期 刘琚：独立分量分析的图像/视频分析与应用 ·503· 步提高水印的鲁棒性， 提取/检测水印时，首先将嵌人水印的图像的小 波逼近子图和私钥矩阵用行向量表示，并分别看作 是2个观测信号x1和x2,利用ICA分离训练公式得 到分离矩阵w1∈R2x2,对x1和，进行ICA运算，得 (a)原始像 b嵌入水印的图像 到分离信号y1和y2,即 W A (3) 大学 33 c小波通近子图 (d)IS (e)水印 从式(3)可以看出，本质上y1和y2也是源信号 S1S2和33的线性组合.其次，将y2作为一个观测信 图19水印嵌入前后图像及水印 Fig.19 Images with and without watermark and water- 号x3,将53作为另一个观测信号x4,对和x4进 mark 行ICA运算，用矩阵W2∈R2×2进行分离，得到水印 S2和签名S3: 4 基于ICA的视频水印方案 视频水印技术利用视频数据中存在的时间冗余 和空间冗余，把表征版权的水印信息嵌入到数字视 2)仿真实验及结论， 频内容中，在不影响视频质量的前提下，达到版权保 原始图像是256×256的标准“Lena”图像，如 护和内容完整性检验的目的， 图19(a)所示，取其三阶小波分解的逼近子图（图 与图像水印技术相比，视频水印具有自身固有 19(b))嵌入水印.将原始图像进行128×128分块 的一些特征，视频水印算法还有一些特殊的要求，如 DCT,按“之”字形扫描，取每块小波逼近子图的前 视频具有更大的信号空间，因而具有更大的隐藏信 16×16个系数来生成原始图像的S,如图19(c). 息容量；但易受剪切、帧频改变、帧重组、掉帧等一些 水印信号是大小为32×32的二值图像，如图19 特有的攻击的影响. (d)所示.方案采用的混叠矩阵为A2= 4.1基于独立内容特征的视频水印方案 10.15-0.021 0.0601嵌人水印后的图像如图19 不管视频经过什么样的处理，惟一保持不变的 是视频内容，因而视频内容对各种处理鲁棒性最强 (e)所示.与图19(a)相比，测得它们之间的峰值信 利用2.3节中描述的视频独立内容特征分析， 噪比PSNR=57.865dB.实验中，水印的判决阈值设 提出一种基于ICA和独立视频内容特征的视频水 为0.85. 印方案「2].先将视频通过镜头分割在时间上分段， 表1给出了在几种常规攻击下提取的水印与原 再对每个段进行ICA分解，将得到的独立分量帧看 水印之间的NC值，各类攻击分别为：1)均值为0.1， 作图像，采用现有的图像水印方法，在每个段分解得 方差为0.0015的高斯噪声攻击：2)3×3中值滤波； 到的主独立分量帧上嵌入水印.由于视频中的主独 3)剪切掉“Lena”图像的眼睛部分；4)EPG压缩，其 立分量帧对于各种视频处理有很好的鲁棒性，因此 中压缩比率为16.624：5)尺度变换，即采用“Biline- 在嵌入水印时只要采用盲图像水印方案就可以达到 ar”方法先将图像扩大为原图像的2倍，再缩为原图 视频水印的盲检测.这里采用了基于量化思想的 像大小.从表1中可以看出，此水印算法具有较好的 SWE(single watermark embedding)方案2s] 鲁棒性，所测NC值均高于给定的阈值0.85 在水印提取时，先提取待检测视频的主独立分 表1常规攻击下提取的水印与原水印NC值比较 量帧，再从每个主独立分量帧中检测水印， Table 1 NC comparison between the original and extrac. 仿真实验中选用一段73帧的广告作为实验视 ted watermarks under usual attacks 频，视频中有3个镜头，帧率为25帧/s,帧大小为 攻击 NC 攻击 NC 272×352.水印是有山东大学字样的二值图像，大小 无攻击 1 剪切 0.8553 为32×32. 高斯白噪声 0.9778 JPEG压缩 0.9465 在每个提取出来的VICF上都嵌入相同的水 中值滤波0.9622 尺度变换 0.9586 印，并且进行下面的10个攻击实验，基于帧的攻击： 1)3×3中值滤波，2)帧尺寸缩小2倍，3)帧旋转
·504 智能系统学报 第6卷 0.5°，4)密度为0.02的椒盐噪声，5)均值为0，方差 提取运动分量信息，并根据此定位视频帧中运动最 为0.001的高斯噪声；基于视频的攻击：6)各视频段 为剧烈的部分作为水印嵌入的区域.首先，通过ICA 内部的帧交换，每5帧中任选2相邻帧进行交换，7) 分析得到2帧共有的静态分量和相对运动分量.通 帧丢失，每6帧中任意丢失一帧，8)帧率从25~ 过定位运动分量帧中纹理显著的区域，可以实现对 30帧/s,持续时间不变，帧数从73增为85,9)帧率 原始视频帧中运动区域的定位， 从25~24帧/s,持续时间不变，帧数从73减为69， 图21描述了运动区域定位过程.首先，用16× 10)各视频段内部的共谋攻击.这些实验都是在视 16的宏块对运动信息帧进行初步的运动区域定位， 频经过了MPEG2压缩后进行的.这里没有选用帧 文献[24]中用宏块中各互不重叠的8×8小块的方 数不变而持续时间变化的帧率变化，是因为这种帧 差和作为衡量运动剧烈程度的标准，即认为方差和 率变化对于视频帧没有任何的影响，和没有帧率变 大的宏块运动更剧烈.其次，以方差和最大的宏块为 化的情况下进行提取是相同的.图20(a)~(j)分别 中心确定一个方形区域(8n×8n,相应地嵌入水印 对应(a)~(j)攻击后提取出来的水印.1)~10)每 的信息量为n×n),此区域对应至原视频帧中，即为 个子图中的3个水印，从左向右分别对应每种攻击 定位得到的运动区域。 后从第1、2、3段中提取出来的水印.图20(k)是原 始水印 季尖季尖奉尖套孽颦 (a】 (b) (c) 攀森装李鞋膝尖季李梦 (d) e 0 尖李季季李尖李李尖季类李尖李 (g) () ( 图21运动区域定位 尖季尖季尖季 Fig.21 Motion region locating ) ) 采用基于Watson'g视觉模型251的量化索引调 图20各种攻击下视频各镜头中提取的水印 制算法嵌入水印.检测水印时，仍然用ICA提取 Fig.20 Watermarks extracted from different video 相对运动分量，对接收到的视频帧进行运动区域定 shots under various attacks 位，利用与嵌入相反的过程提取水印. 实验结果表明，这种方案对于常见的基于帧的攻 仿真试验截取了一段北极熊视频作为载体视 击，如中值滤波、尺度伸缩、椒盐噪声、高斯噪声等有很 频，共包含50帧图像，每帧图像大小为272×352， 好的鲁棒性；对于常见的基于视频的攻击，如MPEG2 帧率为25帧/8.使用的水印为由0、1组成的二进制 压缩、帧交换、帧丢失、帧率变化、共谋攻击等也有很好 伪随机序列，长度为100（相应地，确定的运动区域 的鲁棒性.对于空间上不同步的攻击（如旋转），有一定 的大小为80×80).嵌人水印时，嵌入水印的强度 的鲁棒性；而对于时间不同步的攻击（如帧交换、帧丢 beta设为l8,使视频在保持良好的视觉质量的前提 失、帧率变化)，有很好的鲁棒性， 下仍然具有较好的鲁棒性。 4.2基于运动区域定位的盲视频水印方案 为证明算法的鲁棒性，实验采用一些常见的信 2.2节介绍了利用ICA从视频相邻2帧中提取 息处理方式对水印视频进行处理，包括各种均值为 包含相对运动信息的运动分量帧，考虑人眼对运动 0.方差不同的高斯白噪声攻击，在保持视频时长或 区域及其邻近区域的变化敏感性相对较低的视觉特 帧数不变的前提下采用不同帧率的MPEG-2压缩， 性，通过运动区域的定位，将水印嵌入原始视频帧的 以及帧删除和帧剪裁攻击.其中，帧删除中随机删掉 运动区域内241，且采用基于视觉模型的QM算法， 视频中约10%的帧，即视频丢失5帧图像.对于实 在保证水印不可见的前提下，使水印对高斯白噪声、 际视频应用中经常遭受的帧剪裁攻击，又进行了各 MPEG2压缩、帧删除和帧剪裁等攻击具有较高的 帧统一顺序剪裁和随机剪裁，以及各帧随机剪裁不 鲁棒性。 同的行列等3种实验方式.图22给出了视频遭受攻 由于人眼对纹理细节和边缘分布丰富的运动区 击后的水印检测结果.在试验中，采取用与剪裁处相 域及其邻近区域的变化敏感性相对较低，利用ICA 隔5行/列的行列填充于剪裁处