第4卷第2期 智能系统学报 Vol 4 Ng 2 2009年4月 CAA I Transactions on Intelligent System s Apr 2009 多类SMM在图像艺术属性分类中的应用研究 陈小娥，陈昭炯 (福州大学数学与计算机科学学院，福建福州350108) 摘要：针对当前图像分类研究中，依据图像艺术风格属性进行分类的算法尚不多见的情况，实现了一种基于艺术 属性的图像自动分类系统，其中主要涉及摄影作品、国画、水彩画、素描、油画等几种典型艺术风格的图像.系统采用 支持向量机(SM)作为分类器，运用分等级的分类方法，提出了一种针对艺术属性图像分类的特定SM二叉树多 类分类算法；而后通过对各类图像艺术风格特征的分析，分别提取了有代表性的、区分度好且易于计算的特征；最后 针对各级分类特性和分类器总体特性进行了实验分析，实验结果表明，系统具有良好的分类性能 关键词：支持向量机；二叉树多类分类算法，图像艺术属性 中图分类号：1P391文献标识码：A文章编号：1673-4785(2009)020157-06 An applica tion of multi-class SV n the classification of artistic a ttr bbutes of mages CHEN Xiao-e,CHEN Zhao-jiong (College ofMathematics and Computer Science,Fuzhou University,Fujian 350108,China)) Abstract:In mage classification,few current classification algorithms classify mages by their artistic attributes An automatic mage classification system based on artistic attributes was devebped for classifying mages in typical ar tistic styles such as photographs,Chinese paintings,watercobrs,sketches,oil paintings,and so on The system empbyed a support vector machine (SVM)as a classifier Using a classification method at various levels,an SVM binary tree multi-class classification algorithm or mage classification with respect to different artistic attributes was proposed By analyzing the mages with respect to the different artistic styles,some easily computed representative characteristics with good discrm inability were extracted at each classification level Experments on a variety of characteristics at varous levels and the total characteristics of classifiers were designed evaluate the proposed classifier Expermental results showed that the system has good classification perfomance Keywords:SVM;multi-class classification algorithm based on binary tree,mage artistic attributes 随着互联网技术的飞速发展，网络图像资源越理、Wεb图像搜索都有积极的意义.如果在搜索之 来越丰富，如何快速、有效的进行图像检索或分类就前先进行分类的话，就可以缩小图像的搜索范围，加 成为非常有挑战性的课题，图像的自动分类是其中 速图像搜索的速度，提高搜索效率，不失为缩小图像 项重要的研究内容. 的低级特征和高级概念之间语义间隔的一个可行方 图像自动分类具有广阔的应用前景.在一些专 法.同时，分类也符合人们对图像搜索、多媒体内容 业图片公司里，很多员工每日都要对各种图片进行 分析与理解、数字图书馆等应用领域的多种需求，诸 归类、标注，撰写描述信息，工作量十分庞大如果计 如信息资料共享中文档图像分类、情感心理搜 算机能够像人类一样看懂一幅图片，就可节省大量 索2等」 的人力、物力、财力，而分类正是促进智能识别图像 之前有关图像自动分类的研究主要是根据若干 的一种有效方法.其次，图像的自动分类对图像管 图像的属性来分类.A thitsos和Swain等人B提出了 将图片分为普通摄影图片和由计算机生成图片的分 收稿日期：200805-12 基金项目：福建省自然科学基金资助项目(A0710006). 类方法，文中主要先分析这2类图片的特点，然后根 通信作者：陈昭炯.Emai止chenzj@zu edu cn 据这些特点提取相应的分类特征（如颜色直方图、主 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 第 4卷第 2期 智 能 系 统 学 报 Vol. 4 №. 2 2009年 4月 CAA I Transactions on Intelligent System s Ap r. 2009 多类 SVM在图像艺术属性分类中的应用研究 陈小娥 ,陈昭炯 (福州大学 数学与计算机科学学院 ,福建 福州 350108) 摘 要 :针对当前图像分类研究中 ,依据图像艺术风格属性进行分类的算法尚不多见的情况 ,实现了一种基于艺术 属性的图像自动分类系统 ,其中主要涉及摄影作品、国画、水彩画、素描、油画等几种典型艺术风格的图像. 系统采用 支持向量机 ( SVM)作为分类器 ,运用分等级的分类方法 ,提出了一种针对艺术属性图像分类的特定 SVM 二叉树多 类分类算法 ;而后通过对各类图像艺术风格特征的分析 ,分别提取了有代表性的、区分度好且易于计算的特征 ;最后 针对各级分类特性和分类器总体特性进行了实验分析 ,实验结果表明 ,系统具有良好的分类性能. 关键词 : 支持向量机 ;二叉树多类分类算法 ;图像艺术属性 中图分类号 : TP391 文献标识码 : A 文章编号 : 167324785 (2009) 0220157206 An application of multi2class SVM in the classification of artistic attr ibutes of images CHEN Xiao2e, CHEN Zhao2jiong (College ofMathematics and Computer Science, Fuzhou University, Fujian 350108, China) ) Abstract: In image classification, few current classification algorithm s classify images by their artistic attributes. An automatic image classification system based on artistic attributes was developed for classifying images in typ ical ar2 tistic styles such as photographs, Chinese paintings, watercolors, sketches, oil paintings, and so on. The system emp loyed a support vectormachine (SVM) as a classifier. U sing a classification method at various levels, an SVM binary tree multi2class classification algorithm for image classification with respect to different artistic attributes was p roposed. By analyzing the images with respect to the different artistic styles, some easily computed rep resentative characteristics with good discrim inability were extracted at each classification level. Experiments on a variety of characteristics at various levels and the total characteristics of classifiers were designed to evaluate the p roposed classifier. Experimental results showed that the system has good classification performance. Keywords:SVM; multi2class classification algorithm based on binary tree; image artistic attributes 收稿日期 : 2008205212. 基金项目 :福建省自然科学基金资助项目 (A0710006). 通信作者 :陈昭炯. E2mail: chenzj@fzu. edu. cn. 随着互联网技术的飞速发展 ,网络图像资源越 来越丰富 ,如何快速、有效的进行图像检索或分类就 成为非常有挑战性的课题 ,图像的自动分类是其中 一项重要的研究内容. 图像自动分类具有广阔的应用前景. 在一些专 业图片公司里 ,很多员工每日都要对各种图片进行 归类、标注 ,撰写描述信息 ,工作量十分庞大. 如果计 算机能够像人类一样看懂一幅图片 ,就可节省大量 的人力、物力、财力 ,而分类正是促进智能识别图像 的一种有效方法. 其次 ,图像的自动分类对图像管 理、W eb 图像搜索都有积极的意义. 如果在搜索之 前先进行分类的话 ,就可以缩小图像的搜索范围 ,加 速图像搜索的速度 ,提高搜索效率 ,不失为缩小图像 的低级特征和高级概念之间语义间隔的一个可行方 法. 同时 ,分类也符合人们对图像搜索、多媒体内容 分析与理解、数字图书馆等应用领域的多种需求 ,诸 如信息资料共享中文档图像分类 [ 1 ]、情感心理搜 索 [ 2 ]等. 之前有关图像自动分类的研究主要是根据若干 图像的属性来分类. A thitsos和 Swain等人 [ 3 ]提出了 将图片分为普通摄影图片和由计算机生成图片的分 类方法 ,文中主要先分析这 2类图片的特点 ,然后根 据这些特点提取相应的分类特征 (如颜色直方图、主
·158· 智能系统学报 第4卷 导颜色数目、图片大小等特征)，并采用多决策树分类 方法进行分类；Sammer等人通过计算图像Oha空 1基于艺术风格属性的分类器设计 间的颜色直方图和多分辨率自回归纹理模型等特征 1.1支特向量机 将图像分为室内画和室外画，分类过程主要采用K近 支持向量机(SM)是Vpnk于1995年首先提 邻方法形成子分类器，再运用stacking.思想对各分类 出来的，是近年来机器学习研究的一项重大成果.其 器的输出进行处理，Vailaya1等人将图像分为城市画 基本思想是，寻找一个最优超平面使它的分类间隙 和风景画，提出了颜色聚合向量和边缘方向直方图等 最大 区分度较好的分类特征，采用KNN分类器进行分 支持向量机方法建立在统计学习理论的VC维 类：还有一些学者提出了其他的分类属性，诸如按图 理论和结构风险最小原理基础上，根据有限的样本 像主题进行分类6]、对自然图像的场景属性进行分 信息在模型的复杂性（即对特定训练样本的学习精 类1，分成落日海洋和原野等」 度)和学习能力（即无错误地识别任意样本的能力） 而当前基于不同艺术风格属性的图像自动分类 之间寻求最佳折衷，以期获得最好的推广能力.与传 算法的研究相对比较少.这里图像的艺术风格指的 统的模式识别方法相比，支持向量机方法在小样本、 是图像的不同创作手法.2005年，Cutu等81提出 高维和非线性数据空间下，在学习过程中可以充分 了将图片分为摄影作品和绘画作品的分类方法，由 利用多种特征提供的信息，具有较好的推广能力.正 不同特征形成多个分类器，再将这些分类器进行简 由于SM具有以上优点，并且在许多实际问题中 单组合得到最终分类结果.此种分法相比上文提到 SM相对于其他分类方法在某些方面也获得了较 的图像分类算法难度更大，因为该问题具有相对的 好的结果，因此，本文的分类器主要采用SM 普遍性，即不对图像的内容做任何限制.比如不像之 1.2多类SM 前的分类那样根据图像内容将图片具体分为城市画 传统的SM是基于两类问题的，而本文所研究 和风景画、室内画和室外画，而本文提出了一个将摄 的基于艺术风格属性的图像分类是多类分类问题」 影作品、国画、水彩画、素描和油画等不同艺术风格 虽然多类SM的算法己经提出并得到应用，但是不 图片自动分类的算法，由于新增了多种艺术风格的 同的多类SM算法具有不同的复杂度和分类性能， 图片，因此具有更大的挑战性.本文算法中，分析了 当前多类SM算法大致可分为两大类：一是先 不同风格属性图像的特点并提取了相应的特征.通 以某种方式构造一系列的两类分类器，然后再把这 过实验为每一级提取了有代表性的、区分度好的图 些分类器以某种特定的方式组合在一起来实现多类 像特征，其中选择了一些常用的、分类效果比较好的 分类，目前该分类方法比较典型的算法有one-a 图像特征，如颜色数目和傅里叶频谱等.同时借鉴文 gainstrest、one-againstone、基于二叉树的多类 献[8并提出了一些适合不同艺术风格属性图像分 SM法1，二是将多个分类面的参数求解合并到一 类的特征，如高低灰度对比度、饱和度比值和平滑性 个最优化问题中，通过求解该最优化问题“一次性” 等.对于分类器的设计，选择了支持向量机作为学习 实现多类分类.该方法在分类时表面上看起来比 机器.并运用当前比较新的基于二叉树的SM分类 较方便，但在最优化问题求解过程中的变量远多于 算法进行分类.该算法所需的分类器少，分类速度 前一类方法，训练速度也相对比较慢，同时分类精 快、推广性能好」 度上也不占优势) 图像的低级特征和高级概念之间存在着语义间 1.3基于二叉树的多类SM 隔.不少图像检索系统，由于对图像的领域没有限 于是本文采用上文介绍的第一类方法中的基于 制，检索效果常常不尽人意.本文提出的基于艺术风 二叉树的多类SVM算法.SM二叉树分类法是把 格属性的图像分类方法，在某种意义下缩小了低级 SM和二叉决策树结合起来的一种相对比较新的 特征和高级概念之间存在的语义间隔.即通过在宽 多类别分类方法，其本质是将原有的多类问题分解 图像领域（各种不同风格属性）中先进行了粗分类， 成一系列的两类分类问题 之后如果再在窄图像领域（同种风格属性）中进行 基于二叉树的多类SM,对于K类分类问题只 细分类，这可以降低分类的难度，提高分类精度 需构造K·1个分类器，分类时只需少量的分类器 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved hutp://www.cnki.net
© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 导颜色数目、图片大小等特征 ) ,并采用多决策树分类 方法进行分类 ; Szummer [ 4 ]等人通过计算图像 Ohta空 间的颜色直方图和多分辨率自回归纹理模型等特征 将图像分为室内画和室外画 ,分类过程主要采用 K近 邻方法形成子分类器 ,再运用 stacking思想对各分类 器的输出进行处理 ;Vailaya [ 5 ]等人将图像分为城市画 和风景画 ,提出了颜色聚合向量和边缘方向直方图等 区分度较好的分类特征 ,采用 K2NN 分类器进行分 类;还有一些学者提出了其他的分类属性 ,诸如按图 像主题进行分类 [ 6 ]、对自然图像的场景属性进行分 类 [ 7 ] ,分成落日、海洋和原野等. 而当前基于不同艺术风格属性的图像自动分类 算法的研究相对比较少. 这里图像的艺术风格指的 是图像的不同创作手法. 2005年 , Cutzu等 [ 8 ]提出 了将图片分为摄影作品和绘画作品的分类方法 ,由 不同特征形成多个分类器 ,再将这些分类器进行简 单组合得到最终分类结果. 此种分法相比上文提到 的图像分类算法难度更大 , 因为该问题具有相对的 普遍性 ,即不对图像的内容做任何限制. 比如不像之 前的分类那样根据图像内容将图片具体分为城市画 和风景画、室内画和室外画. 而本文提出了一个将摄 影作品、国画、水彩画、素描和油画等不同艺术风格 图片自动分类的算法 ,由于新增了多种艺术风格的 图片 ,因此具有更大的挑战性. 本文算法中 ,分析了 不同风格属性图像的特点并提取了相应的特征. 通 过实验为每一级提取了有代表性的、区分度好的图 像特征 ,其中选择了一些常用的、分类效果比较好的 图像特征 ,如颜色数目和傅里叶频谱等. 同时借鉴文 献 [ 8 ]并提出了一些适合不同艺术风格属性图像分 类的特征 ,如高低灰度对比度、饱和度比值和平滑性 等. 对于分类器的设计 ,选择了支持向量机作为学习 机器 ,并运用当前比较新的基于二叉树的 SVM分类 算法进行分类. 该算法所需的分类器少 ,分类速度 快、推广性能好. 图像的低级特征和高级概念之间存在着语义间 隔. 不少图像检索系统 ,由于对图像的领域没有限 制 ,检索效果常常不尽人意. 本文提出的基于艺术风 格属性的图像分类方法 ,在某种意义下缩小了低级 特征和高级概念之间存在的语义间隔. 即通过在宽 图像领域 (各种不同风格属性 )中先进行了粗分类 , 之后如果再在窄图像领域 (同种风格属性 )中进行 细分类 ,这可以降低分类的难度 ,提高分类精度. 1 基于艺术风格属性的分类器设计 1. 1 支持向量机 支持向量机 (SVM)是 Vapnik于 1995年首先提 出来的 ,是近年来机器学习研究的一项重大成果. 其 基本思想是 ,寻找一个最优超平面使它的分类间隙 最大. 支持向量机方法建立在统计学习理论的 VC维 理论和结构风险最小原理基础上 ,根据有限的样本 信息在模型的复杂性 (即对特定训练样本的学习精 度 )和学习能力 (即无错误地识别任意样本的能力 ) 之间寻求最佳折衷 ,以期获得最好的推广能力. 与传 统的模式识别方法相比 ,支持向量机方法在小样本、 高维和非线性数据空间下 ,在学习过程中可以充分 利用多种特征提供的信息 ,具有较好的推广能力. 正 由于 SVM具有以上优点 ,并且在许多实际问题中 SVM相对于其他分类方法在某些方面也获得了较 好的结果 ,因此 ,本文的分类器主要采用 SVM. 1. 2 多类 SVM 传统的 SVM是基于两类问题的 ,而本文所研究 的基于艺术风格属性的图像分类是多类分类问题. 虽然多类 SVM的算法已经提出并得到应用 ,但是不 同的多类 SVM算法具有不同的复杂度和分类性能. 当前多类 SVM算法大致可分为两大类 :一是先 以某种方式构造一系列的两类分类器 ,然后再把这 些分类器以某种特定的方式组合在一起来实现多类 分类 ,目前该分类方法比较典型的算法有 one2a2 gainst2rest [ 9 ]、one2against2one [ 9 ]、基于二叉树的多类 SVM法 [ 10 ] ;二是将多个分类面的参数求解合并到一 个最优化问题中 , 通过求解该最优化问题“一次性 ” 实现多类分类 [ 11 ] . 该方法在分类时表面上看起来比 较方便 ,但在最优化问题求解过程中的变量远多于 前一类方法 ,训练速度也相对比较慢 , 同时分类精 度上也不占优势 [ 12 ] . 1. 3 基于二叉树的多类 SVM 于是本文采用上文介绍的第一类方法中的基于 二叉树的多类 SVM 算法. SVM 二叉树分类法是把 SVM和二叉决策树结合起来的一种相对比较新的 多类别分类方法 ,其本质是将原有的多类问题分解 成一系列的两类分类问题. 基于二叉树的多类 SVM,对于 K类分类问题只 需构造 K - 1个分类器 ,分类时只需少量的分类器. ·158· 智 能 系 统 学 报 第 4卷
第2期 陈小娥，等：多类SM在图像艺术属性分类中的应用研究 ·159· 构造SM二叉树可以有多种不同的方案，典型的有 训练样本和测试集进行试验 以下2种特殊结构（图1）：一种是“偏态树”结构 图像 图1(a)),即每个结点分类器每次只把某一类从 SVM1 类集合中划分出来，直到所有节点都只包含一个单 独的类别：另一种是“正态树结构（图1(b),即每 索描 摄影、油画、国画、水彩 个结点分类器把类集合均划分成2个子集合，直到 SVM2 所有的类都划分开来.显然，正态树情况下的训练时 摄彩、油画 国画、水彩 间比偏态树情况下要短，而其他情况下的训练时间 SVM31 SVM32 则介于两者之间 摄影 油画 国 水彩 SVMO 类1 SVMI 图2不同艺术风格图像分类的SM多类二叉树分类 Fig 2 Binary tree based SVM multi-class classification for 类2 SVM2 different artistic style mages 类3类4 (a)偏态树结构 2分类特征选择 SVMO 对图像进行分类，分类的准确率很大程度上取 决于从图像中提取的特征，于是从不同方面、不同角 SVMI SVM2 度分析并提取了不同艺术风格图像的特征」 21颜色数目 类1 类2 类3类4 图像的颜色是图像的重要视觉特征，图像的颜 (b)正态树结构 色数反映了图像色彩的复杂程度.素描是美术中最 图12种典型的SM二叉树分类结构 单纯的造型形式.广义上的素描，涵指一切单色的绘 Fig 1 Two typical binary tree based SVM classification 画.素描的颜色数相对于其他绘画作品来说比较少」 structure 于是可以采用这个特征将素描与其他风格的图片区 1.4艺术风格图像分类器设计 分出来 由于二叉树本身具有层次结构，上层节点的分 由于RGB颜色空间不直接与色调、饱和度和亮 类错误将影响整个SM分类器的性能，且在越靠近 度等人的主观感觉相对应，于是先将图像由RGB空 根节点的地方发生分类错误，对分类器整体性能的 间转换到HSV空间： 影响就越大.为了使错误累积效应”尽量降低，应 T:RGB·HSV (1) 该使出现错分率越大的尽量远离根节点 接着对HSV颜色空间进行量化，综合考虑分类 于是，遵循易划分的类先划分，不易划分的类晚 的准确度与算法的运行时间等因素，把HSV颜色空 划分的原则，提出了一种特定的针对不同艺术风格 间量化成256个颜色，即H分量量化成16个值，S和 属性图像分类的SM多类二叉树分类算法.分类器 V分量量化成4个值，具体表示为 的设计思路：先设计一些图像的分类特征，计算不同 Q:HSV→C (2) 艺术风格图像的特征值，根据不同特征值对几种风 式中：C={c1i=0.1,2.…255.G表示第种量 格图像的区分程度，进行分级分类：将能把这几类图 化颜色，由此统计每种艺术风格图像的颜色数目.实 像区分成两大类且区分程度最好的特征，作为第1验证明，该特征可以很好地区分出素描 级的分类特征，可以区分的类别作为第1级进行区 22高低灰度对比度 分的类别；依次类推，经过实验得到算法的二叉树结 通过实验观察，得到不同风格的图像具有的高 构（图2）.各层的分类器及其区分出的类别如图2 低灰度对比度不一样.高低灰度对比度，是指一幅图 所示，且每一层均采用特定的分类特征以及相应的 片在一定范围内的低灰度值的像素个数与高灰度值 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 构造 SVM二叉树可以有多种不同的方案 ,典型的有 以下 2种特殊结构 (图 1) :一种是“偏态树 ”结构 (图 1 ( a) ) ,即每个结点分类器每次只把某一类从 类集合中划分出来 ,直到所有节点都只包含一个单 独的类别 ;另一种是“正态树 ”结构 (图 1 ( b) ) ,即每 个结点分类器把类集合均划分成 2个子集合 ,直到 所有的类都划分开来. 显然 ,正态树情况下的训练时 间比偏态树情况下要短 ,而其他情况下的训练时间 则介于两者之间. 图 1 2种典型的 SVM二叉树分类结构 Fig. 1 Two typ ical binary tree based SVM classification structure 1. 4 艺术风格图像分类器设计 由于二叉树本身具有层次结构 ,上层节点的分 类错误将影响整个 SVM分类器的性能 ,且在越靠近 根节点的地方发生分类错误 ,对分类器整体性能的 影响就越大. 为了使“错误累积效应 ”尽量降低 ,应 该使出现错分率越大的尽量远离根节点. 于是 ,遵循易划分的类先划分 ,不易划分的类晚 划分的原则 ,提出了一种特定的针对不同艺术风格 属性图像分类的 SVM多类二叉树分类算法. 分类器 的设计思路 :先设计一些图像的分类特征 ,计算不同 艺术风格图像的特征值 ,根据不同特征值对几种风 格图像的区分程度 ,进行分级分类 ;将能把这几类图 像区分成两大类且区分程度最好的特征 ,作为第 1 级的分类特征 ,可以区分的类别作为第 1级进行区 分的类别 ;依次类推 ,经过实验得到算法的二叉树结 构 (图 2). 各层的分类器及其区分出的类别如图 2 所示 ,且每一层均采用特定的分类特征以及相应的 训练样本和测试集进行试验. 图 2 不同艺术风格图像分类的 SVM多类二叉树分类 Fig. 2 Binary tree based SVM multi2class classification for different artistic style images 2 分类特征选择 对图像进行分类 ,分类的准确率很大程度上取 决于从图像中提取的特征 ,于是从不同方面、不同角 度分析并提取了不同艺术风格图像的特征. 2. 1 颜色数目 图像的颜色是图像的重要视觉特征 ,图像的颜 色数反映了图像色彩的复杂程度. 素描是美术中最 单纯的造型形式. 广义上的素描 ,涵指一切单色的绘 画. 素描的颜色数相对于其他绘画作品来说比较少. 于是可以采用这个特征将素描与其他风格的图片区 分出来. 由于 RGB颜色空间不直接与色调、饱和度和亮 度等人的主观感觉相对应 ,于是先将图像由 RGB空 间转换到 HSV空间 : T: RGB → HSV. (1) 接着对 HSV颜色空间进行量化 ,综合考虑分类 的准确度与算法的运行时间等因素 ,把 HSV颜色空 间量化成 256个颜色 ,即 H分量量化成 16个值 , S和 V分量量化成 4个值 ,具体表示为 Q: HSV → C. (2) 式中 : C = { ci | i = 0, 1, 2, …, 255}. ci表示第 i种量 化颜色 ,由此统计每种艺术风格图像的颜色数目. 实 验证明 ,该特征可以很好地区分出素描. 2. 2 高低灰度对比度 通过实验观察 ,得到不同风格的图像具有的高 低灰度对比度不一样. 高低灰度对比度 ,是指一幅图 片在一定范围内的低灰度值的像素个数与高灰度值 第 2期 陈小娥 ,等 :多类 SVM在图像艺术属性分类中的应用研究 ·159·
·160 智能系统学报 第4卷 的像素个数的比值.具体计算步骤如下：将图像转换 行归一化： 为灰度图像： p(&)=h(&)/n 9) T:rgb_mage-gray_mage 3) 式中：n为图像中的像素总数，即可知p()表示饱 计算高低灰度对比度： 和度级出现的频数 #p ixels:gray mage 0 4) kx=5,人m=1,当然可根据实际情况调整参数) 式中：0、02分别为低高灰度阈值.在实验中，分别 Saturation_radio =p(s)/p(s).(10) 取60和200，当高灰度值像素个数为0时，将其自 25平滑性 动设置为1.而抑ixels gray_.mage<0,,表示满足在 水彩画的画面有清沏透明之感受.用水调色，发 图像gray_mage中灰度值小于0的像素个数.以下 挥水分的作用，滋润流畅、韵味无尽.而国画是以线 公式的意义以此类推 存形的，通过线勾出轮廓、质感、体积来运用无穷变 通过计算得到，通常情况下摄影作品和油画的 化的笔锋，发挥笔趣和墨彩，产生奇妙的效果.针对 grayratio值均大于I,而国画和水彩画的grayratio值 这些特点，可以采用图像的平滑性对这2类图像 均小于1 进行区分.其具体计算过程如下：首先，对图像R、G、 23傅里叶变换的频谱分布 B3个通道的值进行归一化 频域变换分析有着空域分析所不具备的优点， R.=R/LGn=G/IB。=B/L (11) 能够通过频域分量与纹理粗细简单的对应关系，直 式中 观而清晰地对纹理进行分析.如果图像中的目标形 I≈Q3R+Q6G+Q1B. (12) 状或排列呈现某种方向性，那么具有较高值的频谱 接着，对归一化后的各个通道图像进行33拉普拉 也呈现出与图像目标方向正交的方向性分布 斯掩模卷积.用式(13)分别求得三通道的卷积图像 而经过变换后，图像的能量主要集中在低频区 v2、72fG、72B, 域，高频区的幅值比较小.对大多数无明显颗粒噪声 又2f=[f(x+1,以+fx-1,y以+f(xy+1)+ 的图像来讲，低频区集中了85%的能量.于是通过 fx,y-1)-4fx,以1 (13) 计算图像的傅里叶变换，对变换后的幅值图像保留 最后，计算图像的平滑性。 其低频分量，舍弃高频分量.利用其低频分量作为图 soothness =[(#p ixels<)+ 像的纹理特征，以此区分各种不同风格的图像.实验 (抑ixels|又fGl<)+ 得到，摄影作品和油画的低频分量的中心值比较接 (#Pixels|72B|<)1/3 (14) 近，而国画和水彩画的低频分量的中心值比较接近. 式中：0为接近0的参数，实验中取Q001 24饱和度比值 由观察得到，油画包含的高饱和度的像素个数 3 实验与结果分析 所占的比例大于其他风格的图片，此不同点对于油 在本次实验中，所用的图像数据库由1960幅 画和摄影作品来说区别更为突出.饱和度比值]的 图像组成，其中包括摄影图片450幅，国画310幅， 计算方法如下 水彩画390幅，素描410幅，油画400幅，这些图片 首先，计算图像各个像素的饱和度值」 均从网上相应的图片库中下载.图片大小没有限制， max max(R,G.B) (5) 实验中对各个特征均作了相应的归一化处理.但是 m in m in(R,G.B), (6) 实验中的图片必须是不包含任何裱框的图片，同时 0 max =0: 不经过任何特殊的艺术化处理，且图片中不包含大 S= (7 (max m in)/max, 其他 量的文字 接着，定义饱和度直方图： 在实验中，各级支持向量机均采用RBF核函数 h(&)=m (8 K(x,y以=ep(-Y‖x·yI),其中，核参数Y取 式中：&是饱和度S在区间0,1]内的第k级饱和 4,惩罚因子取10.对于每一级的分类，将图像数据 度，n是饱和度级为s的图像中的像素数.并将其进 库中特定的图片集分为训练集和测试集，对各级训 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved http://www.cnki.net
© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 的像素个数的比值. 具体计算步骤如下 :将图像转换 为灰度图像 : T: rgb_image → gray_image. (3) 计算高低灰度对比度 : grayratio = #p ixels: gray_image θ2 . (4) 式中 : θ1、θ2 分别为低高灰度阈值. 在实验中 ,分别 取 60和 200,当高灰度值像素个数为 0时 ,将其自 动设置为 1. 而 #p ixels: gray_image <θ1 ,表示满足在 图像 gray_image中灰度值小于 θ1 的像素个数. 以下 公式的意义以此类推. 通过计算得到 ,通常情况下摄影作品和油画的 grayratio值均大于 1,而国画和水彩画的 grayratio值 均小于 1. 2. 3 傅里叶变换的频谱分布 频域变换分析有着空域分析所不具备的优点 , 能够通过频域分量与纹理粗细简单的对应关系 ,直 观而清晰地对纹理进行分析. 如果图像中的目标形 状或排列呈现某种方向性 ,那么具有较高值的频谱 也呈现出与图像目标方向正交的方向性分布. 而经过变换后 ,图像的能量主要集中在低频区 域 ,高频区的幅值比较小. 对大多数无明显颗粒噪声 的图像来讲 ,低频区集中了 85%的能量. 于是通过 计算图像的傅里叶变换 ,对变换后的幅值图像保留 其低频分量 ,舍弃高频分量. 利用其低频分量作为图 像的纹理特征 ,以此区分各种不同风格的图像. 实验 得到 ,摄影作品和油画的低频分量的中心值比较接 近 ,而国画和水彩画的低频分量的中心值比较接近. 2. 4 饱和度比值 由观察得到 ,油画包含的高饱和度的像素个数 所占的比例大于其他风格的图片 ,此不同点对于油 画和摄影作品来说区别更为突出. 饱和度比值 [ 8 ]的 计算方法如下. 首先 ,计算图像各个像素的饱和度值. max = max(R, G, B ) , (5) m in = m in (R, G, B ) , (6) S = 0, (max - m in) /max, max = 0; 其他. (7) 接着 ,定义饱和度直方图 : h (sk ) = nk . (8) 式中 : sk 是饱和度 S 在区间 [ 0, 1 ]内的第 k级饱和 度 , nk是饱和度级为 sk的图像中的像素数. 并将其进 行归一化 : p (sk ) = h (sk ) / n. (9) 式中 : n为图像中的像素总数 ,即可知 p (sk ) 表示饱 和度级 sk 出现的频数. 最后 , 计算饱和度比值 (实验中 , k 取 5, 即 kmax = 5, km in = 1,当然可根据实际情况调整参数 ) Sa tura tion_radio = p (skmax ) / p (skm in ). (10) 2. 5 平滑性 水彩画的画面有清沏透明之感受. 用水调色 ,发 挥水分的作用 ,滋润流畅、韵味无尽. 而国画是以线 存形的 ,通过线勾出轮廓、质感、体积来运用无穷变 化的笔锋 ,发挥笔趣和墨彩 ,产生奇妙的效果. 针对 这些特点 ,可以采用图像的平滑性 [ 8 ]对这 2类图像 进行区分. 其具体计算过程如下 :首先 ,对图像 R、G、 B 3个通道的值进行归一化. Rm = R / I, Gn = G / I, Bn = B / I, (11) 式中 : I≈ 0. 3R + 0. 6G + 0. 1B. (12) 接着 ,对归一化后的各个通道图像进行 3 ×3拉普拉 斯掩模卷积. 用式 (13)分别求得三通道的卷积图像 ¨ 2 fR、¨ 2 fG、¨ 2 fB , ¨ 2 f = [ f ( x + 1, y) + f ( x - 1, y) + f ( x, y + 1) + f ( x, y - 1) - 4f ( x, y) ]. (13) 最后 ,计算图像的平滑性. smoothne ss = [ ( #p ixels: | ¨ 2 fR | <θ) + ( #p ixels: | ¨ 2 fG | <θ) + ( #Pixels: | ¨ 2 fB | <θ) ] /3 (14) 式中 : θ为接近 0的参数 ,实验中取 0. 001. 3 实验与结果分析 在本次实验中 ,所用的图像数据库由 1 960幅 图像组成 ,其中包括摄影图片 450幅 ,国画 310幅 , 水彩画 390幅 ,素描 410幅 ,油画 400幅 ,这些图片 均从网上相应的图片库中下载. 图片大小没有限制 , 实验中对各个特征均作了相应的归一化处理. 但是 实验中的图片必须是不包含任何裱框的图片 ,同时 不经过任何特殊的艺术化处理 ,且图片中不包含大 量的文字. 在实验中 ,各级支持向量机均采用 RBF核函数 K ( x, y) = exp ( - γ‖x - y‖ 2 ) ,其中 ,核参数 γ取 4,惩罚因子取 10. 对于每一级的分类 ,将图像数据 库中特定的图片集分为训练集和测试集 ;对各级训 ·160· 智 能 系 统 学 报 第 4卷
第2期 陈小娥，等：多类M在图像艺术属性分类中的应用研究 161 练集分别进行训练，形成4个子分类器，并分析各个 摄影图片，(d)组为正确划分的油画，(e)组为正确 子分类器独立测试集上的准确率：再由各个子分类 划分的水彩画 器组成特定的基于不同艺术风格属性图像的基于二 叉树的SM多类分类器，从而得到一个总的分类模 型.最后，通过对总测试集的测试，分析整个分类模 型的性能及推广能力 3.1各级图像分类 第1级分类，构造分类器SM1,利用颜色数目 先将素描从5种风格的图像中区分出来.对于训练 集，在图像数据库中任取素描300幅，类标号为1； 同时，为了尽量平衡两类样本数目，其余4种风格图 (a)素描(b)国画(c)摄影 (d)油画(e)水彩画 片每种只任取其中100幅，类标号均为2，进行训 图3分类器正确划分的部分图像 练.而剩下的素描图片和其余4种风格的部分图片 Fig 3 Some correctly classified pictures 作为该级的测试集，同样素描类标号为1，其余为2 根据提取的特征，可以推断出哪些图片比较容 同理，第2级分类，构造分类器SM2,利用高 易被错分.如颜色比较单一的国画、黑白摄影图片、 低灰度对比度和傅立叶频谱把除素描外的图像分为 简单色彩的水彩画都可能被错分为素描，而油画通 摄影、油画一类和国画、水彩画一类.第3级分类，分 常情况下颜色都比较丰富，因此错分为素描的几率 类器SM31利用饱和度比值对摄影图片和油画进 就几乎为零.一些颜色比较鲜艳的摄影图片错分为 行分类，分类器SVM32利用平滑性对国画和水彩进 油画的几率会比较高一些.图4列出了一些试验中 行分类.各级具体的训练集和测试集图片数量及其 被错分的图片，其中，(a)、(b)是被错分为素描的图 分类结果等见表1 片，(c)、(d)是被错分为国画的图片，(e)、()是被 表1各级分类实验结果 错分为摄影的图片，(g)、()是被错分为油画的图 Table 1 Experin ental results of each level clssifica tion 片，()、()是被错分为水彩画的图片，而每幅图片 分类器区分类别 特征 训练集测试集查准率% 下面的小标题代表它们实际的风格 素描、其余 SVMI 颜色数目 700 51097.53 4种风格 摄影和油灰度对比度1000 5508330 (a)摄影 (c)摄影(e)素描(g)摄影(i)国画 SM2画、国画和傅里叶频谱1000 55089.00 水彩画 两特征结合1000 55091.67 SM31摄影、油画饱和度比值500 35091.46 SM32国画水彩平滑性 450 2507222 (b)水彩(d)水彩（「）油画(h)摄影(i)摄影 3.2整个分类器性能分析 图4部分被错分的图像 把图像库中除了作为训练样本外的其他图像全 Fig 4 Some wrongly classified pictures 部作为测试样本，来测试整个分类器的性能，得到分 4 结束语 类器的整体分类准确率为8556%.由于第3级分 类中水彩画和国画的分类的准确率相对比较低，因 本文提出了一个特定的针对不同艺术风格图像 而多少影响了整个分类器的性能，但又由于其处于 的分类算法并实现了相应的分类系统，在相对独立 整个分类器的最底层，所以对分类器的性能影响不 测试集上的实验以及整个分类系统的测试实验都得 是特别大.图3是得到正确划分的部分图像，包含了 到了较好的分类结果.当然，系统还存在着一些可以 各种风格的图片.其中，(a)组为正确划分的素描图 改进的地方，如进行训练试验的图像数量稍微偏少 片，(b)组为正确划分的国画，(c)组为正确划分的 了一点，以后可以多增加一些；在实验的基础上，为 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved http://www.cnki.net
© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 练集分别进行训练 ,形成 4个子分类器 ,并分析各个 子分类器独立测试集上的准确率 ;再由各个子分类 器组成特定的基于不同艺术风格属性图像的基于二 叉树的 SVM多类分类器 ,从而得到一个总的分类模 型. 最后 ,通过对总测试集的测试 ,分析整个分类模 型的性能及推广能力. 3. 1 各级图像分类 第 1级分类 ,构造分类器 SVM1,利用颜色数目 先将素描从 5种风格的图像中区分出来. 对于训练 集 ,在图像数据库中任取素描 300幅 ,类标号为 1; 同时 ,为了尽量平衡两类样本数目 ,其余 4种风格图 片每种只任取其中 100幅 ,类标号均为 2,进行训 练. 而剩下的素描图片和其余 4种风格的部分图片 作为该级的测试集 ,同样素描类标号为 1,其余为 2. 同理 ,第 2级分类 ,构造分类器 SVM2,利用高 低灰度对比度和傅立叶频谱把除素描外的图像分为 摄影、油画一类和国画、水彩画一类. 第 3级分类 ,分 类器 SVM31利用饱和度比值对摄影图片和油画进 行分类 ,分类器 SVM32利用平滑性对国画和水彩进 行分类. 各级具体的训练集和测试集图片数量及其 分类结果等见表 1. 表 1 各级分类实验结果 Table 1 Exper im en ta l results of each level cla ssifica tion 分类器 区分类别 特征 训练集 测试集 查准率 /% SVM1 素描、其余 4种风格 颜色数目 700 510 97. 53 SVM2 摄 影 和 油 画、国画和 水彩画 灰度对比度 傅里叶频谱 两特征结合 1 000 1 000 1 000 550 550 550 83. 30 89. 00 91. 67 SVM31 摄影、油画 饱和度比值 500 350 91. 46 SVM32 国画、水彩 平滑性 450 250 72. 22 3. 2 整个分类器性能分析 把图像库中除了作为训练样本外的其他图像全 部作为测试样本 ,来测试整个分类器的性能 ,得到分 类器的整体分类准确率为 85. 56%. 由于第 3级分 类中水彩画和国画的分类的准确率相对比较低 ,因 而多少影响了整个分类器的性能 ,但又由于其处于 整个分类器的最底层 ,所以对分类器的性能影响不 是特别大. 图 3是得到正确划分的部分图像 ,包含了 各种风格的图片. 其中 , ( a)组为正确划分的素描图 片 , ( b)组为正确划分的国画 , ( c)组为正确划分的 摄影图片 , ( d)组为正确划分的油画 , ( e)组为正确 划分的水彩画. 图 3 分类器正确划分的部分图像 Fig. 3 Some correctly classified p ictures 根据提取的特征 ,可以推断出哪些图片比较容 易被错分. 如颜色比较单一的国画、黑白摄影图片、 简单色彩的水彩画都可能被错分为素描 ;而油画通 常情况下颜色都比较丰富 ,因此错分为素描的几率 就几乎为零. 一些颜色比较鲜艳的摄影图片 ,错分为 油画的几率会比较高一些. 图 4列出了一些试验中 被错分的图片 ,其中 , ( a)、( b)是被错分为素描的图 片 , ( c)、( d)是被错分为国画的图片 , ( e)、( f)是被 错分为摄影的图片 , ( g)、( h)是被错分为油画的图 片 , ( i)、( j)是被错分为水彩画的图片 ,而每幅图片 下面的小标题代表它们实际的风格. 图 4 部分被错分的图像 Fig. 4 Some wrongly classified p ictures 4 结束语 本文提出了一个特定的针对不同艺术风格图像 的分类算法并实现了相应的分类系统 ,在相对独立 测试集上的实验以及整个分类系统的测试实验都得 到了较好的分类结果. 当然 ,系统还存在着一些可以 改进的地方 ,如进行训练试验的图像数量稍微偏少 了一点 ,以后可以多增加一些 ;在实验的基础上 ,为 第 2期 陈小娥 ,等 :多类 SVM在图像艺术属性分类中的应用研究 ·161·
·162· 智能系统学报 第4卷 每一级分类选择了分类效果相对比较好的相同 23(10):47-57 SM参数，今后可以结合其他算法为每一级选择最 [7付岩，王耀威，王伟强，高文.SM用于基于内容的 合适的不同的SVM参数；只提取了一二个图像特征 自然图像分类和检索[J]计算机学报，2003,26(10)： 作为每一级SM输入的分类特征，在今后的工作中 1261-1265 FU Yan,WANG Yaowei,WANG Weigiang,GAO Wen 可以尝试更多的特征以进一步提高每一级的分类准 确度，从而提高整个系统的分类性能：另外，还可以 Content-based natural mage classification and retrieval u sing SVM [J].Chinese Joumal of Camputers,2003,26 考虑加入更多风格属性的图片，如再加上遥感图片、 (10):1261-1265 文档风格的图片等，进一步完善整个分类系统， [8 CUTZU F,HAMMOUD R,LEYKN A Distinguishing 参考文献： paintings fiom phopgraphs[J].Computer Vision and m- age Understanding,2005(100):249-273. [1毛大伟，张宏，童勤业.利用不同尺度下复杂性的差异 [9边肇祺，张学工.模式识别[M]2版.北京：清华大学出 区分文字和照片[J]计算机辅助设计与图形学学报， 版社，2004：284-303 2005,17(8):1834-1838 [10 ]SANG H O,SUNCMOON C,SOO YL Support vecbor MAO Dawei,ZHANG Hong.TONG Qinye mage classifi- machines with binary tree architecture for multi-class clas- cation using Lempel-ziv comp lexity difference at different sification [J].Neural Infomation Processing Letters and scale[J ]Joumal of Computer-aided Design Computer Reviews.2004.2(3):47-51 Graphics,,2005,17(8):1834-1838 [11 JW ESION J,WATKNS C Multi-class support vecor ma- [2王上飞，王熙法.图像情感检索研究的进展与展望[J] chines[R ]Technical Report CSD-TR-98-04,Royal Hol 电路与系统学报，2005,10(4)：102110 loway,Deparment of Computer Science,University ofLon- WANG Shangfei,WANG Xufa Devebpment and prospect don,1998 on emotion mage retrieval[J ]Joumal of Circuits and Sys- [12]HSU CW,L N C J.A comparison of methods for multi- tams,2005,10(4):102-110 class support vecor machines[J].IEEE Transactions on [3 ]A TH ITSOS V,SWA N M J,FRANKEL C Distinguishing Neural Netorks,2002(13):415-425. photographs and graphics on the world wide web[C]//Proc 作者简介： IEEE Workshop on Content-Based Access of mage and Vid- 陈小娥，女，1984年生，硕士研究生 eo Libraries Puerto Rico,1997:10-17. 主要研究方向为图形图像处理技术」 [4 ]SZUMMER M,P CARD R W.Indooroutdoor mage classi- fication C ]/IEEE Intemational Workshop on Content- based Access of mage and V ideo Databases Bombay,Indi- a,1998:42-51 [5 ]VA LAYA A,JA N A,ZHANG H.On mage classifica- tion:city,vs landscape[J ]Pattem Recognition,1998,31 陈昭炯，女，1964年出生，教授，主 (12):1921-1935 要研究方向为图形图像处理与智能算 [6孟祥增，钟义信.WWW中图像的主题分类研究[J]情 法设计等.主持及参与多项国家和省级 报杂志，2004.23(10)：4757. 基金项目，已发表学术论文50余篇， MENG Xiangzeng.ZHONG Yixin Theme-based classifica- tion of mages in WWW [J].Joumal of Infomaton,2004, 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 每一级分类选择了分类效果相对比较好的相同 SVM参数 ,今后可以结合其他算法为每一级选择最 合适的不同的 SVM参数 ;只提取了一二个图像特征 作为每一级 SVM输入的分类特征 ,在今后的工作中 可以尝试更多的特征以进一步提高每一级的分类准 确度 ,从而提高整个系统的分类性能 ;另外 ,还可以 考虑加入更多风格属性的图片 ,如再加上遥感图片、 文档风格的图片等 ,进一步完善整个分类系统. 参考文献 : [ 1 ]毛大伟 ,张 宏 ,童勤业. 利用不同尺度下复杂性的差异 区分文字和照片 [J ]. 计算机辅助设计与图形学学报 , 2005, 17 (8) : 183421838. MAO Dawei, ZHANG Hong, TONG Q inye. Image classifi2 cation using Lempel2ziv comp lexity difference at different scale [ J ]. Journal of Computer2aided Design & Computer Graphics, 2005, 17 (8) : 183421838. [ 2 ]王上飞 ,王熙法. 图像情感检索研究的进展与展望 [J ]. 电路与系统学报 , 2005, 10 (4) : 1022110. WANG Shangfei, WANG Xufa. Development and p rospect on emotion image retrieval[J ]. Journal of Circuits and Sys2 tem s, 2005, 10 (4) : 1022110. [ 3 ]ATH ITSOS V, SWA IN M J, FRANKEL C. D istinguishing photographs and graphics on the world wide web[ C ] / /Proc IEEEWorkshop on Content2Based Access of Image and V id2 eo L ibraries. Puerto Rico, 1997: 10217. [ 4 ] SZUMMER M, P ICARD R W. Indoor2outdoor image classi2 fication [ C ] / / IEEE International Workshop on Content2 based Access of Image and V ideo Databases. Bombay, Indi2 a, 1998: 42251. [ 5 ]VA ILAYA A, JA IN A, ZHANG H. On image classifica2 tion: city , vs landscape [J ]. Pattern Recognition, 1998, 31 (12) : 192121935. [ 6 ]孟祥增 ,钟义信. WWW 中图像的主题分类研究 [J ]. 情 报杂志 , 2004, 23 (10) : 47257. MENG Xiangzeng, ZHONG Yixin. Theme2based classifica2 tion of images in WWW [J ]. Journal of Information, 2004, 23 (10) : 47257. [ 7 ]付 岩 ,王耀威 ,王伟强 ,高 文. SVM用于基于内容的 自然图像分类和检索 [ J ]. 计算机学报 , 2003, 26 ( 10) : 126121265. FU Yan, WANG Yaowei, WANG W eiqiang, GAO W en. Content2based natural image classification and retrieval u2 sing SVM [ J ]. Chinese Journal of Computers, 2003, 26 (10) : 126121265. [ 8 ] CUTZU F, HAMMOUD R, LEYKIN A. D istinguishing paintings from photographs[ J ]. Computer V ision and Im2 age Understanding, 2005 (100) : 2492273. [ 9 ]边肇祺 ,张学工. 模式识别 [M ]. 2版. 北京 :清华大学出 版社 , 2004: 2842303. [ 10 ] SANG H O, SUNGMOON C, SOO Y L. Support vector machines with binary tree architecture for multi2class clas2 sification [ J ]. Neural Information Processing Letters and Reviews, 2004, 2 (3) : 47251. [ 11 ]W ESTON J, WATKINS C. Multi2class support vector ma2 chines[R ] . Technical Report CSD2TR298204, Royal Hol2 loway, Department of Computer Science,University ofLon2 don, 1998. [ 12 ]HSU C W , L IN C J . A comparison of methods for multi2 class support vector machines[ J ]. IEEE Transactions on Neural Networks, 2002 (13) : 4152425. 作者简介 : 陈小娥 ,女 , 1984年生 ,硕士研究生 , 主要研究方向为图形图像处理技术. 陈昭炯 , 女 , 1964年出生 ,教授 ,主 要研究方向为图形图像处理与智能算 法设计等. 主持及参与多项国家和省级 基金项目 ,已发表学术论文 50余篇. ·162· 智 能 系 统 学 报 第 4卷