信息检索与数据挖掘 2019/5/15 1 5月21日12：00前，提交文献阅读相关素材 6月3日12：00前，提交实验报告及相关素材 信息检索与数据挖掘 图像分类的算法思想 5月15日，第13章多媒体信息检索 5月20日，复习 5月22日，同学们文献阅读报告 5月27日，同学们文献阅读报告 6月3日，期末考试【暂定】
信息检索与数据挖掘 2019/5/15 1 信息检索与数据挖掘 图像分类的算法思想 5月15日，第13章 多媒体信息检索 5月20日，复习 5月22日，同学们文献阅读报告 5月27日，同学们文献阅读报告 6月3日，期末考试【暂定】 5月21日12:00前，提交文献阅读相关素材 6月3日12:00前，提交实验报告及相关素材
信息检索与数据挖掘 2019/5/15 3 引言：多媒体检索示例 微软识花：精细物体识别是怎么做到的 “微软识花 “app的开发是微软亚洲研究院和 微软亚洲研究院 2016年9月28日 中国科学院植物研究所多年来学术合作的成果。 中科院植物所不仅提供了260 万张花卉的识别图片，还提供 了经过专家鉴定的中国常见花 列表。而微软亚洲研究院的研 究员们利用先进的技术开发出 识别花卉的算法，并把识别结 果挑选出来，经植物所专家鉴 定。经过了两三次迭代的过程 ,才得到了最终训练机器识别 的样本集合。 http://www.msra.cn/zh-cn/news/features/flower-recognition-20160928.aspx
信息检索与数据挖掘 2019/5/15 3 引言：多媒体检索示例 微软识花：精细物体识别是怎么做到的 http://www.msra.cn/zh-cn/news/features/flower-recognition-20160928.aspx 微软亚洲研究院 2016年9月28日 “微软识花 “app的开发是微软亚洲研究院和 中国科学院植物研究所多年来学术合作的成果。 中科院植物所不仅提供了260 万张花卉的识别图片，还提供 了经过专家鉴定的中国常见花 列表。而微软亚洲研究院的研 究员们利用先进的技术开发出 识别花卉的算法，并把识别结 果挑选出来，经植物所专家鉴 定。经过了两三次迭代的过程 ，才得到了最终训练机器识别 的样本集合
信息检索与数据挖掘 2019/5/15 4 引言：从文本检索→图像检索 。Term→Feature:图像的表示？ 原始查询 查询表示 文档表示 原始文档 相关度计算 ·Bag of Words→Bag of Features Object Bag-of-words
信息检索与数据挖掘 2019/5/15 4 引言：从文本检索图像检索 • TermFeature: 图像的表示？ • Bag of Words Bag of Features
信息检索与数据挖掘 2019/5/15 5 词袋(Bag of words)模型 ·不考虑词在文档中出现的顺序 John is quicker than Mary Mary is quicker than John are的表示结果一样 ·在某种意思上说，这种表示方法是一种“倒退”， 因为位置索引中能够区分上述两篇文档 研表究明，汉字的亭顺并不 然而，词袋模 定一能景影阅响读，tt如当你 型是有效的！ 看完这句话后，才发这现里 的字全是3乱的
信息检索与数据挖掘 2019/5/15 5 词袋(Bag of words)模型 • 不考虑词在文档中出现的顺序 • John is quicker than Mary 及 Mary is quicker than John are 的表示结果一样 • 在某种意思上说，这种表示方法是一种“倒退”， 因为位置索引中能够区分上述两篇文档 然而，词袋模 型是有效的！
信息检索与数据挖掘 2019/5/15 6 引言： 感知鸿沟(Sensory Gap)/语义鸿沟(Sematic Gap) (1)感知鸿沟是指真实世界的物体和从该物体场景对应的图像 中提取的描述信息之间的鸿沟； (2)语义鸿沟是指人们从视觉数据中所能提取到的信息和某个 用户在特定情况下对相同数据的描述缺乏一致性。 元数 纹理 颜色 机器 学习 据 最重要的 形状 相关 事实上的 视觉特征 反 工业标准 感知鸿沟 语义鸿沟 Saliency and Similarity Detection for Image Scene Analysis 清华大学博士论文《图像内容的显著性与相似性研究》，程明明，2012 http://mmcheng.net/
信息检索与数据挖掘 2019/5/15 6 引言： 感知鸿沟(Sensory Gap) /语义鸿沟(Sematic Gap) Saliency and Similarity Detection for Image Scene Analysis 清华大学博士论文《图像内容的显著性与相似性研究》，程明明，2012 http://mmcheng.net/ (1) 感知鸿沟是指真实世界的物体和从该物体场景对应的图像 中提取的描述信息之间的鸿沟； (2) 语义鸿沟是指人们从视觉数据中所能提取到的信息和某个 用户在特定情况下对相同数据的描述缺乏一致性
信息检索与数据挖掘 2019/5/15 7 引言： 传统图像分类与识别系统基本结构 分类器参数学习（训练) 训练图类别标签 hl J 特征提取与图像表示 监督式分类器训练 分类器参数（判别函数） 特征提取与图像表示 分类器 场景标签 特征矢量
信息检索与数据挖掘 2019/5/15 7 引言： 传统图像分类与识别系统基本结构 特征提取与图像表示 分类器 特征矢量 场景标签 特征提取与图像表示 监督式分类器训练 训练图类别标签 分类器参数（判别函数） 分类器参数学习（训练）
信息检索与数据挖掘 2019/5/15 8 图像分类的算法思想 传统图像分类方法包 从文本分类→图像分类 含两部分工作：特征 。如何从图像中获取全局特征？ 提取，分类器设计。 ·颜色特征、纹理特征、形状特征 关于分类器在课程前 ·如何从图像中获取局部特征？ 面章节已有充分的讨 SIFT:Scale-invariant feature transform 论。 图像分类的几个发展阶段 。Low-level Modelling 。 Semantic Modelling 。 Sparse Coding 。Deep Learning
信息检索与数据挖掘 2019/5/15 8 图像分类的算法思想 •从文本分类图像分类 • 如何从图像中获取全局特征？ • 颜色特征、纹理特征、形状特征 • 如何从图像中获取局部特征？ • SIFT: Scale-invariant feature transform •图像分类的几个发展阶段 • Low-level Modelling • Semantic Modelling • Sparse Coding • Deep Learning 传统图像分类方法包 含两部分工作：特征 提取，分类器设计。 关于分类器在课程前 面章节已有充分的讨 论
信息检索与数据挖掘 2019/5/15 9 图像分类的算法思想 ·从文本分类→图像分类 ·如何从图像中获取全局特征？ ·颜色特征、纹理特征、形状特征 ·如何从图像中获取局部特征？ SIFT:Scale-invariant feature transform 图像分类的几个发展阶段 。Low-level Modelling 。 Semantic Modelling ·Sparse Coding ·Deep Learning
信息检索与数据挖掘 2019/5/15 9 图像分类的算法思想 •从文本分类图像分类 • 如何从图像中获取全局特征？ • 颜色特征、纹理特征、形状特征 • 如何从图像中获取局部特征？ • SIFT: Scale-invariant feature transform •图像分类的几个发展阶段 • Low-level Modelling • Semantic Modelling • Sparse Coding • Deep Learning
信息检索与数据挖掘 2019/5/15 10 颜色(Color)特征 将图像区域做了进一步分割，原来的单一直方图 变为了多个小区域直方图的联合 分块直方图 内容不同的图可能具有相似的直方图 将图像分成不重叠（或重叠）的子区域，对每一个子 区域单独提取颜色直方图，然后将各子区域的短直方 图按固定顺序连接成一个长直方图作为目标特征
信息检索与数据挖掘 2019/5/15 10 颜色(Color)特征 分块直方图 内容不同的图可能具有相似的直方图 将图像分成不重叠（或重叠）的子区域，对每一个子 区域单独提取颜色直方图，然后将各子区域的短直方 图按固定顺序连接成一个长直方图作为目标特征。 将图像区域做了进一步分割，原来的单一直方图 变为了多个小区域直方图的联合 …
信息检索与数据挖掘 2019/5/15 11 颜色(Color)特征 变换域：Oliva和Torralba所提gist图像全局特征 Natural scenes 0.1 c/p ELAf,21S]Y「，(0)/f-a0 .I c/p 极坐标形式的傅立叶 0.1 c/p 变换：不同类别图像 Man-made scenes 0.1cp 显示出明显的差异性 ⊙ 对输入图像进行预滤波，采用离散傅立 Natural River and Forest Mountain Beach Coast object waterfall 叶变换和加窗傅立叶变换来提取输入图 像的全局特征信息。 Man-made Portrait Indoor High City-view Highway object scene building Oliva,A.and A.Torralba(2001)."Modeling the Shape of the Scene:A Holistic Representation of the Spatial Envelope."International Journal of Computer Vision 42(3). 2015.05 Google cited:3020
信息检索与数据挖掘 2019/5/15 11 颜色(Color)特征 变换域：Oliva和Torralba所提gist图像全局特征 对输入图像进行预滤波，采用离散傅立 叶变换和加窗傅立叶变换来提取输入图 像的全局特征信息。 Oliva, A. and A. Torralba (2001). "Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope." International Journal of Computer Vision 42(3). 2015.05 Google cited: 3020 极坐标形式的傅立叶 变换：不同类别图像 显示出明显的差异性