第4卷第2期 智能系统学报 Vol 4 Ng 2 2009年4月 CAA I Transactions on Intelligent System s Apr 2009 海量视频数据标引平台的设计和开发 张博张勇，朱义，邢春晓 (清华大学信息技术研究院，北京100084) 摘要：就海量视频数据进行标引的方法进行了阐述，对元数据、Dublin Cor心OAS进行了分析.通过研究这些技术 在视频挖掘中所具有的优势，提出了一种海量视频数据标引平台的体系结构并实现了相关的功能模块，并对视频数 据的搜索提出了一个基于标引的解决方法.实验结果证明，该平台可为互联网视频搜索的发展提供更加快捷、方便、 准确的标引和检索模式，有效降低了用户获取相关视频数据的时间. 关键词：数据挖掘；标引；都柏林核心元数据集；元数据，开放归档信息系统 中图分类号：TP31文献标识码：A文章编号：1673-4785(2009)020107-05 Research and development of a massive video da ta indexing ZHANG Bo,ZHANG Yong,ZHU Yi,XNG Chun-xiao (Research Institute of Infomaton Technobgy,Tsinghua University,Beijing 100084,China) Abstract:This paper describes indexing methods for massive video data It analyzes metadata,Dublin Core,and the open archival infomation system (OA IS)in detail To app ly these technobgical advances to video m ining,we suggested a platom for massive video data indexing and the relevant functionalmodules were established Further more,a solution for video searches based on indexing was proposed It was proven by experments that this plat fom,with itsmore detailed and convenient indexing approach,would be a great help to the development of Inter- net video searches by effectively saving users'tme and energy in the search for valuable data Keywords:data m ining indexing Dublin core;metadata;open archival infomation system(OA IS) 世界已经进入一个信息化、高速化的阶段，流媒研究.首先，对于视频海量数据，如果是MPEG7标 体已经越来越广泛地在日常生活中得到应用，互联准的，那么在文件的头部可以获得一些关于视频内 网上视频类文件呈现直线上升态势.2009年1月，容的描述性信息，通过元数据抽取，然后针对视频元 中国互联网络信息中心(CNNC)发布的《第21次 数据进行详细标引.如果是非MPEG7标准的，可以 中国互联网络发展状况统计报告》显示：网络视频直接对相关的元数据进行标引.这样，将基本的视频 用户相比2007年底净增4000多万用户，达到文件元数据信息储存至数据库」 202亿).随着网民数量的不断增加，更多的用户 1相关技术和知识 喜好在互联网上收看视频类文件.但随即出现了需 要考虑的问题，视频文件不同于文本文件，可以直接 11数据挖掘 搜索查找，对于视频文件，搜索起来是相当困难的. 数据挖掘(data m ining),又称为数据库中的知 为了解决这个问题，对这个问题进行了详细的 识发现(knowledge discovery in database,KDD),就 是从大量的、不完全的、有噪声的模糊的、随机的实 收稿日期：2008-12-16 际应用数据中，提取隐含在其中的、人们事先不知 基金项目：因家“863计划资助项目(2009A401Z143):铁道部清华 大学科研计划资助项目(J2008X009). 道的，但又是潜在有用的信息和知识的过程2] 通信作者：张博.Emai止hackfy@163.cam 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.htp://ww.cnki.net© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 第 4卷第 2期 智 能 系 统 学 报 Vol. 4 №. 2 2009年 4月 CAA I Transactions on Intelligent System s Ap r. 2009 海量视频数据标引平台的设计和开发 张 博 ,张 勇 ,朱 义 ,邢春晓 (清华大学 信息技术研究院 , 北京 100084) 摘 要 :就海量视频数据进行标引的方法进行了阐述 ,对元数据、Dublin Core、OA IS进行了分析. 通过研究这些技术 在视频挖掘中所具有的优势 ,提出了一种海量视频数据标引平台的体系结构并实现了相关的功能模块 ,并对视频数 据的搜索提出了一个基于标引的解决方法. 实验结果证明 ,该平台可为互联网视频搜索的发展提供更加快捷、方便、 准确的标引和检索模式 ,有效降低了用户获取相关视频数据的时间. 关键词 :数据挖掘 ;标引 ;都柏林核心元数据集 ;元数据 ;开放归档信息系统 中图分类号 : TP31 文献标识码 : A 文章编号 : 167324785 (2009) 0220107205 Research and development of a massive video data indexing ZHANG Bo, ZHANG Yong, ZHU Yi, X ING Chun2xiao (Research Institute of Information Technology, Tsinghua University, Beijing 100084, China) Abstract: This paper describes indexing methods for massive video data. It analyzes metadata, Dublin Core, and the open archival information system (OA IS) in detail. To app ly these technological advances to video m ining, we suggested a p latform formassive video data indexing and the relevant functionalmoduleswere established. Further2 more, a solution for video searches based on indexing was p roposed. It was p roven by experiments that this p lat2 form, with its more detailed and convenient indexing app roach, would be a great help to the development of Inter2 net video searches by effectively saving users’time and energy in the search for valuable data. Keywords: data m ining; indexing; Dublin core; metadata; open archival information system (OA IS) 收稿日期 : 2008212216. 基金项目 :国家“863”计划资助项目 (2009AA01Z143) ;铁道部 —清华 大学科研计划资助项目 (J2008X009). 通信作者 :张 博. E2mail: hackfly@163. com. 世界已经进入一个信息化、高速化的阶段 ,流媒 体已经越来越广泛地在日常生活中得到应用 ,互联 网上视频类文件呈现直线上升态势. 2009年 1月 , 中国互联网络信息中心 (CNN IC)发布的《第 21次 中国互联网络发展状况统计报告 》显示 :网络视频 用户相比 2007 年底净增 4 000 多万用户 , 达到 2. 02亿 [ 1 ] . 随着网民数量的不断增加 ,更多的用户 喜好在互联网上收看视频类文件. 但随即出现了需 要考虑的问题 ,视频文件不同于文本文件 ,可以直接 搜索查找 ,对于视频文件 ,搜索起来是相当困难的. 为了解决这个问题 ,对这个问题进行了详细的 研究. 首先 ,对于视频海量数据 ,如果是 MPEG7标 准的 ,那么在文件的头部可以获得一些关于视频内 容的描述性信息 ,通过元数据抽取 ,然后针对视频元 数据进行详细标引. 如果是非 MPEG7标准的 ,可以 直接对相关的元数据进行标引. 这样 ,将基本的视频 文件元数据信息储存至数据库. 1 相关技术和知识 1. 1 数据挖掘 数据挖掘 ( data m ining) ,又称为数据库中的知 识发现 ( knowledge discovery in database, KDD ) ,就 是从大量的、不完全的、有噪声的、模糊的、随机的实 际应用数据中 , 提取隐含在其中的、人们事先不知 道的 ,但又是潜在有用的信息和知识的过程 [ 2 ]