正在加载图片...
孟小峰等:大数据管理:概念、技术与挑战 151 以作者为中心来展示多学科中文文献的集成数据库取和集成,一直到最终的结果展示, ScholarSpace完 系统.该系统已经从最初的计算机领域扩展到包括整地体现出大数据处理的一般流程.在其基础上我 经济、法律等人文社会科学在内的多领域,从数据抽们归纳出大数据的基本流程,如图3所示 Visualization ata provenance Interaction Recommendation Analysis ----1 (Data Mining)(Statistics ociated Data Schema and Integration Data Integration Data Extraction Semi-Structured Unstructured L Fig, 3 Basic framework of big data processing 图3大数据处理基本流程 整个大数据的处理流程可以定义为在合适工具 数据抽取和集成技术不是一项全新的技术,传 的辅助下,对广泛异构的数据源进行抽取和集成,结统数据库领域已对此问题有了比较成熟的研究.随 果按照一定的标准统一存储.利用合适的数据分析着新的数据源的涌现,数据集成方法也在不断的发 技术对存储的数据进行分析,从中提取有益的知识展之中从数据集成模型来看,现有的数据抽取与集 并利用恰当的方式将结果展现给终端用户.具体来说成方式可以大致分为以下4种类型:基于物化或 可以分为数据抽取与集成、数据分析以及数据解释.ETL方法的引擎( materialization or ETL engine)、基 2.2.1数据抽取与集成 于联邦数据库或中间件方法的引擎( federation engine 大数据的一个重要特点就是多样性,这就意味 or mediator)、基于数据流方法的引擎( stream engine) 着数据来源极其广泛,数据类型极为繁杂,这种复杂及基于搜索引擎的方法( search engine) 的数据环境给大数据的处理带来极大的挑战.要想2.2.2数据分析 处理大数据,首先必须对所需数据源的数据进行抽 数据分析是整个大数据处理流程的核心,因为 取和集成,从中提取出关系和实体,经过关联和聚合大数据的价值产生于分析过程.从异构数据源抽取 之后采用统一定义的结构来存储这些数据.在数据和集成的数据构成了数据分析的原始数据.根据不 集成和提取时需要对数据进行清洗,保证数据质量同应用的需求可以从这些数据中选择全部或部分进 及可信性.同时还要特别注意前面提及的大数据时行分析.传统的分析技术如数据挖掘、机器学习、统 代模式和数据的关系,大数据时代的数据往往是先有计分析等在大数据时代需要作出调整,因为这些技 数据再有模式,且模式是在不断的动态演化之中的.术在大数据时代面临着一些新的挑战,主要有EfÃR3Ox(n.-3OOçOÇÊef{ (zKÌ(zvwÅJO!"#ÁÂè(yÿé wð(êb4OHö-.nOnÁÂ$Åef <rÇÊ$yiOvå($"<=/431"73<9Ë UoT]6efÑÀOàÒÓKn/|ò ]st6efO/iÒÓ$ý¨(i# VMJK( W3;M<51369O/1R/5QMJ>38371/<9;;M2JK ¨( 6efÑÀ/iÒÓ U'6efOÑÀÒÓE¤¥RnÇÔ{ O56§$|}ïOefÞçè<rÇÊ$v åßë¤O»z\
K"æÇÔOefÏÐ ;<\
OefçèÏÐ$Å3Ô<k%O½[ "æì´OXYÛvå(]©iíæKTx¸ EÏRef<&ÇÊ(efÏÐE^ef¨WK 'K'K$ ef<&ÇÊ 6efO'º³ù&ón»$9Zb DefxÞ¤|}$eféV¤Rý\$9ùl\ Oef45©6efOÑÀàx¤6O¯°K³Õ ÑÀ6ef$wxºîiªefÞOefçè <rÇÊ$Å3Ô<(r¼T$wRarïÇ ô>;æz¤¥Ovx\
9®efKnef ÇÊrÔ<uª³efçèðñ$òóefq ^>»KCuø³ùúZh«Ô^O6efu SYrefO($6efuSOefóxk efQkY$$YónZ[O¤ôØäô3OK ef<rÇÊ;<Zó1×UO;<$V zef{ÁÂvBkÊõO$%KC DUOefÞO\]$efÇÊX4nZ[O' (ô3KÅefÇÊVx$]kOef<&Ç ÊXYE6íÏRE§BùéV+'C,#/L`ä T,GXOö÷!63891M34MP38M/2/1T,G92JM29"(/ Laøef{3¢ÁXOö÷!59>9138M/292JM29 /169>M38/1"(/LefÒXOö÷!;8193692JM29" ^/LùLö÷OX!;931<=92JM29"K 'K'K' efÏÐ efÏÐóU'6efÑÀÒÓOÔO$R 6efOµ¶LÏÐRÓKÅïefÞ< rÇÊOefÊefÏÐOefKîfZ CåæOªSEÅ9®ef3*å×úúÏç èÏÐKVzOÏÐ;<ýefÙÚ(#¦.û(z !ÏÐbn6efuSª³füU$R9®; <n6efuS«¬D®UO¯°$²³k# ûòüb#6ef¿À#jk(;<&¯° $A$