°柝:发2301-1007:44 大数据管理:概念、技术与挑战 孟小峰慈祥 (中国人民大学信息学院北京100872) (ximeng ruc. edu. cn) Big Data Management Concepts, Techniques and Challenges Meng xiaofeng and Ci Xiang (School of In formation, Renmin University of China, Beijing 100872) Abstract Data type and amount in human society is growing in amazing speed which is caused by emerging new services such as cloud computing, internet of things and social network, the era of bi data has come. Data has been fundamental resource from simple dealing object, and how to manage and utilize big data better has attracted much attention. Evolution or revolution on database research for big data is a problem. This paper discusses the concept of big data, and surveys its state of the art. The framework of big data is described and key techniques are studied. Finally some new challenges in the future are summarized Key words big data data analysis cloud computing 摘要云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增 长,大数据时代正式到来,数据从简单的处理对象开始转变为一种基础性资源,如何更好地管理和利用 大敏据已经成为普遍关注的话題.大数据的规模效应给数据存储、管理以及敏据分析带来了极大的挑 战,数据管理方式上的变革正在酝酿和发生,对大数据的基本概念进行剖析,并对大数据的主要应用作 简单对比在此基础上,阐述大数据处理的基本框架,并就云计算技术对于大数据时代数据管理所产生 的作用进行分析.最后归纳总结大数据时代所面临的新挑战 关键词大数据;数据分析;云计算 中图法分类号TP31 随着以博客、社交网络、基于位置的服务 LBS and society"t2,阐述了在数据驱动的研究背景下 为代表的新型信息发布方式的不断涌现,以及云计解决大数据问题所需的技术以及面临的一些挑战 算、物联网等技术的兴起,数据正以前所未有的速度《 Science》在2011年2月推出专刊“ Dealing with 在不断地增长和累积,大数据时代已经来到学术Datn1,主要围绕着科学研究中大数据的问题展 界、工业界甚至于政府机构都已经开始密切关注大开讨论,说明大数据对于科学研究的重要性.美国 数据问题,并对其产生浓厚的兴趣.就学术界而言,一些知名的数据管理领域的专家学者则从专业的研 《 Nature》早在2008年就推出了 Big data专刊.计究角度出发,联合发布了一份白皮书《 challenges 算社区联盟( Computing Community Consortium) and Opportunities with Big Data》.该白皮书从学 在2008年发表了报告“ Big data computing: Creating术的角度出发介绍了大数据的产生,分析了大数据 revolutionary breakthroughs in commerce, scIence,的处理流程,并提出大数据所面临的若干挑战. 收稿日期:2012-11-30;修回日期:2012-12-04 基金项目:国家自然科学基金项目(61070055,91024032,91124001,60833005);中国人民大学科学研究基金项目(11XNL010);国家“八六三” 高技术研究发展计划基金项目(2012AA010701)书 ! " # $ % & ' ( !""#$%%%&$'()!*#$$&$+++!,- ./01234/5*/670891:9;931<=32>?9@94/76928 A%!$"#$BC$C)$'%$( !"#$#'%$'D$$D(%%%&#$#'%$'D$'D%B '()*#)*+,-./012!C$%+%%AA$)$%'B%('$)$$'B%%$$C%E((%%A"%3)456.-.$%/012!$$F#G%$%"%)*&789' :;<$%'(!=/012!'%$'HH%$%+%$" +,-./!01"23456 !"# $ % !3)456.>?.@ AB $%%E+'" !I5692J"10<K9>0K<2" !"#$%&%'%(%#)*)(&#+,(-).&/$0)-1("23)/%(4+1%55)(#)/ L92JFM3/592J32>*MFM32J !!"#$$%$&'(&$)*+,-$($./(*-(0(-1/)2-,3$&4#-(+$5/-6-(7$%%E+'" 67/&8%-& ?3838N7932>36/028M2=0632;/<M98NM;J1/OM2JM2363PM2J;799>O=M<=M;<30;9>QN 9691JM2J29O;91@M<9;;0<=3;<4/0></6708M2J$M2891298/58=M2J;32>;/<M34298O/1R$8=9913/5QMJ >383=3;</69K?383=3;Q992502>369283419;/01<951/6;M6749>934M2J/QS9<8$32>=/O8/6323J9 32>08M4MP9QMJ>383Q98891=3;38813<89>60<=388928M/2KT@/408M/2/119@/408M/2/2>383Q3;919;931<= 5/1QMJ>383M;371/Q496K,=M;73791>M;<0;;9;8=9</2<978/5QMJ>383$32>;01@9N;M8;;8389/58=9 318K,=951369O/1R/5QMJ>383M;>9;<1MQ9>32>R9N89<=2MU09;319;80>M9>KVM2344N;/6929O <=34492J9;M28=9508019319;06631MP9>K 9):;,84/ QMJ>383%>3833234N;M;%<4/0></6708M2J 7 8 !"#!$%&!'(&)*+,-./012'34567289:;<=>?@4ABC D"E56FG;HIJK56KLM4NOPQRSTUVW7XYZ[\"]^_`abO8cd E56efgVhijk4lmKE5649:nop56qr!bO<s56tuvJwxE4y z"56bO{H|4U};~€8‚KPE564Xƒ„…†‡ˆu"‰PE564Š‹odŒ LMPK~ŽXY|"E56NO4Xƒ‘’"‰!"#•PE56FG56bO>‚ 4Œd†‡tuK™š›œE56FG>žŸ4+yzK 9:; E56#56tu#!"# <=>?@A ,-($$ CDEFG(HIJK(/LMNOPQ GW" RSTOUV>?'WXYOZ[\]$E^_! "(`aJb;<Ocd$efgEhijkOlm nZ[opqrst$6efuSvwxyK.< z({|z}~L€#‚vwƒ„…†‡ˆ6 ef‰Š$‹ŒŽ‘Oc’K.<z•$ )#38019*n'%%E™šWMJ?383›œ+$, K! "H  a ž !*/6708M2J*/6602M8N*/2;/18M06" n'%%E'TšŸ &WMJ>383</6708M2J#*1938M2J 19@/408M/231NQ193R8=1/0J=;M2</6691<9$;<M92<9$ 32>;/<M98N'+',$¡¢šnef£¤O$%¥¦§$ ¨©6ef‰ŠiªO;<E^«¬O­®¯°K )"<M92<9*n '%$$ ' ± ™ › œ &?934M2J OM8= ?383'+(,$²³´µD-.$%36efO‰Š( ƒ¶·$¸¹6efŒL-.$%Oº³»K¼) ­®½¾Oef¿ÀÁÂO›*.ÃÄś|O$ %Æm ™ '$a Ç ' W š ­ È É Ê Ë )*=34492J9; 32>X77/1802M8M9;OM8=WMJ?383*+B, KÌÉÊËÅ. <OÆm™'ÍΚ6efOŽ$ÏК6ef OÑÀÒÓ$‹Ô™6efi«¬OÕÖ¯°K 网络出版时间：2013-01-10 07:44 网络出版地址：http://www.cnki.net/kcms/detail/11.1777.TP.20130110.0744.001.html