孟小峰等:大数据管理:概念、技术与挑战 147 全球知名的咨询公司麦肯锡( McKinsey)2011来看,它表示数据规模的庞大但是仅仅数量上的庞 年6月份发布了一份关于大数据的详尽报告“Bg大显然无法看出大数据这一概念和以往的“海量数 data: The next frontier for innovation, competition,据”( massive data)、“超大规模数据”( very large d productivity5,对大数据的影响、关键技术和data)等概念之间有何区别.对于大数据尚未有一个 应用领域等都进行了详尽的分析.进入2012年以公认的定义,不同的定义基本是从大数据的特征出 来,大数据的关注度与日俱增.1月份的达沃斯世界发,通过这些特征的闸述和归纳试图给出其定义,在 经济论坛上,大数据是主题之一,该次会议还特别针这些定义中,比较有代表性的是3V定义10,即认为 对大数据发布了报告“ Big data, big impact:New大数据需满足3个特点:规模性( volume)、多样性 possibilities for international development",探讨( variety)和高速性( velocity).除此之外,还有提出 了新的数据产生方式下,如何更好地利用数据来产4V定义的,即尝试在3V的基础上增加一个新的特 生良好的社会效益.该报告重点关注了个人产生的性.关于第4个Ⅴ的说法并不统一,国际数据公司 移动数据与其他数据的融合与利用.3月份美国奥 International Data Corporation,IDC)认为大数据 巴马政府发布了“大数据研究和发展倡议”(Big还应当具有价值性( value),大数据的价值往往呈 data research and development initiative),投资2亿现出稀疏性的特点.而IBM认为大数据必然具有真 以上美元,正式启动“大数据发展计划”计划在科实性( veracity)12].维基百科对大数据的定义[1则 学研究、环境、生物医学等领域利用大数据技术进简单明了:大数据是指利用常用软件工具捕获、管理 行突破.奥巴马政府的这一计划被视为美国政府和处理数据所耗时间超过可容忍时间的数据集 继信息高速公路( Information Highway)计划之后 眼下在大数据定义问题上很难达成一个完全的 在信息科学领域的又一重大举措.与此同时,联合共识,这点和云计算的概念刚提出时的情况是相似 国一个名为“ Global pulse”的倡议项目在今年5月的.在面对实际问题时,不必过度地拘泥于具体的定 发布报告“ Big data for development: Challenges8.义之中,在把握3V定义的基础上适当地考虑4V特 opportunities,该报告主要阐述大数据时代各国性即可 特别是发展中国家在面临数据洪流( data deluge)的1.2从数据库( database,DB)到大数据( big data, 情况下所遇到的机遇与挑战,同时还对大数据的应 BD) 用进行了初步的解读.《纽约时报》的文章“ The age 从数据库到大数据,看似只是一个简单的技术 of big data”t则通过主流媒体的宣传使普通民众开演进,但细细考究不难发现两者有着本质上的差别 始意识到大数据的存在,以及大数据对于人们日常大数据的出现必将颠覆传统的数据管理方式.在数 生活的影响 据来源、数据处理方式和数据思维等方面都会对其 大数据的火热并不意味着对于大数据的了解深带来革命性的变化 入,反而表明大数据存在过度炒作的危险.大数据的如果要用简单的方式来比较传统的数据库和大 基本概念、关键技术以及对其利用上均存在很多的数据的区别,我们认为“池塘捕鱼”和“大海捕鱼”是 疑问和争议.本文从大数据问题背后的本质出发,对个很好的类比.“池塘捕鱼”代表着传统数据库时代 现有的大数据研究资料进行全面的归纳和总结.首的数据管理方式,而“大海捕鱼”则对应着大数据时 先简要介绍大数据的基本概念,阐述其同传统数据代的数据管理方式,“鱼”是待处理的数据.“捕鱼”环 库的区别.在此基础上,对大数据处理框架进行详细境条件的变化导致了“捕鱼”方式的根本性差异.这 解析.我们认为大数据的发展离不开云计算技术,云些差异主要体现在如下几个方面 计算支撑着大数据存储、管理以及数据分析等.因此 1)数据规模.“池塘”和“大海”最容易发现的区 本文展开介绍了大数据时代不可或缺的云计算技术别就是规模.“池塘”规模相对较小,即便是先前认为 和工具.最后全面阐述大数据时代面临的新挑战.比较大的“池塘”,譬如ⅥLDB( very large database), 和“大海”XLDB( extremely large database)相比仍旧偏 1大数据的基本概念、来源与应用 小.“池塘”的处理对象通常以MB为基本单位,而“大 海”则常常以GB,甚至是TB,PB为基本处理单位 1.1大数据的基本概念 2)数据类型.过去的“池塘”中,数据的种类单 大数据本身是一个比较抽象的概念,单从字面 ,往往仅仅有一种或少数几种,这些数据又以结构×ؽ¾OÙÚÛÜÝÞß!L<YM2;9N"'%$$ C±È'Wš­È‡L6efOà០&WMJ >383#,=929I851/28M915/1M22/@38M/2$</6798M8M/2$ 32>71/>0<8M@M8N'+A,$Œ6efOâã(‡ä;<r åæÁÂb‚çèšàáOÏÐKçé'%$'E x$6efO‡ˆm&êëpK$±ÈOìíîïz wð·ñò$6efó²Šô­$Ìõö÷øùúû Œ6ef'WšŸ &WMJ>383$QMJM673<8##9O 7/;;MQM4M8M9;5/1M2891238M/234>9@94/76928'+C,$ü¶ šUOefŽXY§$ýþÿ!o"æefxŽ #!OHö$%K̟ º&‡ˆš'4ŽO (¤ef&)efO*Ç&"æK(±È¼)+ ,-€'Wš&6ef$%r'(.÷'++,!WMJ >38319;931<=32>>9@94/76928M2M8M38M@9"$/0'1 Eò¼2$gY3¤&6ef'(!='K!=n- .$%(45(`6.bÁÂ"æ6ef;<ç è78K+, -  € O 9 ­ ! = : ; R ¼ )  € <>? : l Û =!!25/1638M/2ZMJ=O3N"! = ô > n>?-.ÁÂO?­º6@AK&BCu$aÇ )­'¾R&[4/Q34-04;9'O.÷12nDA± 'WŸ &WMJ>3835/1>9@94/76928#*=34492J9;\ /77/1802M8M9;'+E,$̟ ²³¡¢6efuSE) ùúó'(3)*n«¬efFÒ!>383>940J9"O GH§iIyO#I&¯°$CuøŒ6efOå æçèšJKO¨LK)MNuŸ*OOP&,=93J9 /5QMJ>383'+),ÄQR²ÒSTOUVWXQ5Yƒ „Z[y6efO\n$E^6efŒL4]ê^ _OâãK 6efO`a‹ZZbDŒL6efOš¨c é$dT¹6ef\nRmefOghK6efO /ijk(‡ä;<E^Œ"æòl\nmnO o‰rp÷KiOÅ6ef‰Š¥>Oiq™'$Œ ]kO6ef$%0rçè׫OstruvKw xy³ÍÎ6efO/ijk$¡¢CVzef {OúKnB/|ò$Œ6efÑÀ}~çèà ¨ÐK€]R6efO'(‚Zƒ_!";<$_ !"ƒ„D6ef\…(¿ÀE^efÏÐbK†B iO(ƒÍΚ6efuSZ‡ˆ‰O_!";< r{ŠK‹>׫¡¢6efuS«¬OU¯°K < +,-B'C01"DE4FG <=< +,-B'C01 6efiŒó­'ŽOjk$‘Å’« x$T•efO6K™óšše›òO 6œ,ž™6ef9­jkrEŸO& ›e f'!63;;M@9>383"(&¡ 6 e f'!@91N431J9 >383"bjkô¢kþúKŒL6ef£jk­' ہO¤¥$ZCO¤¥/ióÅ6efOù¦™ '$QR9®ù¦O¡¢rst§¨©™¤¥Kn 9®¤¥3$ŽkST»Oó(] ¤¥+$%,$ªR 6efª«¬('ù&#»!@/4069"(n­» !@31M98N"r:l»!@94/<M8N"K®Bô¯$økԙ B] ¤¥O$ª°§n(] O/|òp±­'UOù »K‡L²B' ] O¸ž‹Zz­$)³efÛÜ !!2891238M/234?383*/17/138M/2$!?*"R6ef ø崊kµ¶»!@3409"+$$,$6efOµ¶ŸŸ· ]™¸¹»Où&K!WL R6efº,Šk» ¼»!@913<M8N"+$', K½/¾-Œ6efO¤¥+$(,Ä y‘¹š#6efó¿"æ^æÀÁ{ŠÂÃ(¿À rÑÀefiÄu¢¡R‡ÅÆu¢OefÇK ȧn6ef¤¥‰ŠòmÉìÊ­'Ë×O Ì[$9&r_!"OjkÍԙuOGHóÎÏ OKn«Œ¼³‰Šu$ZºRmoÐÑLŠTO¤ ¥ô3$nÒÓ(] ¤¥O/|òÔ´oÕÖB] ù »ª‡K <=> H,-I#4%&%7%/)$$!%J+,-#7"#4%&%$ !$% Åef{y6ef$Ï×ó­'y‘O;< Øç$™Õ%ZÉ']ÙÃkDiqòOÚúK 6efO™]ºÛÜÝVzOef¿ÀXYKne fxÞ(efÑÀXYrefß½bX«‚öŒ àxáâ»OãäK ýå³æy‘OXYxŽVzOef{r6 efOú$€]R&æçÂè'r&6 Âè'ó 'm!OéK&æçÂè'STDVzef{uS Oef¿ÀXY$&6 Âè'ČåD6efu SOef¿ÀXY$&è'óêÑÀOefK&Âè'4 5ëÁOãäìíš&Âè'XYOîi»ÚïK9 ®Úï²³T]ný§ð'X«# $"efK&æç'r&6 '‹Åñ']O úóK&æç'ΌŽò$ªóóxhR Ž6O&æç'$ôý ]G?W!@91N431J9>383Q3;9"$ r&6 'FG?W!9I819694N431J9>383Q3;9"΍õö÷ òK&æç'OÑÀŒQ^E LWR/i‘M$&6  'Ä^^E [W$}~ó ,W$-WR/iÑÀ‘MK '"eféVKRøO&æç'3$efOùé‘ ­$ŸŸššk­ùˆúeðù$9®ef?Ev ûòüb#6ef¿À#jk(;<&¯° $B+