孟小峰等:大数据管理:概念、技术与挑战 149 数据的产生方式是被动的 广泛使用.随着技术的发展,人们已经有能力制造极 2)用户原创内容阶段.互联网的诞生促使人类其微小的带有处理功能的传感器,并开始将这些设 社会数据量出现第2次大的飞跃.但是真正的数据备广泛地布置于社会的各个角落,通过这些设备来 爆发产生于Web2.0时代,而web2.0的最重要标对整个社会的运转进行监控.这些设备会源源不断 志就是用户原创内容( user generated content,UGC).地产生新数据,这种数据的产生方式是自动的 这类数据近几年一直呈现爆炸性的增长,主要有两 简单来说,数据产生经历了被动、主动和自动3 方面的原因:首先是以博客、微博为代表的新型社交个阶段.这些被动、主动和自动的数据共同构成了大 网络的出现和快速发展,使得用户产生数据的意愿数据的数据来源,但其中自动式的数据才是大数据 更加强烈;其次就是以智能手机、平板电脑为代表的产生的最根本原因 新型移动设备的出现,这些易携带、全天候接入网络 正如 Google的首席经济学家 Hal varian所 的移动设备使得人们在网上发表自己意见的途径更说[n,数据是广泛可用的,所缺乏的是从中提取出 为便捷,这个阶段数据的产生方式是主动的 知识的能力.数据收集的根本目的是根据需求从数 3)感知式系统阶段.人类社会数据量第3次大据中提取有用的知识,并将其应用到具体的领域之 的飞跃最终导致了大数据的产生,今天我们正处于中.不同领域的大数据应用有不同的特点,表2列举 这个阶段.这次飞跃的根本原因在于感知式系统的了若干具有代表性的大数据应用及其特征 Table 2 Comparison between Typical Big Data Application 表2典型大数据应用的比较 Application Number of Users Response Time Data Scale Reliability Accuracy Scientific Computing Bioinformatics Small Moderate High-frequeney trading Very Fast Very High Very High Social network Mobile data Internet of Things Sensor network Large Web data News website Multimedia Video site Fast 正是由于大数据的广泛存在才使得大数据问题网页点击数的实时统计、传感器网络、金融中的高频 的解决很具挑战性.而它的广泛应用则促使越来越交易等 多的人开始关注和研究大数据问题 流处理的处理模式将数据视为流,源源不断的 数据组成了数据流,当新的数据到来时就立刻处理 2大数据处理框架 并返回所需的结果.图1是流处理中基本的数据 流模型 2.1大数据处理模式 大数据的应用类型有很多,主要的处理模式可 以分为流处理( stream processing)和批处理( batch processIng)两种[1s1.批处理是先存储后处理 ( store- then-process),而流处理则是直接处理 Memor CPU (straight-through processing) 2.1.1流处理 Fig. 1 Basic data stream model. 流处理的基本理念是数据的价值会随着时间的 图1基本的数据流模型 流逝而不断减少,因此尽可能快地对最新的数据作 数据的实时处理是一个很有挑战性的工作,数 出分析并给出结果是所有流数据处理模式的共同目据流本身具有持续达到、速度快且规模巨大等特点 标.需要采用流数据处理的大数据应用场景主要有因此通常不会对所有的数据进行永久化存储,而且efOŽXYó:¤OK '"恂ƒ„ÅfgK…aJO†‡W4é Höef›™]²'õ6OxyK™ó»gOef ˆ'ŽL ^9Q'K%uS$ ^9Q'K%O‹º³‰ ]ó恂ƒ„Å!0;91J9291389></28928$_[*"K 9éefŠð­‹·]ˆŒ»Opq$²³kÙ X«O‚†#wxóEFG(FRSTOUVHI JKO™]rŽl'($W?恎efOZ ÿ±‘%õóE’/#(•RSTO UV(¤™O™]$9®ñšà(×H›œéJK O(¤™W?4]nJò'T+MZOžŸÿ Ró $9'fgefOŽXYó²¤OK ("¡½Y(zfgK4éHöef›²(õ6 Oxy‹iìíš6efOŽ$DH€]gÑL 9'fgK9õxyOîi‚†nL¡½Y(zO |}WæKCD;<O'($4]vwk/¢e£¤ òOàkÑÀ¥/OV¡¦$‹ƒ„Û9® ™|}oWNLHöOE'Ƨ$QR9®™x ŒU'HöOjPçèXYK9®™öÞÞZ[ oŽUef$9ùefOŽXYó+¤OK y‘x¸$efŽwEš:¤(²¤r+¤( 'fgK9®:¤(²¤r+¤OefÌCÊš6 efOefxÞ$™3+¤YOef)ó6ef ŽO‹îi‚†K gý [//J49O w ¨ w ð . * Z34]31M32 i ¸+$+,$efó|}‡æO$i‰©OóÅ3Ô<™ ½[O/¢KefTÇOîi2OóîfªSÅe f3Ô<kæO½[$‹ÛåæyŠTOÁÂô 3KZCÁÂO6efåækZCOù&$T'ª@ šÕ֊kST»O6efåæ^ù¦# 0%75)> +,*.%8"/,(7)&;))(0:."-%5!"#$%&%6..5"-%&",(/ K> VW+,-FGBXY H774M<38M/2; TI36749; #06Q91/5_;91; :9;7/2;9,M69 ?383"<349 :94M3QM4M8N H<<013<N "<M928M5M<*/6708M2J WM/M25/1638M<; "6344 "4/O ,W L/>91389 ]91NZMJ= VM232<9 ZMJ=&519U092<N813>M2J G31J9 ]91NV3;8 [W ]91NZMJ= ]91NZMJ= "/<M34298O/1R V3<9Q//R ]91NG31J9 V3;8 -W ZMJ= ZMJ= L/QM49?383 L/QM497=/29 ]91NG31J9 V3;8 ,W ZMJ= ZMJ= !2891298/5,=M2J; "92;/1298O/1R G31J9 V3;8 ,W ZMJ= ZMJ= ^9Q?383 #9O;O9Q;M89 ]91NG31J9 V3;8 -W ZMJ= ZMJ= L048M69>M3 ]M>9/;M89 ]91NG31J9 V3;8 -W ZMJ= L/>91389 gó«L6efO|}\n)W?6ef‰Š O¨©mŠ¯°»KO|}åæćW'x' nO4ƒ„‡ˆr$%6ef‰ŠK > +,-Z/[\ >=< +,-Z/]R 6efOåæéVkmn$²³OÑÀY‡ EÏRÒÑÀ!;8193671/<9;;M2J"r¬ÑÀ!Q38<= 71/<9;;M2J"Ù ù+$E&$), K¬ Ñ À ó x \ … > Ñ À !;8/19&8=92&71/<9;;"$ Ò Ñ À Ä ó ‹ œ Ñ À !;813MJ=8&8=1/0J=71/<9;;M2J"K 'K$K$ ÒÑÀ ÒÑÀO/iÀkóefOµ¶öCDu¢O Ò­Z[®ú$†Bá‡/ŽoŒ‹UOeff ™ÏЋ©™våóikÒefÑÀYOÌC2 ‰Kª³;æÒefÑÀO6efå毦²³k J°&±eO¼uz!(V¡¦JK(0*3O:² IñbK ÒÑÀOÑÀYÛef;RÒ$ÞÞZ[O ef³ÊšefÒK´UOefyxu{´ÑÀ ‹µ¶iªOvåK¨$+$E,óÒÑÀ3/iOef ÒV# VMJK$ W3;M<>383;81936 6/>94K ¨$ /iOefÒV efO¼uÑÀó­'mk¯°»O{f$e fÒiŒŠk·¸ìy(lmŽ$h6bù&$ †BQ^ZöŒikOefç蹺ä\…$$ ûòüb#6ef¿À#jk(;<&¯° $B)