正在加载图片...
148 计算机研究与发展2013,50(1 化数据为主.而在“大海”中数据的种类繁多,数以千对象,需要采取新的数据思维来应对.图灵奖获得 计,而这些数据又包含着结构化、半结构化以及非结者、著名数据库专家 Jim gray博士观察并总结人类 构化的数据,并且半结构化和非结构化数据所占份自古以来,在科学研究上,先后历经了实验、理论和 额越来越大 计算3种范式.当数据量不断增长和累积到今天,传 3)模式( schema)和数据的关系.传统的数据库统的3种范式在科学研究,特别是一些新的研究领 都是先有模式,然后才会产生数据.这就好比是先选域已经无法很好地发挥作用,需要有一种全新的第 好合适的“池塘”,然后才会向其中投放适合在该“池4种范式来指导新形势下的科学研究.基于这种考 塘”环境生长的“鱼”.而大数据时代很多情况下难以虑, Jim gray提出了一种新的数据探索型研究方 预先确定模式,模式只有在数据岀现之后才能确定,式,被他自己称之为科学研究的“第4种范式”(The 且模式随着数据量的增长处于不断的演变之中,这 Fourth Paradigm)0 就好比先有少量的鱼类,随着时间推移,鱼的种类和 4种范式的比较如表11所示.第4种范式的 数量都在不断地增长.鱼的变化会使大海的成分和实质就是从以计算为中心转变到以数据处理为中 环境处于不断的变化之中 心,也就是我们所说的数据思维这种方式需要我们 4)处理对象.在“池塘”中捕鱼,“鱼”仅仅是其从根本上转变思维.正如前面提到的“捕鱼”,在大数 捕捞对象.而在“大海”中,“鱼”除了是捕捞对象之据时代,数据不再仅仅是“捕捞”的对象,而应当转变 外,还可以通过某些“鱼”的存在来判断其他种类的成一种基础资源,用数据这种资源来协同解决其他 “鱼”是否存在.也就是说传统数据库中数据仅作为诸多领域的问题.计算社会科学( computational social 处理对象.而在大数据时代,要将数据作为一种资源 cience)基于特定社会需求,在特定的社会理论 来辅助解决其他诸多领域的问题 指导下,收集、整理和分析数据足迹( data print),以 5)处理工具.捕捞“池塘”中的“鱼”,一种渔网便进行社会解释、监控、预测与规划的过程和活动 或少数几种基本就可以应对,也就是所谓的One计算社会科学是一种典型的需要采用第4种范式来 size fits all但是在“大海”中,不可能存在一种渔网作指导的科学研究领域. Watts在《 Nature》杂志上的 能够捕获所有的鱼类,也就是说 No size fits all 文章“ A twenty-first century science”也指出,借 从“池塘”到“大海”不仅仅是规模的变大.传统助于社交网络和计算机分析技术,21世纪的社会科 的数据库代表着数据工程( data engineering)的处理学有可能实现定量化的研究,从而成为一门真正的 方式,大数据时代的数据已不仅仅只是工程处理的自然科学 Table 1 Four Science Paradigms 表1科学发现的4种范式 Science paradigms Methodology Empirical Thousand years ago Describing natural phenomena Last few hundred years Using models, generalizations Last few decades Simulating complex phenomena Data Exploratio Data captured by instruments or generated by simulator: Processed by software: Today (escience) Information stored in computer: Scientist analyzes database 1.3大数据的产生和应用 理的复杂度大大降低,实际中数据库大都为运营系 人类历史上从未有哪个时代和今天一样产生如统所采用,作为运营系统的数据管理子系统,比如超 此海量的数据数据的产生已经完全不受时间、地点市的销售记录系统、银行的交易记录系统、医院病人 的限制.从开始采用数据库作为数据管理的主要方的医疗记录等.人类社会数据量第1次大的飞跃正 式开始,人类社会的数据产生方式大致经历了3个是建立在运营式系统开始广泛使用数据库.这个阶 阶段,而正是数据产生方式的巨大变化才最终导致段最主要特点是数据往往伴随着一定的运营活动而 大数据的产生 产生并记录在数据库中,比如超市每销售出一件产 1)运营式系统阶段.数据库的出现使得数据管品就会在数据库中产生相应的一条销售记录.这种äefR²Kn&6 '3efOùéýn$eEþ !$9®ef?ÿ!Dvä("väE^#v äOef$$"vär#väefi%È &'x'6K ("Y!;<=963"refO(KVzOef{ óxkY$,>)öefK9!óx* !ÇÔO&æç'$,>)ö+3/,ÔÇnÌ&æ ç'45qO&è'K6efuSmnGH§ÉE -x.¤Y$Y×knef]ô>)/.¤$ $YCDefOpqÑLZ[OØãô3K9 !xkúOèé$CDu¢($èOùér enZ[opqKèOãäöW6 OÊÏr 45ÑLZ[Oãäô3K B"ÑÀKn&æç'3Âè$&è'ó Â0Kn&6 '3$&è'®óÂ0ô ¯$øEQR1®&è'O\nx2[)ùéO &è'ó3\nK4ó¸Vzef{3effR ÑÀKn6efuS$³ÛeffRù0Þ x56¨©)7nÁÂOK A"ÑÀ{KÂ0&æç'3O&è'$ù8J ú e ð ù / i E å $4 ó i 9 O X29 ;MP95M8;344Kón&6 '3$Z/\nù8J /:ÂÃikOèé$4ó¸ #/;MP95M8;344K Å&æç'y&6 'ZóOã6KVz Oef{STDef{Ó!>38392JM2991M2J"OÑÀ XY$6efuSOefvZ×ó{ÓÑÀO $ª³;<UOefß½xåK¨=>Ã? Ã(@¾ef{*.M6 [13NFABCuv4é +DEx$n-.$%ò$x>Ew¼F(À·r !"(ùGYK´efZ[pqrstyDH$V zO(ùGYn-.$%$ùúó®UO$%Á Âvwm!o'Ifæ$ª³kù×UO² BùGYx¿ìUJK§O-.$%K/L9ùÕ Ö$.M6 [13NÔ ù U O e f ü L V $ % X Y$:)+MNôR-.$%O&²BùGY'!,=9 V/018=-313>MJ6"+$B, K BùGYOýT$+$B,iK²BùGYO ¼qóÅE!"R3OPãyEefÑÀR3 O$4ó]i¸Oefß½K9ùXYª³] ÅîiòPãß½Kgýh«ÔyO&Âè'$n6e fuS$efZQó&Â0'O$å´Pã Êù/|0Þ$æef9ù0ÞxRC¨©) 7nÁÂOK!"Hö-.!</670838M/234;/<M34 ;<M92<9"+$A,/Lù¤HöªS$nù¤OHöÀ· ¿ì§$TÇ(UÀrÏÐef¬V!>38371M28"$E óçèHö¨W(XY(-Z&=ORÓr_¤K !"Hö-.óù[VOª³;æ²BùGYx f¿ìO-.$%ÁÂK^388;n)#38019*\]òO OP&H8O928N&5M1;8<92801N;<M92<9'+$C,4¿$^ 6LHIJKr!"#ÏÐ;<$'$ï_OHö- .k/¼]¤äO$%$ÅÊR`»gO +,-.K 0%75)< ?,38@-")(-)A%8%4"#*/ K< LMNOBBPQR "<M92<9-313>MJ6; ,M69 L98=/>/4/JN T67M1M<34 ,=/0;32>N931;3J/ ?9;<1MQM2J23801347=92/6923 ,=9/198M<34 G3;859O=02>19>N931; _;M2J6/>94;$J929134MP38M/2; */670838M/234 G3;859O>9<3>9; "M60438M2J</6749I7=92/6923 ?383TI74/138M/2 !9"<M92<9" ,/>3N ?383<378019>QNM2;8106928;/1J9291389>QN;M60438/1%-1/<9;;9>QN;/58O319% !25/1638M/2;8/19>M2</670891%"<M928M;83234NP9;>383Q3;9 <=C +,-BSTUFG 4éEaòÅjkb'uSrDHý B OefKefOvwË×Zcu¢(o& OdeKÅ;æef{fRef¿ÀO²³X Y$4éHöOefXY6íwE(' fg$góefXYOh6ãä)iìí 6efOK $"jkY(zfgKef{O]W?ef¿ ÀOl\m66mn$¼³3ef{6Rjk( zi;æ$fRjk(zOef¿Ào(z$ý¡ pOqrst(z(uèOIñst(z(6@v4 O6wstbK4éHöef²$õ6Oxyg óz{njkY(z|}Wæef{K9'f g²³ù&óef~CD¤Ojk_¤ stnef{3$ý¡pqrÁ önef{3ÎåOëqrstK9ù $BE !"#$%&'( '%$($A%!$"