孟小峰等:大数据管理:概念、技术与挑战 155 典型的 NOSQL数据库分类如表4所示 Table 4 Typical NoSQL Databases 表4典型 NoSQI数据库 Matching Databases Performance Scalability Flexibility Advantages HBase Colum High High Moderate Query is efficient CouchDB Little limits on Performance of Document Variable MongoDB data structure query is low Graph Variable Variable Graph algorithms Data scale is High Orient DB relatively low Bigtable的模型简单,但是相较传统的关系数SQL, NoSQI之外的新思路.这种融合了一致性和 据库其支持的功能非常有限,不支持ACID特性.因可用性的 New SQL或许会是未来大数据存储新的 此 Google开发了 Megastore4系统,虽然其底层数发展方向 据存储依赖 Bigtable,但是它实现了类似 RDBMS3.1.3索引与查询技术 的数据模型,同时提供数据的强一致性解决方案 数据查询是数据库最重要的应用之一,而索引 Megastore将数据进行细粒度的分区,数据更新会则是解决数据查询问题的有效方案.就 Google自身 在机房间进行同步复制. Spanner4是已知的而言,索引的构建是提供搜索服务的关键部分 Google的最新的数据库系统, Google在OSDl2012 Google最早的索引系统是利用 MapReduce来更新 上公开了 Spanner的实现. Spanner是第1个可以的.根据更新频率进行层次划分,不同的层次对应不 实现全球规模扩展( global scale)并且支持外部一致同的更新频率.每次需要批量更新索引,即使有些数 的事务( support externally-consistent distributed据并未改变也需要处理掉.这种索引更新方式效率较 transactions)的数据库.通过GPS和原子时钟低.随后 Google提出了 Percolator!,这是一种增量 ( atomic clocks)技术, Spanner实现了一个时间式的索引更新器,每次更新不需要替换所有的索引数 APL借助该API,数据中心之间的时间同步能够精据,效率大大提高.虽然不是所有的大数据应用都需 确到10ms以内. Spanner类似于 Bigtable,但是它要索引,但是这种增量计算的思想非常值得我们借 具有层次性的目录结构以及细粒度的数据复制.对鉴. google当前正在使用的索引系统为 Caffeine, 于数据中心之间不同操作会分别支持强一致性或弱其具体实现尚未公布.但是可以确定 Caffeine是构 致性,且支持更多的自动操作, Spanner的目标是建在 Spanner之上,采用 Percolator更新索引.效率 控制100万到1000万台服务器,最多包含大约10相较上一代索引系统而言有大幅度提高 万亿目录和1000万亿字节的存储空间.另外在 关系数据库也是利用对数据构建索引的方式较 SIGMOD2012上, Google公开了用于其广告系统的好地解决了数据查询的问题.不同的索引方案使得 新数据库产品F1,作为一种混合型数据库F1融关系数据库可以满足不同场景的要求.索引的建立 合兼有 Bigtable的高扩展性以及SQL数据库的可以及更新都会耗费较多的时间,在面对传统数据库 用性和功能性.该产品的底层存储正是采用的小数据量时这些时间和其所带来的查询便利性相 Spanner,具有很多新的特性,包括全局分布式、同步比是可以接受的,但是这些复杂的索引方案基本无 跨数据中心复制、可视分片和数据移动、常规事务等.法直接应用到大数据之上.表5是对一些索引方 有些比较激进的观点认为“关系数据库已死”,案直接应用在 Facebook上的性能估计 我们认为关系数据库和 NosQI并不是矛盾的对立 从表5可以看出不太可能将已有的成熟索引方 体,而是可以相互补充的、适用于不同应用场景的技案直接应用于大数据. NosQI数据库针对主键的查 术.例如实际的互联网系统往往都是ACID和询效率一般较高,因此有关的研究集中在 NOSQL BASE两种系统的结合.近些年来,以 Spanner为代数据库的多值查询优化上.针对 NosQI数据库上 表的若干新型数据库的出现,给数据存储带来了的查询优化研究主要有两种思路[VO #/"bGef{ÏéýTB+B(,i•# 0%75)B 0:."-%5D,@EF$%&%7%/)/ KB VW D,@EF,-I *389J/1N L38<=M2J?383Q3;9; -915/1632<9 "<343QM4M8N V49IMQM4M8N */6749IM8N H>@3283J9; ?M;3>@3283J9; Y9N&]3409 :9>M; :M3R ZMJ= ZMJ= ZMJ= #/29 b091NM;955M<M928 "8/19>>38343<R ;810<8019 */4062 ZW3;9 *3;;32>13 ZMJ= ZMJ= L/>91389 G/O b091NM;955M<M928 V02<8M/234M8N M;6M2M634 ?/<06928 */0<=?W L/2J/?W ZMJ= ]31M3Q49 ZMJ= G/O GM88494M6M8;/2 >383;810<8019 -915/1632<9/5 U091NM;4/O [137= #9/B. X1M928?W ]31M3Q49 ]31M3Q49 ZMJ= ZMJ= [137=34J/1M8=6; 319;/7=M;8M<389> ?383;<349M; 19438M@94N4/O WMJ83Q49OVy‘$™óΎVzO‡(e f{ƒ·O¥/#^kd$Zƒ· H*!?ù»K† B [//J49ƒ'š L9J3;8/19+BB,(z$N,>?e f\…¾ ¿ WMJ83Q49$™ ó ¼ ] š é Ï :?WL" OefV$CuÔ=efO­í»¨©XPK L9J3;8/19ÛefçèˆmOϝ$efÿUö n # ‰ ¢ ç è C K l eK"732291+BA, ó v ½ O [//J49O‹UOef{(z$[//J49n X"?!'%$' òۃš "732291O¼]K"732291ó² $ '‡E ¼]×Øè(!J4/Q34;<349"‹$ƒ·¯ú­í O x Q !;077/189I8912344N&</2;M;8928>M;81MQ089> 8132;3<8M/2;"O e f {KQ R [-" r ‚ o u ã !38/6M<<4/<R;"; <$"732291 ¼ ] š ­ ' u ¢ H-!K^6Ì H-!$ef3Oô¢Ou¢CK/:J .y$%6;E„K"732291éÏL WMJ83Q49$™ó Šk?õ»O2tvE^ˆmOefleKŒ Lef3Oô¢ZCföÏúƒ·­í»ˆn ­í»$$ƒ·ÿnO+¤fK"732291O2‰ó Ye$%%Šy$%%%Š‹PQ¦$‹nÿ!6N$% Š1 2 t r $%%% Š 1 ’ L O \ … 6 ¢KŒ ¯ n "![LX?'%$'ò$[//J49ۃšæL| (zO Uef{Ž€ V$+BC,$fR­ùÇVef{ V$* ǎk WMJ83Q49O:è(»E^ "bG ef{O‡ æ » r ¥ / »KÌ Ž € O > ? \ … g ó ; æ "732291$ŠkmnUOù»$ÿé׏ÏWY(CK ef3Ole(‡;Ï_ref(¤(^xQbK k®Ž‘çOB&R&‡(ef{v’'$ €]R‡(ef{r #/"bG‹ZóOŒ{ T$ó‡E΅•O(ÔæLZCå毦O; <K) ý ¼ ³ O … a J ( z Ÿ Ÿ ‚ ó H*!? r WH"TÙù(zOvÇKŠ®x$E "732291RS TOÕÖ U V e f { O ™ ]$© e f \ … à x š "bG$#/"bGô¯OUß=K9ù*ǚ­í»r ‡æ»O #9O"bGˆÅöójx6ef\…UO '(X+K (K$K( Lö&@Ú;< ef@Úóef{‹º³Oåæô­$Lö Äó¨©ef@ډŠOk$XPK [//J49+Œ •$L ö O  z ó Ô = ù L P Q O ‡ ä ú ÏK [//J49‹OLö(zó"æ L37:9>0<9xÿU OKîfÿU²"çè?õ=Ï$ZCO?õŒåZ COÿU²"Kõª³¬›ÿULö$ªWk®e f‹j„ã4ª³ÑÀlK9ùLöÿUXY$"Ž nKC> [//J49ԙš -91</438/1+B+,$9ó­ùp› YOLöÿU¦$õÿUZª³ikOLöe f$$"66Ô:KN,ZóikO6efå悪 ³Lö$™ó9ùp›!"OßÕ#^¶?€]^ ™K[//J49´hgnWæOLö(zR *3559M29+BE,$ ŠT¼]£jÛWK™ó‡E.¤ *3559M29ó zn"732291ôò$;æ -91</438/1ÿULöK$" Ύò­SLö(z•k6šmÔ:K ‡(ef{4ó"æŒefzLöOXYŽ !o¨©šef@ÚO‰ŠKZCOLöXPW? ‡(ef{‡E«¬ZC¯¦O³SKLöOz{ E^ÿU‚öěŽnOu¢$n«ŒVzef{ Oòef›u9®u¢riàxO@Úó"»Î ó‡EœcO$™ó9®l\OLöXP/i ž‹œåæy6efôòKTA+B),󌭮LöX P‹œåæn V3<9Q//RòO»/œ!K ÅTA‡E™Z,‡/ÛvkOÊõLöX P‹œåæL6efK#/"bGef{ûŒ²äO@ Ú$"­àŽ:$†Bk‡O$%Ç3n #/"bG ef{On¶@ÚhäòKûŒ #/"bG ef{ò O@Úhä$%²³kÙùß=# ûòüb#6ef¿À#jk(;<&¯° $AA