10期 王珊等:架构大数据:挑战、现状与展望 1749 (a) Star Schema 199612 Bei jing te Sch 图4对比:一个典型星型模型与其对应的无连接雪花模型 MapReduce框架下也可以获得接近甚至超越关系 数据库的性能其关键在于如何有效地结合关系数8研究展望 据库和 MapReduce两种技术仅仅停留于表层的移 植和集成是难以从根本上解决大数据分析问题的 当前3个方向的研究都不能完美地解决大数据 我们在文献41的研究中也展示了如何基于这种新分析问题,也就意味着每个方向都有极具挑战性的 的数据组织方式来实现复杂分析操作——百分位数工作等待着我们 的高效计算问题 对并行数据库来说,其扩展性近年虽有较大改 LineardB和 Dum bo虽然基本可以达到预期善(如 Greenplum和 Aster dat a都是面向PB级数 的设计目标,但两者都需要对数据进行预处理,其据规模设计开发的),但距离大数据的分析需求仍 预处理代价是普通加载时间的7倍左右.因此其有较大差距.因此,如何改善并行数据库的扩展能 应对变化的能力还较弱,这是我们未来的工作内力是一项非常有挑战的工作,该项研究将同时涉 容之94-2012 China academic Journal electronic publ及数据致性协议容错性性能等数据库颔域的图 4 对比: 一个典型星型模型与其对应的无连接雪花模型 MapReduce框架下也可以获得接近甚至超越关系 数据库的性能, 其关键在于如何有效地结合关系数 据库和 MapReduce 两种技术. 仅仅停留于表层的移 植和集成是难以从根本上解决大数据分析问题的. 我们在文献[ 41] 的研究中也展示了如何基于这种新 的数据组织方式来实现复杂分析操作) )) 百分位数 的高效计算问题. LinearDB 和 Dumbo 虽然基本可以达到预期 的设计目标, 但两者都需要对数据进行预处理, 其 预处理代价是普通加载时间的 7 倍左右. 因此其 应对变化的能力还较弱, 这是我们未来的工作内 容之一. 8 研究展望 当前 3 个方向的研究都不能完美地解决大数据 分析问题, 也就意味着每个方向都有极具挑战性的 工作等待着我们. 对并行数据库来说, 其扩展性近年虽有较大改 善( 如 Greenplum 和 Aster Data 都是面向 PB 级数 据规模设计开发的) , 但距离大数据的分析需求仍 有较大差距. 因此, 如何改善并行数据库的扩展能 力是一项非常有挑战的工作, 该项研究将同时涉 及数据一致性协议、容错性、性能等数据库领域的 10 期 王 珊等: 架构大数据: 挑战、现状与展望 1749