第三章大数据与大数据关键技术
第三章 大数据与大数据关键技术
目录 3.1大数据来了！ 3.2Web2.0模式下互联网应用环境对关系数据库带 来的技术挑战 3.3大数据核心技术的分析研究 3.4大数据的技术门派及对比分析 3.5网页大数据应用实例：网页检索的技术路线 3.6一个基于倒排索引技术的中文检索应用实例 3.7 NoSQL数据库和sQL数据库在技术上的对比分析 3.8本章小结
目 录 3.1 大数据来了！ 3.2 Web 2.0模式下互联网应用环境对关系数据库带 来的技术挑战 3.3 大数据核心技术的分析研究 3.4 大数据的技术门派及对比分析 3.5 网页大数据应用实例：网页检索的技术路线 3.6 一个基于倒排索引技术的中文检索应用实例 3.7 NoSQL数据库和SQL数据库在技术上的对比分析 3.8 本章小结
3.1大数据来了！ 了解大数据技术，必须首先了解“传统”的数据库管理技术及其发 展简史。 自从1946年人类拥有了计算机，计算机应用的普及与发展，对物理 世界中的各种客观存在进行了电子化和数字化的描述和记录，这也成 为数据产生的主流方式。而各种数据库技术，尤其是关系数据库中的 结构化数据建模方法及其对应的技术体系，为有序描述、记录和管理 物理世界中的各种客观存在，提供了一种新的强有力的技术手段。 技术领域里，没有用之四海而皆准的方法和技术手段。在某些新兴的 应用场景下，数据库技术也有“技止此耳”或“一筹莫展”的时候， 从而也就能充分体会到大数据技术到底“大”在哪里，“新”在哪里 ,“强”在哪里
3.1 大数据来了！ 了解大数据技术，必须首先了解“传统”的数据库管理技术及其发 展简史。 自从 1946 年人类拥有了计算机，计算机应用的普及与发展，对物理 世界中的各种客观存在进行了电子化和数字化的描述和记录，这也成 为数据产生的主流方式。而各种数据库技术，尤其是关系数据库中的 结构化数据建模方法及其对应的技术体系，为有序描述、记录和管理 物理世界中的各种客观存在，提供了一种新的强有力的技术手段。 技术领域里，没有用之四海而皆准的方法和技术手段。在某些新兴的 应用场景下，数据库技术也有“技止此耳”或“一筹莫展”的时候， 从而也就能充分体会到大数据技术到底“大”在哪里，“新”在哪里 ，“强”在哪里
3.1大数据来了！ 数据库的关系模型理论，就像经典的物理学原理，将相互关联的 社会网络分割成若干个相对独立的部分（对应关系模型中的实体） 并对组成物理世界的各种实体，进行清晰的本体定义和界限划分，包 括角色、责任、上下级关系、责任范围等方面的严格定义（如基于属 性划分的关系定义)。在此基础上，通过定义实体之间的关联模式， 实现物理世界中社会网络的虚拟化重构。这种具有严谨理论基础的技 术体系，从行业规范和行为约束的角度，配合了社会的有序运行
3.1 大数据来了！ 数据库的关系模型理论，就像经典的物理学原理，将相互关联的 社会网络分割成若干个相对独立的部分（对应关系模型中的实体）， 并对组成物理世界的各种实体，进行清晰的本体定义和界限划分，包 括角色、责任、上下级关系、责任范围等方面的严格定义（如基于属 性划分的关系定义）。在此基础上，通过定义实体之间的关联模式， 实现物理世界中社会网络的虚拟化重构。这种具有严谨理论基础的技 术体系，从行业规范和行为约束的角度，配合了社会的有序运行
3.1大数据来了！ 随着2004年前后互联网环境从Web1.0的运行模式逐渐向 Web2.0模式的转变，数据库技术越来不适应这种生产关系概 念下的新的组织模式。 W®b2.0的出现，使得数据库技术遇到了前所未有的技术挑战
3.1 大数据来了！ 随着 2004 年前后互联网环境从 Web1.0 的运行模式逐渐向 Web2.0 模式的转变，数据库技术越来不适应这种生产关系概 念下的新的组织模式。 Web2.0的出现，使得数据库技术遇到了前所未有的技术挑战
3.1大数据来了！ 什么是Web2.0的运行模式呢？ Web2.0是相对Web1.0(2003年以前的互联网模式)而言的一类新的 互联网应用模式的统称。 ■ Web1.0主要出现在20世纪90年代到21世纪初。该模式下，网页是静 态的，是一种基于只读模式的html网页浏览的方式，网页不支持用户 之间的联系和互动。 ■ Web2.0在2004年前后出现。该模式全面支持终端用户实时地交互和 协作。这种交互，不仅是用户在发布内容过程中实现与网络服务器之 间交互，而且也支持同一网站不同用户之间的交互，以及不同网站之 间信息的交互。 ■ 从Web1.0到Web2.0,互联网由支持单纯的“读”操作，发展到了一 个支持用户“可读可写”、充分发挥集体智慧的高级阶段，实现了专 业人员和一般终端用户都可以参与织网的一种创新的互联网运行模式 。因此，Web2.0运行模式下的互联网，也被称为读写网络
3.1 大数据来了！ 什么是Web2.0的运行模式呢？ ◼ Web2.0是相对Web1.0（2003年以前的互联网模式）而言的一类新的 互联网应用模式的统称。 ◼ Web1.0主要出现在20世纪90年代到21世纪初。该模式下，网页是静 态的，是一种基于只读模式的html网页浏览的方式，网页不支持用户 之间的联系和互动。 ◼ Web2.0 在2004年前后出现。该模式全面支持终端用户实时地交互和 协作。这种交互，不仅是用户在发布内容过程中实现与网络服务器之 间交互，而且也支持同一网站不同用户之间的交互，以及不同网站之 间信息的交互。 ◼ 从Web1.0到Web2.0，互联网由支持单纯的“读”操作，发展到了一 个支持用户“可读可写”、充分发挥集体智慧的高级阶段，实现了专 业人员和一般终端用户都可以参与织网的一种创新的互联网运行模式 。因此，Web 2.0运行模式下的互联网，也被称为读写网络
3.1大数据来了！ Web2.0运行模式，是互联网环境下生产关系层面的应用革命，是互 联网应用环境的一次理念和思想体系的升级换代。原来的自上而下的由少 数资源控制者集中控制主导的互联网体系，转变为自下而上的由广大用户 集体智慧和力量主导的互联网体系。目前包括微博、微信、QQ、淘宝、 亚马逊购物、谷歌搜索、新闻的点评与跟帖等网站服务，都体现了Wb 2.0时代互联网环境下跨界、跨域、跨平台进行开放互动的功能特点。 互联网环境下Wb2.0运行模式的出现，使得互联网环境下的普通用户 ,从单向封闭的互联网环境，走进了用户和用户、用户和网络管理之间双 向互动的开放的互联网环境。互联网环境下这种新的生产关系的出现，对 原有生产关系下的生产力提出了新的应用需求。 于是，需求驱动下的大数据技术应运而生
3.1 大数据来了！ Web 2.0运行模式，是互联网环境下生产关系层面的应用革命，是互 联网应用环境的一次理念和思想体系的升级换代。原来的自上而下的由少 数资源控制者集中控制主导的互联网体系，转变为自下而上的由广大用户 集体智慧和力量主导的互联网体系。目前包括微博、微信、QQ、淘宝、 亚马逊购物、谷歌搜索、新闻的点评与跟帖等网站服务，都体现了Web 2.0时代互联网环境下跨界、跨域、跨平台进行开放互动的功能特点。 互联网环境下Web 2.0运行模式的出现，使得互联网环境下的普通用户 ，从单向封闭的互联网环境，走进了用户和用户、用户和网络管理之间双 向互动的开放的互联网环境。互联网环境下这种新的生产关系的出现，对 原有生产关系下的生产力提出了新的应用需求。 于是，需求驱动下的大数据技术应运而生
3.1大数据来了！ Login nature nature news home news archive specials opinion features news blog nature journal comments on this Published online 3.September 2008 I Nature 455,8-9(2008)I Naturejobs story doi:10.1038/455008a News Deputy Director of Nanoscopy Center in SLST,ShanghaiTech Stories by subject Big data:The next Google ShanghaiTech University Vice Dean for Faculty Affairs in School Technology What will happen in the next 10 years? of Life Science and Technology(SLST). ShanghaiTech University Ten years ago this month,Google's ShanghaiTech University Stories by keywords first employee turned up at the Big data garage where the search engine More science jobs Innovation was originally housed.What Post a job technology at a similar early stage today will have changed our world This article elsewhere as much by 2018?Nature asked DATA Resources some researchers and business Blogs linking to people to speculate-or lay out this article 为 PDF Format their wares.Their responses are Send to a Friend g船Add to Digg wide ranging,but one common theme emerges:the integration 8 of the worlds of matter and information,whether it be by the Add to Facebook blurring of boundaries between online and real environments, Reprints Permissions touchy-feely feedback from a phone or chromosomes tucked 图Add to Newsvine 周RSS Feeds away on databases. Add to Del.icio.us Bill Buxton Add to Twitter Principal researcher, Microsoft,Toronto, Canada ELECTRONIC PAPER I subscribe to Melvin Kranzberg's second law of technology:invention is the mother of necessity. Nature首次以专刊的形式讨论主题词“Big Data
3.1 大数据来了！ Nature首次以专刊的形式讨论主题词“Big Data
3.1大数据来了！ 根据维基百科对大数据的概念定义，大数据是指传统数据处理软件不 足以处理的大或复杂的数据集，也可以定义为来自各种来源的大量非结构 化或结构化数据。这些数据集合，无法在一定时间内用常规软件工具对其 内容进行抓取、管理和处理。在这一概念解析下，用传统算法和数据库系 统可以处理的数据，其数据量再大，都不能算作“大数据”资源。因此， 只有那些导致传统的数据处理技术，无论在存储数据的能力，还是在处理 数据的能力方面都渐显瓶颈的数据资源，我们才称之为大数据。 二没有登录讨论赏献创建账户登录 条目讨论大陆商体汉漠 阅读编辑查香历史 接紧中文堆基百科 维基百科 大数据 自由的百科全书 中文维基百科【维基百科中文版网站】 首页 分索引 此条目可能包含原创研究或未查证内容。2014年8月8日) 待色内容 请协助添加参考资料以改善这篇条目。详细情况请参见讨论页， 新间动态 最近更改 大数据（英语：Big data1121),又称为巨量资料，指的是在传统数据处理应用软件不足以处理的 题机条目 大或复杂的数据集的术语④ 帮助 大数据也可以定义为来自各种来源的大量非结构化或结构化数据。从学术角度而言，大数据的出现促成 帮助 广泛主题的新颗研究，这也寻致各种大数据统计方法的发展。大数据并没有统计学的抽样方法：它只是 维基社群 视察和迫踪发生的事情。因此，大数据通常包含的数据大小超出传统软件在可接受的时间内处理的能 方针与指弱引 力。由于近期的技术进步，发布新数据的便捷性以及全球大多数政府对高透明度的要求，大数据分析在 互助客栈 知识可湾 现代研究中越来越突出，[阿可
3.1 大数据来了！ 根据维基百科对大数据的概念定义，大数据是指传统数据处理软件不 足以处理的大或复杂的数据集，也可以定义为来自各种来源的大量非结构 化或结构化数据。这些数据集合，无法在一定时间内用常规软件工具对其 内容进行抓取、管理和处理。在这一概念解析下，用传统算法和数据库系 统可以处理的数据，其数据量再大，都不能算作“大数据”资源。因此， 只有那些导致传统的数据处理技术，无论在存储数据的能力，还是在处理 数据的能力方面都渐显瓶颈的数据资源，我们才称之为大数据
3.2Web2.0对关系数据库带来的技术挑战 随着通信与互联网技术的不断发展，人际沟通和交流手段的不断丰富和 完善，社交活动网络化、时空交互虚拟化、主题内容碎片化、信息传播敏捷 化、通信手段多样化等社交行为特征越来越突出。相对这种无序非结构化的 网络资源管理，传统的数据库技术受到了前所未有的技术挑战。 随着无时不网、无处不网的Web2.0时代互联网基础设施的形成，人类 社会发展到了一个崭新的社会运行阶段。 Web2.0模式下的互联网环境，催生了一个新的混沌的数据 生产场景
3.2 Web 2.0对关系数据库带来的技术挑战 随着通信与互联网技术的不断发展，人际沟通和交流手段的不断丰富和 完善，社交活动网络化、时空交互虚拟化、主题内容碎片化、信息传播敏捷 化、通信手段多样化等社交行为特征越来越突出。相对这种无序非结构化的 网络资源管理，传统的数据库技术受到了前所未有的技术挑战。 随着无时不网、无处不网的Web2.0时代互联网基础设施的形成，人类 社会发展到了一个崭新的社会运行阶段。 Web 2.0模式下的互联网环境，催生了一个新的混沌的数据 生产场景