第5讲大数据 1什么是大数据 1.1大数据的概念 计算、物联网等技术的兴起,标志着我们已经逐步进入大数据时代。大数 据时代的到来,已经引起了全世界各国和信息行业的广泛重视;联合国在2015 年5月发布了关于大数据的专题报告,详细阐述了大数据时代给世界各国带来的 基于和挑战;全球各大媒体也对大数据展开宣传和报道。这些都说明了大数据已 经深入影响到人们的日常生活。但是在这种火热景象的背后,普通人民对大数据 并没有足够的认识,大数据的发展还面临着一些挑战,技术需要进一步的完善 大数据的概念,最初代表着数据规模的庞大,但是随着大数据管理技术的发 展,这一简单的阐述已经不能完全概括大数据的内涵。仅仅是数据规模上的庞大 似乎与以往的数据管理方式没有什么本质上的改变。大数据的具体概念,要包括 其数据处理的所有特点。现在广为公认的大数据定义是:在数量巨大、类型复杂 价值含量高的数据信息基础上,实现对数据高速处理的数据管理模式 Big data(大数据),或称巨量资料,指的是所涉及的资料量的规模巨大到无 法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮 助企业经营决策更积极目的的资讯。 大数据通常具有4V特征: (1) Volume(体量浩大)。在数据爆炸时代,数据单位已无法用传统的TB来 衡量,而是用PB、EP或者ZB作为大数据的计量单位。导致数据激增的原因很 多,主要是互联网络的广泛使用使人类快速进入信息时代,数据疯狂增长,必然 使得数据处理量显著增多。 (2) Variety(类型繁多)。以往的数据尽管体量巨大,但一般都是比较容 易处理的结构化数据。当前,随着互联网络与传感器的飞速发展,不仅包含传统 的结构化数据,还包括音频、视频、网页、文本等半结构和非结构化数据 (3) Velocity(生成快速)。数据量的疯狂增长,使得数据处理的速度加快, 这也是大数据区别于以往海量数据处理的重要特征。面临各种信息,如何把握数 据的时效性,快速地从各种数据类型中获取高价值的信息,是大数据时代处理的 基本要求。 (4) Value(价值巨大但密度很低)。大数据为了获得事物的全部细节,会 直接采用原始数据,导致存在大量的无用信息,使得人们获取有用信息的难度加 大,就像沙子淘金 目前,对于大数据的4V定义是目前较为统一的认识。其特有的4种特征使 得大数据的概念与以往“海量数据”和“超大规模数据”有着本质区别,除了用 来描述数据之“大”,还指出了大数据的意义和必要性,即如何从体量巨大、类第 5 讲 大数据 1 什么是大数据 1.1 大数据的概念 云计算、物联网等技术的兴起，标志着我们已经逐步进入大数据时代。大数 据时代的到来，已经引起了全世界各国和信息行业的广泛重视；联合国在 2015 年 5 月发布了关于大数据的专题报告，详细阐述了大数据时代给世界各国带来的 基于和挑战；全球各大媒体也对大数据展开宣传和报道。这些都说明了大数据已 经深入影响到人们的日常生活。但是在这种火热景象的背后，普通人民对大数据 并没有足够的认识，大数据的发展还面临着一些挑战，技术需要进一步的完善。 大数据的概念，最初代表着数据规模的庞大，但是随着大数据管理技术的发 展，这一简单的阐述已经不能完全概括大数据的内涵。仅仅是数据规模上的庞大， 似乎与以往的数据管理方式没有什么本质上的改变。大数据的具体概念，要包括 其数据处理的所有特点。现在广为公认的大数据定义是：在数量巨大、类型复杂、 价值含量高的数据信息基础上，实现对数据高速处理的数据管理模式。 Big Data(大数据)，或称巨量资料，指的是所涉及的资料量的规模巨大到无 法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮 助企业经营决策更积极目的的资讯。 大数据通常具有 4V 特征： （1）Volume（体量浩大）。在数据爆炸时代，数据单位已无法用传统的 TB 来 衡量，而是用 PB、EP 或者 ZB 作为大数据的计量单位。导致数据激增的原因很 多，主要是互联网络的广泛使用使人类快速进入信息时代，数据疯狂增长，必然 使得数据处理量显著增多。 （2）Variety（类型繁多）。以往的数据尽管体量巨大，但一般都是比较容 易处理的结构化数据。当前，随着互联网络与传感器的飞速发展，不仅包含传统 的结构化数据，还包括音频、视频、网页、文本等半结构和非结构化数据。 （3）Velocity（生成快速）。数据量的疯狂增长，使得数据处理的速度加快， 这也是大数据区别于以往海量数据处理的重要特征。面临各种信息，如何把握数 据的时效性，快速地从各种数据类型中获取高价值的信息，是大数据时代处理的 基本要求。 （4）Value（价值巨大但密度很低）。大数据为了获得事物的全部细节，会 直接采用原始数据，导致存在大量的无用信息，使得人们获取有用信息的难度加 大，就像沙子淘金。 目前，对于大数据的 4V 定义是目前较为统一的认识。其特有的４种特征使 得大数据的概念与以往“海量数据”和“超大规模数据”有着本质区别，除了用 来描述数据之“大”，还指出了大数据的意义和必要性，即如何从体量巨大、类