第一章数据科学与数据挖掘 1数据科学 2数据挖掘
第一章 数据科学与数据挖掘 1 数据科学 2 数据挖掘
1数据科学 1.0概述 (1)信息化的本质:将现实世界中的事物以数据的形式存储到 计算机主机中,即信息化是一个生产数据的过程。 (2)数据爆炸( data explosion):数据被快速大量地生产并存储 在计算机系统中。 (3)数据自然界( data nature):数据爆炸在计算机系统中形成 数据自然界( data nature)。 注:研究数据自然界是研究自然界( real nature)的一种有效 方法 (4)数据学( dataology)或数据科学( data science):研究数据 自然界规律的理论、方法和技术
1 数据科学 1.0 概述 (1)信息化的本质:将现实世界中的事物以数据的形式存储到 计算机主机中，即信息化是一个生产数据的过程。 (2)数据爆炸(data explosion):数据被快速大量地生产并存储 在计算机系统中。 (3)数据自然界(data nature):数据爆炸在计算机系统中形成 数据自然界(data nature)。 注:研究数据自然界是研究自然界(real nature)的一种有效 方法。 (4)数据学(dataology)或数据科学(data science):研究数据 自然界规律的理论、方法和技术
1数据科学 1.1数据 能够输入到计算机中的任何内容。数据在物理上以字节 Bye)作为其天小的计量单位,一个字节为一个数据单位, 数据物理存在于计算机系统中。对于数据自然界,计算机 系统是它的载体,数据是它的唯一存在。 (1)数据原子( data atom):不可再分割的最小数据单位,即 计算机系统所使用的基本字符集。例:TXT数据 注:数据原子一般为单字节字符,也有双字节字符。 (2)数据对象( data objec):识别数据的基本单位,可命名, 具有独立含义。 注:(a)数据对象:由有限个数据项组成,有一个对象标识, 其他为对象容。(b)数据项( data item):数据原子的有限 集,用于描述数据对象的特性,可命名,可定义其数据类 型但没有独立含义(即脱离数据对象单独讨论数据项是没有 意义的)
1 数据科学 1.1 数据 能够输入到计算机中的任何内容。数据在物理上以字节 (Byte)作为其大小的计量单位，一个字节为一个数据单位， 数据物理存在于计算机系统中。对于数据自然界，计算机 系统是它的载体，数据是它的唯一存在。 (1)数据原子(data atomic)：不可再分割的最小数据单位，即 计算机系统所使用的基本字符集。 例：TXT数据 注：数据原子一般为单字节字符，也有双字节字符。 (2)数据对象(data object)：识别数据的基本单位，可命名， 具有独立含义。 注：(a)数据对象:由有限个数据项组成，有一个对象标识， 其他为对象内容。(b)数据项(data item):数据原子的有限 集，用于描述数据对象的特性，可命名，可定义其数据类 型但没有独立含义(即脱离数据对象单独讨论数据项是没有 意义的)
1数据科学 (3)数据集( data set):数据对象的集合。例:MDB数据库 注:(a)数据集是一个数据对象的有限集合(b)些无限的数 据集(如:流数据)的数据在住何时刻都是有限的:(0数 据学通常是处理有限数据集的。 (4)元数据( mata data):描述数据的数据。ASCI表结构 变量NAME、结构 EMPLOYEE(ID,NAME,RANK),数据 库 DATABASE{ tablel(a.a2,…),tabe2(bl, b2,…),} (5)数据工具( data tool):计算机系统中存储的能够运行的计 算机程序或软件系统。 例:杀毒软件、病毒程序 注:(a)数据工具是一种特殊的数据对象;(b)数据工具通常用 于处理数据但数据工具本身也是数据,可以被其他数据 工具处理
1 数据科学 (3)数据集(data set)：数据对象的集合。 例：MDB数据库 注：(a)数据集是一个数据对象的有限集合;(b)一些无限的数 据集(如：流数据)的数据在任何时刻都是有限的；(c)数 据学通常是处理有限数据集的。 (4)元数据(mata data)：描述数据的数据。 ASCII表结构、 变量NAME、结构EMPLOYEE (ID，NAME，RANK)，数据 库DATABASE {tablel (al. a2，…)， table2 (bl， b2，…)，….}。 (5)数据工具(data tool)：计算机系统中存储的能够运行的计 算机程序或软件系统。 例：杀毒软件、病毒程序 注：(a)数据工具是一种特殊的数据对象;(b)数据工具通常用 于处理数据但数据工具本身也是数据，可以被其他数据 工具处理
1数据科学 1.2数据自然界 (1)数据自然界:所有计算机系统中的数据构成了数据自然界。 注:计算机系统是数据的载体,不是数据自然界的组成部分。 (2)数据自然界特征:不为人控制;具有未知性、多样性和复杂 性等自然界特征 注:(a)从个体上看,数据是可控的;从总体上看,数据不为人 控制 (b)数据的含义未知,规律未知,现实世界没有的未知; (c)数据类型:私人、企业、政府、公共等数据库; (d)组织形式:专用格式、通用格式、互联网等数据形式
1 数据科学 1.2 数据自然界 (1)数据自然界：所有计算机系统中的数据构成了数据自然界。 注：计算机系统是数据的载体，不是数据自然界的组成部分。 (2)数据自然界特征:不为人控制；具有未知性、多样性和复杂 性等自然界特征。 注：(a)从个体上看，数据是可控的；从总体上看，数据不为人 控制; (b)数据的含义未知，规律未知，现实世界没有的未知; (c)数据类型：私人、企业、政府、公共等数据库； (d)组织形式：专用格式、通用格式、互联网等数据形式
1数据科学 1.3数据学 (1)数据学:研究探索数据自然界奥秘的理论、方法和技术。 注:(a)研究对象:数据自然界; (b)研究内容:数据的各种类型、状态、属性及变化形式 和变化规律; (c)目的:揭示自然界和人类行为的现象与规律。 注:(a)数据记录了宇宙和生命现象人文和社会。 (b)寻找数据所含的规律,就是探索宇宙、生命、人类行 为、社会发展的规律
1 数据科学 1.3 数据学 (1)数据学：研究探索数据自然界奥秘的理论、方法和技术。 注：(a)研究对象：数据自然界; (b)研究内容：数据的各种类型、状态、属性及变化形式 和变化规律； (c)目的：揭示自然界和人类行为的现象与规律。 注：(a)数据记录了宇宙和生命现象人文和社会。 (b)寻找数据所含的规律，就是探索宇宙、生命、人类行 为、社会发展的规律
1数据科学 (2)数据学的框架 数据学应用宇宙数据学生命数据学行为数据学 数据学基础 数据获取 数据分析 数据感知 数据勘探 数据实验 数据可视化 数据伪装 数据挖掘 数据可嗅化 数据辨伪 数据百科全书 数据可听化 「数据整合[数据分类[数据可触化 数据科学基本假设和基础理论
1 数据科学 (2)数据学的框架
1数据科学 注:(a)数据勘探:勘探数据集的结构(分析数据集的物理结 构、逻辑结构)和总体特性(用抽样分析的方法发现数据集 服从的分布、个体性或群体性、是否有簇或关联规则 (b)数据实验( data experiment):验证自然界和数据自然 的假说和规律、模拟人文与社会行为、发现数据规律 数据实验通过实验的方式(实验对象、工具、方法和步骤 观察手段等),对数据进行实验,获得实验结果,通过观 察实验结果对假说和预的规律进行验证。 c数据伪装( data camouflage):将暴露在公众可及地方 自己的数据进行伪装,使得别人即使获得该数据也无 法知道其数据含义。 (d)数据辨伪( data perception):识别经过伪装的数据
1 数据科学 注：(a)数据勘探：勘探数据集的结构(分析数据集的物理结 构、逻辑结构)和总体特性(用抽样分析的方法发现数据集 服从的分布、个体性或群体性、是否有簇或关联规则)。 (b)数据实验(data experiment) ：验证自然界和数据自然 界的假说和规律、模拟人文与社会行为、发现数据规律。 数据实验通过实验的方式(实验对象、工具、方法和步骤、 观察手段等)，对数据进行实验，获得实验结果，通过观 察实验结果对假说和预的规律进行验证。 (c)数据伪装(data camouflage) ：将暴露在公众可及地方 的自己的数据进行伪装，使得别人即使获得该数据也无 法知道其数据含义。 (d)数据辨伪(data perception)：识别经过伪装的数据
1数据科学 别类,形成数据谱系和发展历史的影数据分门 注:(e)数据分类学( data taxonomy):将 (f)数据感知( data awareness):像感受大自然那 样感受数据自然界,包含数据可视化、数据可听 化、数据可嗅可触化等方法和技术。 (g)专门领域的数据学:针对具体领域和环境的 数据学,即专门领域的数据学,即专门的理论、 技术和方法
1 数据科学 注：(e)数据分类学(data taxonomy) ：将数据分门 别类，形成数据谱系和发展历史图谱。 (f)数据感知(data awareness) ：像感受大自然那 样感受数据自然界，包含数据可视化、数据可听 化、数据可嗅可触化等方法和技术。 (g)专门领域的数据学：针对具体领域和环境的 数据学，即专门领域的数据学，即专门的理论、 技术和方法
数据矿山1数据挖掘工具信息金块 2数据挖掘 人类已进入一个崭新的信息时代,数据库中存储的数据量急剧 膨胀,需要从海量数据库和大量繁杂信息中提取有价值的知 识,进一步提高信息的利用率。 产生了一个新的研究 基于数据库的知识发现及相应的 薮据挖掘理论和技术的研究。 随着大数据库的建立和海量数据的不断涌现,必然提出对强 有力的数据分析工县的迫追切需求,但现实情况往往是“数 快速增长的海量数据收集、存放在大型数据库中,没有强有 力的工具,理解它们已经远远超出人的能力。因此,有人 称之为:“数据坟墓”。 由于专家系统工具过分依赖用户或专家人工地将知识输入知 库中,而且分析结果往往带有偏差和错误,再加上耗时、 费用高,故不可行
2 数据挖掘 人类已进入一个崭新的信息时代 ,数据库中存储的数据量急剧 膨胀,需要从海量数据库和大量繁杂信息中提取有价值的知 识，进一步提高信息的利用率。 产生了一个新的研究方向：基于数据库的知识发现及相应的 数据挖掘理论和技术的研究。 随着大数据库的建立和海量数据的不断涌现，必然提出对强 有力的数据分析工具的迫切需求。但现实情况往往是“数 据十分丰富，而信息相当贫乏。 ” 快速增长的海量数据收集、存放在大型数据库中，没有强有 力的工具，理解它们已经远远超出人的能力。因此，有人 称之为：“数据坟墓” 。 由于专家系统工具过分依赖用户或专家人工地将知识输入知 识库中，而且分析结果往往带有偏差和错误，再加上耗时、 费用高，故不可行。 数据矿山 信息金块 数据挖掘工具