山东理子大军 SHANDONG UNIVERSITY OF TECHNOLOGY 第三篇数据处理与信息管理 第六章大数据基础
第三篇 数据处理与信息管理 第六章 大数据基础 1
0 目录 件菜凤利学与拉未学腐 概述 大数据采集与处理 大数据管理 大数据分析与挖掘 5.j 大数据可视化
目录 4. 大数据分析与挖掘 3. 大数据管理 2. 大数据采集与处理 1. 概述 5. 大数据可视化 2
6.1概述 计草机利学与校未学网 ·数据 在计算机科学中，数据是指所有能输入到 计算机并被计算机程序处理的符号的介质的总称， 是用于输入电子计算机进行处理，具有一定意义 的数字、字母、符号和模拟量等的通称。 在计算机系统中，数据以二进制信息单元 0,1的形式表示。 1 Byte =8 bit,1 KB =1024 Bytes,1 MB=1024 KB,1 GB=1024 MB, 1TB=1024GB,1PB=1024TB,1EB=1024PB,1ZB=1024EB, 1YB=1024ZB,1BB=1024YB,1NB=1024BB,1DB=1024NB
6.1 概述 ◼ 数据 在计算机科学中，数据是指所有能输入到 计算机并被计算机程序处理的符号的介质的总称， 是用于输入电子计算机进行处理，具有一定意义 的数字、字母、符号和模拟量等的通称。 在计算机系统中，数据以二进制信息单元 0,1的形式表示。 1 Byte =8 bit，1 KB = 1024 Bytes，1 MB = 1024 KB，1 GB = 1024 MB， 1 TB = 1024 GB，1 PB = 1024 TB，1 EB = 1024 PB，1 ZB = 1024 EB， 1 YB = 1024 ZB，1 BB = 1024 YB，1 NB = 1024 BB，1 DB = 1024 NB 3
6.1概述 杜算根科学与技本学图 ·大数据的概念 口麦肯锡对大数据的定义是：一种规模大到在获取、 存储、管理、分析方面大大超出了传统数据库软件 工具能力范围的数据集合，具有海量的数据规模、 快速的数据流转、多样的数据类型和价值密度低四 大特征。 ▣维克托·迈尔-舍恩伯格与肯尼斯·库克耶编写的《大 数据时代》中提到：大数据是指不用随机分析法 (抽样调查)这种捷径，而是对所有数据进行分析 处理
6.1 概述 ◼ 大数据的概念 ❑ 麦肯锡对大数据的定义是：一种规模大到在获取、 存储、管理、分析方面大大超出了传统数据库软件 工具能力范围的数据集合，具有海量的数据规模、 快速的数据流转、多样的数据类型和价值密度低四 大特征。 ❑ 维克托·迈尔-舍恩伯格与肯尼斯·库克耶编写的《大 数据时代》中提到：大数据是指不用随机分析法 （抽样调查）这种捷径，而是对所有数据进行分析 处理。 4
6.1概述 0 计草机利学与校未学网 ■大数据的特征 大数据有4个特征，简称4V: 口数据规模庞大(Volume) 0 数据种类繁多(Variety) 口数据流转速度快(Velocity) 口价值密度低(Vaue)
6.1 概述 ◼ 大数据的特征 大数据有4个特征，简称4V： ❑ 数据规模庞大（Volume） ❑ 数据种类繁多（Variety） ❑ 数据流转速度快（Velocity） ❑ 价值密度低（Value） 5
6.1概述 0 件菜凤利学与拉未学腐 ■大数据的应用 口金融大数据 大数据在金融行业的应用价值体现在以下几个方面： (1)提供决策支持 (2)提升数据资产管理能力 (3)实现精准营销服务 (4)增强风险管控能力
6.1 概述 ◼ 大数据的应用 ❑ 金融大数据 大数据在金融行业的应用价值体现在以下几个方面： （1）提供决策支持 （2）提升数据资产管理能力 （3）实现精准营销服务 （4）增强风险管控能力 6
6.1概述 0 计草机利学与校未学网 ■大数据的应用 口工业大数据 工业大数据的应用价值体现在以下几个方面： (1)加速产品创新 (2)优化供应链 (3)完善产品质量保障 (4)提升制造智能化水平
6.1 概述 ◼ 大数据的应用 ❑ 工业大数据 工业大数据的应用价值体现在以下几个方面： （1）加速产品创新 （2）优化供应链 （3）完善产品质量保障 （4）提升制造智能化水平 7
6.2大数据采集与预处理 件菜凤利学与技未学厕 ·数据采集是指从传感器、社交网络、移动互联 网等获得各种类型的结构化、半结构化及非结 构化的海量数据并存储在某种设备上的过程。 数据采集是大数据处理流程的第一步，是大数 据处理的基础。 大数据采集方法：系统日志采集、网络数据采集、 数据库采集、传感器采集等
6.2 大数据采集与预处理 ◼ 数据采集是指从传感器、社交网络、移动互联 网等获得各种类型的结构化、半结构化及非结 构化的海量数据并存储在某种设备上的过程。 数据采集是大数据处理流程的第一步，是大数 据处理的基础。 ◼ 大数据采集方法：系统日志采集、网络数据采集、 数据库采集、传感器采集等 8
6.2大数据采集与预处理 计草机利学与校未学网 ■数据预处理是指在数据进行挖掘、分析之前， 对原始数据进行审核、筛选、排序等必要的处 理，使得不同来源的数据整合成一致的、适合 数据分析算法和工具读取的数据。 ■数据预处理有多种方法：数据清理、数据集成、 数据变换、数据归约等
6.2 大数据采集与预处理 ◼ 数据预处理是指在数据进行挖掘、分析之前， 对原始数据进行审核、筛选、排序等必要的处 理，使得不同来源的数据整合成一致的、适合 数据分析算法和工具读取的数据。 ◼ 数据预处理有多种方法：数据清理、数据集成、 数据变换、数据归约等。 9
6.3大数据管理 杜算凤利学气技本学图 ·数据管理是利用计算机硬件和软件技术对采集 到的数据存储起来，建立相应的数据库，并进 行处理和调用。 10
6.3 大数据管理 ◼ 数据管理是利用计算机硬件和软件技术对采集 到的数据存储起来，建立相应的数据库，并进 行处理和调用。 10