山东程子大？ SHANDONG UNIVERSITY OF TECHNOLOGY 第三篇数据处理与信息管理 第六章大数据基础
第三篇 数据处理与信息管理 第六章 大数据基础 1
0 目录 计纯规料学与技术学脑 概述 2。大数据采集与处理 大数据管理 大数据分析与挖掘 5。 大数据可视化 2
目录 4. 大数据分析与挖掘 3. 大数据管理 2. 大数据采集与处理 1. 概述 5. 大数据可视化 2
6.1概述 杜草机科举与技术学院 n数据 在计算机科学中，数据是指所有能输入到 计算机并被计算机程序处理的符号的介质的总称， 是用于输入电子计算机进行处理，具有一定意义 的数字、字母、符号和模拟量等的通称。 在计算机系统中，数据以二进制信息单元 0,1的形式表示。 1 Byte =8 bit,1 KB 1024 Bytes,1 MB 1024 KB,1 GB 1024 MB,1TB=1024GB,1PB=1024TB,1EB=1024PB,1ZB=1024 EB,1YB=1024ZB,1BB=1024YB,1NB=1024BB,1DB=1024 NB
6.1 概述 n 数据 在计算机科学中，数据是指所有能输入到 计算机并被计算机程序处理的符号的介质的总称， 是用于输入电子计算机进行处理，具有一定意义 的数字、字母、符号和模拟量等的通称。 在计算机系统中，数据以二进制信息单元 0,1的形式表示。 1 Byte =8 bit，1 KB = 1024 Bytes，1 MB = 1024 KB，1 GB = 1024 MB，1 TB = 1024 GB，1 PB = 1024 TB，1 EB = 1024 PB，1 ZB = 1024 EB，1 YB = 1024 ZB，1 BB = 1024 YB，1 NB = 1024 BB，1 DB = 1024 NB 3
6.1 概述 计纯规料学与技术学脑 n大数据的概念 q 麦肯锡对大数据的定义是：一种规模大到在获取、 存储、管理、分析方面大大超出了传统数据库软件 工具能力范围的数据集合，具有海量的数据规模、 快速的数据流转、多样的数据类型和价值密度低四 大特征。 ▣维克托·迈尔-舍恩伯格与肯尼斯·库克耶编写的 《大数据时代》中提到：大数据是指不用随机分析 法（抽样调查）这种捷径，而是对所有数据进行分 析处理
6.1 概述 n 大数据的概念 q 麦肯锡对大数据的定义是：一种规模大到在获取、 存储、管理、分析方面大大超出了传统数据库软件 工具能力范围的数据集合，具有海量的数据规模、 快速的数据流转、多样的数据类型和价值密度低四 大特征。 q 维克托·迈尔-舍恩伯格与肯尼斯·库克耶编写的 《大数据时代》中提到：大数据是指不用随机分析 法（抽样调查）这种捷径，而是对所有数据进行分 析处理。 4
6.1概述 0 杜草机科举与技术学园 n大数据的特征 大数据有4个特征，简称4V: 9 数据规模庞大(Volume) g数据种类繁多(Variety) q数据流转速度快(Velocity) q价值密度低 (Value)
6.1 概述 n 大数据的特征 大数据有4个特征，简称4V： q 数据规模庞大（Volume） q 数据种类繁多（Variety） q 数据流转速度快（Velocity） q 价值密度低（Value） 5
6.1概述 0 计纯规料学与技术学脑 n大数据的应用 ▣金融大数据 大数据在金融行业的应用价值体现在以下几个方面： (1)提供决策支持 (2)提升数据资产管理能力 (3)实现精准营销服务 (4)增强风险管控能力 6
6.1 概述 n 大数据的应用 q 金融大数据 大数据在金融行业的应用价值体现在以下几个方面： （1）提供决策支持 （2）提升数据资产管理能力 （3）实现精准营销服务 （4）增强风险管控能力 6
6.1概述 0 杜草机科举与技术学园 n大数据的应用 g工业大数据 工业大数据的应用价值体现在以下几个方面： (1)加速产品创新 (2)优化供应链 (3)完善产品质量保障 (4)提升制造智能化水平
6.1 概述 n 大数据的应用 q 工业大数据 工业大数据的应用价值体现在以下几个方面： （1）加速产品创新 （2）优化供应链 （3）完善产品质量保障 （4）提升制造智能化水平 7
6.2大数据采集与预处理 0 计算损料学与技术学时 n数据采集是指从传感器、社交网络、移动互联 网等获得各种类型的结构化、半结构化及非结 构化的海量数据并存储在某种设备上的过程。 数据采集是大数据处理流程的第一步，是大数 据处理的基础。 n大数据采集方法：系统日志采集、网络数据采集、 数据库采集、传感器采集等 6
6.2 大数据采集与预处理 n 数据采集是指从传感器、社交网络、移动互联 网等获得各种类型的结构化、半结构化及非结 构化的海量数据并存储在某种设备上的过程。 数据采集是大数据处理流程的第一步，是大数 据处理的基础。 n 大数据采集方法：系统日志采集、网络数据采集、 数据库采集、传感器采集等 8
6.2大数据采集与预处理 计年机科学与技术学树 数据预处理是指在数据进行挖掘、分析之前， 对原始数据进行审核、筛选、排序等必要的处 理，使得不同来源的数据整合成一致的、适合 数据分析算法和工具读取的数据。 n数据预处理有多种方法：数据清理、数据集成、 数据变换、数据归约等
6.2 大数据采集与预处理 n 数据预处理是指在数据进行挖掘、分析之前， 对原始数据进行审核、筛选、排序等必要的处 理，使得不同来源的数据整合成一致的、适合 数据分析算法和工具读取的数据。 n 数据预处理有多种方法：数据清理、数据集成、 数据变换、数据归约等。 9
6.3大数据管理 计纯规料学与技术学园 n数据管理是利用计算机硬件和软件技术对采集 到的数据存储起来，建立相应的数据库，并进 行处理和调用。 10
6.3 大数据管理 n 数据管理是利用计算机硬件和软件技术对采集 到的数据存储起来，建立相应的数据库，并进 行处理和调用。 10