Python数据分析第1章数据分析与可视化概述
第1章 数据分析与可视化概述 Python数据分析
2020年新冠肺炎各省累计确认病例分布示例500010005001005010n
2020年新冠肺炎各省累计确认 病例分布示例
<matplotlib.legend.LegendatOx89leb70)全国新冠肺炎每日发展趋势图80000累计确诊提似现有确诊70000治愈60000500003.4000豫3000020000100002020-02-192020-02-1220-02-2622020-01-29N01o2020-02-20202020
1.1 数据分析，数据：是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。，信息：是数据的内涵，信息依赖数据来表达。也就是说数据是信息的表现形式，信息是数据有意义的表示。数据可以是符号、文字、数字、语音、图像、视频等形式
1.1 数据分析 • 数据：是指对客观事件进行记录并可以鉴别的符号，是对客 观事物的性质、状态以及相互关系等进行记载的物理符号或 这些物理符号的组合。它是可识别的、抽象的符号。 • 信息：是数据的内涵，信息依赖数据来表达。也就是说数据 是信息的表现形式，信息是数据有意义的表示。数据可以是 符号、文字、数字、语音、图像、视频等形式
1.1数据分析数据是爆炸了，信息却很贫乏信息数据
1.1 数据分析 数据 信 息 数据是爆炸了，信息却很贫乏
1.1 数据分析·数据分析：是指用适当的统计分析方法对收集来的大量数据进行分析，为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。从广义的角度来说，数据分析涵盖了数据分析和数据挖掘两个部分。·从狭义的角度来说，数据分析和数据挖掘存在不同之处。我们常说的数据分析是指狭义的数据分析
• 数据分析：是指用适当的统计分析方法对收集来的 大量数据进行分析，为提取有用信息和形成结论而 对数据加以详细研究和概括总结的过程。 • 从广义的角度来说，数据分析涵盖了数据分析和数 据挖掘两个部分。 • 从狭义的角度来说，数据分析和数据挖掘存在不同 之处。我们常说的数据分析是指狭义的数据分析。 1.1 数据分析
1.1数据分析广义的数据分析包括狭义数据分析广义数据分析和数据挖掘狭义的数据分析是指根据分析目狭义数据分析数据挖掘的，采用对比分析、分组分析、交叉分析和回归分析等分析方法，对收集对比分析分组交义回归分析智能推荐关联规则聚类模型分类模型来的数据进行处理与分析，提取有价..分折值的信息，发挥数据的作用，得到一个特征统计量结果的过程。数据挖掘则是从大量的、不完全指标统计量模型或规则的、有噪声的、模糊的、随机的实际应用数据中，通过应用聚类、分类回归和关联规则等技术，挖掘潜在价数据隐含信息值的过程
广义的数据分析包括狭义数据分析 和数据挖掘。 狭义的数据分析是指根据分析目 的，采用对比分析、分组分析、交叉 分析和回归分析等分析方法，对收集 来的数据进行处理与分析，提取有价 值的信息，发挥数据的作用，得到一 个特征统计量结果的过程。 数据挖掘则是从大量的、不完全 的、有噪声的、模糊的、随机的实际 应用数据中，通过应用聚类、分类、 回归和关联规则等技术，挖掘潜在价 值的过程。 广义数据分析 狭义数据分析 数据挖掘 对 比 分 析 分 组 分 析 交 叉 分 析 回 归 分 析 . . 智 能 推 荐 关 联 规 则 分 类 模 型 聚 类 模 型 . . 指标统计量 模型或规则 数据隐含信息 1.1 数据分析
数据分析与数据挖掘的区别差异角度数据分析数据挖掘描述和探索性分析，评估现状和修正技术性的“采矿”过程，发现未定义1不足技术知的模式和规律实际的业务知识实际的业务知识侧重点统计学、数据库、Excel、可视化等过硬的数学功底和编程技术技能模型或规则需结合业务知识解读统计结果结果Increasing potentialtosupportEndUserDecisionbusiness dec isionsMakingBusinessData PresentationAnalystVisualization TechniquesData MiningDataInformationDiscoveryAnalystData ExplorationSiatistical Summan Ouerving and ReportingDataPreprocessing/integration,DataWarehousesDBADataSourcesPaner Files Weh dociments ScientificexnerimentsDatahase Sustems
差异角度 数据分析 数据挖掘 定义 描述和探索性分析，评估现状和修正 不足 技术 技术性的“采矿”过程，发现未 知的模式和规律 侧重点 实际的业务知识 实际的业务知识 技能 统计学、数据库、Excel、可视化等 过硬的数学功底和编程技术 结果 需结合业务知识解读统计结果 模型或规则 数据分析与数据挖掘的区别 Increasing potential to support business decisions End User Business Analyst Data Analyst DBA Decision Making Data Presentation Visualization Techniques Data Mining Information Discovery Data Exploration Statistical Summary, Querying, and Reporting Data Preprocessing/Integration, Data Warehouses Data Sources Paper, Files, Web documents, Scientific experiments, Database Systems
1.1数据分析·典型的数据分析的流程需求分析数据获取部署数据预处理分析与建模模型评价与优化对比分析数据合并分组分析网络爬虫业务部门业务系统聚类模型评价交叉分析数据清洗回归分析财务部门历史数据财务系统分类模型评价智能推荐数据标准化关联规则生产部门实时数据生产系统回归模型评价分类模型数据变换聚类模型
需求分析 数据获取 数据预处理 分析与建模 模型评价与优化 部署 业务部门 财务部门 生产部门 网络爬虫 历史数据 实时数据 数据清洗 数据标准化 数据变换 数据合并 对比分析 分组分析 交叉分析 回归分析 智能推荐 关联规则 分类模型 聚类模型 聚类模型评价 分类模型评价 回归模型评价 业务系统 财务系统 生产系统 • 典型的数据分析的流程 1.1 数据分析
1.2数据可视化数据可视化，即以图形化方式表示数据。它主要是借助于图形化手段，让人们可以通过图形直观地看到数据分析的结果。发现数据内在的价值，从而帮助决策。·有效的可视化能够显著减少人们在处理信息和获取有价值见解所需的时间。数据分析和数据可视化这两个术语密不可分。在实际处理数据时，数据分析先于可视化输出，而可视化分析又是呈现有效分析结果的一种好方法
1.2 数据可视化 • 数据可视化，即以图形化方式表示数据。它主要是借助于图形 化手段，让人们可以通过图形直观地看到数据分析的结果。发 现数据内在的价值，从而帮助决策。 • 有效的可视化能够显著减少人们在处理信息和获取有价值见解 所需的时间。 • 数据分析和数据可视化这两个术语密不可分。在实际处理数据 时，数据分析先于可视化输出，而可视化分析又是呈现有效分 析结果的一种好方法