通过本课程的学习旨在让学生实现以下教学目的： (1)培养合格的社会主义事业接班人： (2)拓宽学生眼界，使学生认识数据采集与预处理在大数据等前沿领域的先进 应用，同时掌握相关数据处理方法： (3)熟悉大数据实验环境的搭建方法：了解网络爬虫的基础知识，掌握使用网 络爬虫获取网页数据的方法：了解Kafka的特性，掌握使用Python操作Kafka的方 法：了解Flume的组件功能，掌握使用Flume采集数据的方法：了解数据仓库中的数 据集成方法，熟悉ETL和CDC:掌握ETL工具Kettle的基本使用方法：掌握使用pandas 进行数据清洗的方法。 本课程以实践教学为主，并提供大量补充学习资料，以深化学生对知识的理解。 同时，在课堂上为学生展示丰富的实际应用案例，激发学生学习兴趣，开拓学生视野 培养学生的数据能力。 四、教学内容及要求 第一章概述 (一)目的与要求 通过本章的学习要求学生达到：了解数据分析过程和数据采集与预处理的 任务：掌握数据的概念、类型、组织形式等：掌握数据预处理的主要步骤： 了解数据采集与预处理对大数据应用的作用及全球化过程中我国大数据产业 快速发展的伟大成就：理解为什么今天的中国，对于数据应用型企业数据采 集与预处理的重要性 (二)教学内容 a)数据 i.数据的概念 ii.数据类型 iii.数据的组织形式 iv.数据的价值 V,数据爆炸作 b)数据分析过程 C)数据采集与预处理的任务 d)数据采集 ⅰ。数据采集的概今 ii.数据采集的三大要点 iii.数据采集的数据源 iv.数据采集方法2 通过本课程的学习旨在让学生实现以下教学目的： （1） 培养合格的社会主义事业接班人； （2） 拓宽学生眼界，使学生认识数据采集与预处理在大数据等前沿领域的先进 应用，同时掌握相关数据处理方法； （3） 熟悉大数据实验环境的搭建方法；了解网络爬虫的基础知识，掌握使用网 络爬虫获取网页数据的方法；了解 Kafka 的特性，掌握使用 Python 操作 Kafka 的方 法；了解 Flume 的组件功能，掌握使用 Flume 采集数据的方法；了解数据仓库中的数 据集成方法，熟悉 ETL 和 CDC；掌握 ETL 工具 Kettle 的基本使用方法；掌握使用 pandas 进行数据清洗的方法。 本课程以实践教学为主，并提供大量补充学习资料，以深化学生对知识的理解。 同时，在课堂上为学生展示丰富的实际应用案例，激发学生学习兴趣，开拓学生视野， 培养学生的数据能力。 四、教学内容及要求 第一章 概述 （一）目的与要求 通过本章的学习要求学生达到：了解数据分析过程和数据采集与预处理的 任务；掌握数据的概念、类型、组织形式等；掌握数据预处理的主要步骤； 了解数据采集与预处理对大数据应用的作用及全球化过程中我国大数据产业 快速发展的伟大成就；理解为什么今天的中国，对于数据应用型企业数据采 集与预处理的重要性。 （二）教学内容 a) 数据 i. 数据的概念 ii. 数据类型 iii. 数据的组织形式 iv. 数据的价值 v. 数据爆炸 b) 数据分析过程 c) 数据采集与预处理的任务 d) 数据采集 i. 数据采集的概念 ii. 数据采集的三大要点 iii. 数据采集的数据源 iv. 数据采集方法