3.3.2. url1ib3模块 3.3.3. requests模块 3.4.定制requests 3.4.1. 传递URL参数 3.42 定制请求头 3.4.3. 网络超时 3.5.解析网页 3.5.1. BeautifulSoup简介 3.5.2. BeautifulSoup四大对象 3.5.3. 遍历文档树 3.5.4. CSS选择器 3.6.综合实例 3.6.1. 实例1：采集网而数据保存到文木 3.6.2. 实例2：采集网页数据保存到MySQL数据库 3.7.Scrapy框架 3.7.1. Scrapy框架概述 37.2 Xpath语言 3.7.3. Scrapy框架应用实例 (三)思考与实践 1.网络爬虫有哪些类型 2.什么是反爬机制？ 3.Scrapy 工作流的主要步骤有哪些 4.实践：实验2网络爬虫初级实践。 (四)数学方法与手段 课堂讲授，多媒体教学，实验教学和课堂讨论等。 第四章分布式消息系统Kafka (一)目的与要求 通过本章的学习要求学生达到：了解分布式消息订阅分发系统在数据采集 中的重要地位，理解分布式消息系统Kafka与传统消息系统之间的区别。 (二)教学内容 4.1.Kafka简介 4.1.L.Kafka的特性 4.1.2. Kafka的应用场景 4.1.3. Kafka的消息传递模式 5 5 3.3.2. urllib3 模块 3.3.3. requests 模块 3.4. 定制 requests 3.4.1. 传递 URL 参数 3.4.2. 定制请求头 3.4.3. 网络超时 3.5. 解析网页 3.5.1. BeautifulSoup 简介 3.5.2. BeautifulSoup 四大对象 3.5.3. 遍历文档树 3.5.4. CSS 选择器 3.6. 综合实例 3.6.1. 实例 1：采集网页数据保存到文本 3.6.2. 实例 2：采集网页数据保存到 MySQL 数据库 3.7. Scrapy 框架 3.7.1. Scrapy 框架概述 3.7.2. Xpath 语言 3.7.3. Scrapy 框架应用实例 （三）思考与实践 1. 网络爬虫有哪些类型？ 2. 什么是反爬机制？ 3. Scrapy 工作流的主要步骤有哪些？ 4. 实践：实验 2 网络爬虫初级实践。 （四）教学方法与手段 课堂讲授，多媒体教学，实验教学和课堂讨论等。 第四章 分布式消息系统 Kafka （一）目的与要求 通过本章的学习要求学生达到：了解分布式消息订阅分发系统在数据采集 中的重要地位，理解分布式消息系统 Kafka 与传统消息系统之间的区别。 （二）教学内容 4.1. Kafka 简介 4.1.1. Kafka 的特性 4.1.2. Kafka 的应用场景 4.1.3. Kafka 的消息传递模式