
《Python网络爬虫实务》教学大纲课程名称:Python网络爬虫实务课程类别(必修/选修):选修课程英文名称:PythonWebCrawlerPractice其中实验/实践学时:16总学时/周学时/学分:32/2/2先修课程:程序设计I,Web前端应用开发后续课程支撑:人工智能与机器学习授课地点:实验楼503授课时间:周三5,6节2-17周授课对象:2022级电商1,2班开课学院:粤台产业科技学院任课教师姓名/职称:贺丹/讲师答疑时间、地点与方式:课堂或课后,教室或通讯软件,当面或线上答照课程考核方式:开卷()闭卷()课程论文()其它()报告使用教材:《Python爬虫超详细实战攻略:微课视频版》,夏敏捷等,清华大学出版社,2021年1月,ISBN:9787302538752教学参考资料:无课程愉介:爬虫程序是数据技术收集信息的基础,爬取到需要的数据后,就可以对数据进行分析和建立应用。网络爬虫就是自动的从互联网上获取数据的程序。基本上我们在浏览网站时所能见到的数据都可以通过爬虫程序保存下来,可以透过爬虫程序来获取相关的数据。本课程主要分成四大部分,第一部分为网页基础复习,包括html,css,javascript,jQuery的介绍。第二部分为网络爬虫概念及数据请求方法介绍,包括肥虫基础知识、浏览器开发者工具及requests介绍。第三部分为数据提取方法,包括正则化、Xpath及beautifulsoup4等三种提取数据的方法。第四部分为进阶爬虫技术及综合实践,包括selenium工具及实际鹿虫演练。1
1 《Python 网络爬虫实务》教学大纲 课程名称:Python 网络爬虫实务 课程类别(必修/选修):选修 课程英文名称:Python Web Crawler Practice 总学时/周学时/学分:32/2/2 其中实验/实践学时:16 先修课程:程序设计 I,Web 前端应用开发 后续课程支撑:人工智能与机器学习 授课时间:周三 5,6 节 2-17 周 授课地点:实验楼 503 授课对象:2022 级电商 1,2 班 开课学院:粤台产业科技学院 任课教师姓名/职称:贺丹/讲师 答疑时间、地点与方式:课堂或课后,教室或通讯软件,当面或线上答疑 课程考核方式:开卷() 闭卷( ) 课程论文() 其它(√)报告 使用教材: 《Python 爬虫超详细实战攻略:微课视频版》,夏敏捷等,清华大学出版社,2021 年 1 月,ISBN:9787302538752 教学参考资料: 无 课程简介: 爬虫程序是数据技术收集信息的基础,爬取到需要的数据后,就可以对数据进行分析和建立应用。网络爬虫就是自动的从互联网上获取数据的程序。 基本上我们在浏览网站时所能见到的数据都可以通过爬虫程序保存下来,可以透过爬虫程序来获取相关的数据。本课程主要分成四大部分,第一部分为 网页基础复习,包括 html, css, javascript, jQuery 的介绍。第二部分为网络爬虫概念及数据请求方法介绍,包括爬虫基础知识、浏览器开发者工具 及 requests 介绍。第三部分为数据提取方法,包括正则化、Xpath 及 beautifulsoup4 等三种提取数据的方法。第四部分为进阶爬虫技术及综合实践, 包括 selenium 工具及实际爬虫演练

课程教学目标及对毕业要求指标点的支撑:支撑毕业要求指标点毕业要求课程教学目标目标11-工程知识:能够运用数学、基础科学、计算机科培养学生具备智能互联网系统开发运维所涉及的软件工1-工程知识:能够将数学、自然科学、学与技术、企业互联网平台系统、电子商务信息管程、人工智能信息工程、商务信息管理等方面专业知识与工程基础和专业知识用于解决计算机理与信息系统、电子商务经营管理等相关知识,对技能,成为专业技术人才,能以科学方法解决问题与进行工程专业的复杂工程问题。企业互联网与电子商务系统开发运维问题具有解创新。决能力。目标2:3-设计/开发解决方案:能够设计(开3-设计/开发解决方案:能够掌握企业互联网与电培养学生具有独立思考、创新思维、组织管理、沟通协调、发)满足计算机工程特定需求的体系,子商务系统的前端设计、后端设计、数据库设计、自我挑战、终身学习的能力。并在设计环节中考虑社会、健康、安全、数据挖掘、大数据分析、云计算等基础理论与技术,法律、文化及环境等因素。在提出复杂具有追求创新的意识,对企业互联网与电子商务系工程问题的解决方案时具有创新意识。统开发运维问题提出创新解决方案。目标3:8-职业规范:具有人文社会科学素养、8-职业规范:进行企业互联网与电子商务系统开发提升学生人文素养、社会服务的情操,培养学生良好的职社会责任感,能够在工程实践中理解并运维工作时,能够遵守职业道德与规范,履行社会业道德与社会责任感。遵守工程职业道德和行为规范,做到责责任并发挥正面影响力。任担当、贡献国家、服务社会。目标4:9-个人和团队:在解决计算机工程专业9-个人和团队:具有积极正面谋事的人格特质与良培养学生具有创新力、团队力、专业力、跨界力、服务力的复杂工程问题时,能够在多学科组成性团队互动的做事态度,在企业互联网与电子商务与英语运用能力,并具有国际观,举献社会国家及人类。的团队中承担个体、团队成员或负责人系统开发运维复杂问题解决过程中能够发挥关键的角色。性作用,让问题以团队合作方式快速完成。2
2 课程教学目标及对毕业要求指标点的支撑: 课程教学目标 支撑毕业要求指标点 毕业要求 目标 1: 培养学生具备智能互联网系统开发运维所涉及的软件工 程、人工智能信息工程、商务信息管理等方面专业知识与 技能,成为专业技术人才,能以科学方法解决问题与进行 创新。 1-工程知识:能够将数学、自然科学、 工程基础和专业知识用于解决计算机 工程专业的复杂工程问题。 1-工程知识:能够运用数学、基础科学、计算机科 学与技术、企业互联网平台系统、电子商务信息管 理与信息系统、电子商务经营管理等相关知识,对 企业互联网与电子商务系统开发运维问题具有解 决能力。 目标 2: 培养学生具有独立思考、创新思维、组织管理、沟通协调、 自我挑战、终身学习的能力。 3-设计/开发解决方案:能够设计(开 发)满足计算机工程特定需求的体系, 并在设计环节中考虑社会、健康、安全、 法律、文化及环境等因素。在提出复杂 工程问题的解决方案时具有创新意识。 3-设计/开发解决方案:能够掌握企业互联网与电 子商务系统的前端设计、后端设计、数据库设计、 数据挖掘、大数据分析、云计算等基础理论与技术, 具有追求创新的意识,对企业互联网与电子商务系 统开发运维问题提出创新解决方案。 目标 3: 提升学生人文素养、社会服务的情操,培养学生良好的职 业道德与社会责任感。 8-职业规范:具有人文社会科学素养、 社会责任感,能够在工程实践中理解并 遵守工程职业道德和行为规范,做到责 任担当、贡献国家、服务社会。 8-职业规范:进行企业互联网与电子商务系统开发 运维工作时,能够遵守职业道德与规范,履行社会 责任并发挥正面影响力。 目标 4: 培养学生具有创新力、团队力、专业力、跨界力、服务力 与英语运用能力,并具有国际观,奉献社会国家及人类。 9-个人和团队:在解决计算机工程专业 的复杂工程问题时,能够在多学科组成 的团队中承担个体、团队成员或负责人 的角色。 9-个人和团队:具有积极正面谋事的人格特质与良 性团队互动的做事态度,在企业互联网与电子商务 系统开发运维复杂问题解决过程中能够发挥关键 性作用,让问题以团队合作方式快速完成

理论教学进程表教学模式支撑课周次教学主题授课教师学时数教学内容(重点、难点、课程思政融入点)教学方法作业安排线下/混合式程目标目标一课堂讲授与置点:PyCharm、HBuilderX、typora软件线下贺丹12目标三开发工具安装小组讨论安装、爬虫相关法律问题解读目标四重点:资源路径、列表标签、表格标签难点:表单提交课堂讲授与课程恩政融入点:透过人文关怀角度教学目标一线下贺丹13HTML操作小组讨论目标二阐述网络爬虫概念,培养学生具备专业知识用于造福人民,善尽社会责任,业养成科学严谨、认真细致、实事求是的科学态度和职业道德。课堂讲授与重点:css引入、css属性、css选择器目标一贺丹I线下4CSS操作小组讨论目标二难点:css选择器重点:JS使用、数据类型、函数定义、条课堂讲授与JavaScript操课后作业:HTML目标一贺丹1线下1O件语句小组讨论作I与CSS练习目标二难点:函数定义、条件语句重点:获取标签属性、操作标签属性、数课堂讲授与目标一JavaScript操贺丹线下16组操作、循环语句、字符串拼接、对象小组讨论作II目标二难点:获取标签属性、操作标签属性3
3 理论教学进程表 周次 教学主题 授课教师 学时数 教学内容(重点、难点、课程思政融入点) 教学模式 线下/混合式 教学方法 作业安排 支撑课 程目标 2 开发工具安装 贺丹 1 重点:PyCharm、HBuilderX、typora 软件 安装、爬虫相关法律问题解读 线下 课堂讲授与 小组讨论 目标一 目标三 目标四 3 HTML 操作 贺丹 1 重点:资源路径、列表标签、表格标签 难点:表单提交 课程思政融入点:透过人文关怀角度教学 阐述网络爬虫概念,培养学生具备专业知 识用于造福人民,善尽社会责任,並养成 科学严谨、认真细致、实事求是的科学态 度和职业道德。 线下 课堂讲授与 小组讨论 目标一 目标二 4 CSS 操作 贺丹 1 重点:css 引入、css 属性、css 选择器 难点:css 选择器 线下 课堂讲授与 小组讨论 目标一 目标二 5 JavaScript 操 作 I 贺丹 1 重点:JS 使用、数据类型、函数定义、条 件语句 难点:函数定义、条件语句 线下 课堂讲授与 小组讨论 课后作业:HTML 与 CSS 练习 目标一 目标二 6 JavaScript 操 作 II 贺丹 1 重点:获取标签属性、操作标签属性、数 组操作、循环语句、字符串拼接、对象 难点:获取标签属性、操作标签属性 线下 课堂讲授与 小组讨论 目标一 目标二

重点:jQuery用法、jQuery选择器、选择集过滤、获取和设置元素内容难点:jQuery选择器、获取和设置元素内容课堂讲授与目标一课程思政融入点:通过学习jQuery选择贺丹线下7jQuery操作!小组讨论目标二器和获取、设置元素内容,同学们可以培养细致入微的工作态度。选择器的使用需要同学们仔细思考和准确定位网页元素,这种细致的态度在实际工作中同样重要。鼓励同学们要学会从细节入手,确保每一步操作的准确性和有效性。重点:获取和设置元素属性、jQuery事件、目标一课堂讲授与json、ajax贺丹线下18jQuery操作II小组讨论目标二难点:获取和设置元素属性、jQuery事件、ajax重点:爬虫的流程、HTTP基本原理、HTTP请求的形式课后作业:目标一难点:HTTP请求的形式课堂讲授与线下贺丹19爬虫基础知识JavaScript与小组讨论目标二jQuery练习课程思政融入点:通过爬虫流程的学习,强调系统化思维和解决问题的能力。引导4
4 7 jQuery 操作 I 贺丹 1 重点:jQuery 用法、jQuery 选择器、选 择集过滤、获取和设置元素内容 难点:jQuery 选择器、获取和设置元素内 容 课程思政融入点:通过学习 jQuery 选择 器和获取、设置元素内容,同学们可以培 养细致入微的工作态度。选择器的使用需 要同学们仔细思考和准确定位网页元素, 这种细致的态度在实际工作中同样重要。 鼓励同学们要学会从细节入手,确保每一 步操作的准确性和有效性。 线下 课堂讲授与 小组讨论 目标一 目标二 8 jQuery 操作 II 贺丹 1 重点:获取和设置元素属性、jQuery 事件、 json、ajax 难点:获取和设置元素属性、jQuery 事件、 ajax 线下 课堂讲授与 小组讨论 目标一 目标二 9 爬虫基础知识 贺丹 1 重点:爬虫的流程、HTTP 基本原理、HTTP 请求的形式 难点:HTTP 请求的形式 课程思政融入点:通过爬虫流程的学习, 强调系统化思维和解决问题的能力。引导 线下 课堂讲授与 小组讨论 课后作业 : JavaScript 与 jQuery 练习 目标一 目标二

学生认识到,爬虫技术在数据收集和分析中发挥着重要作用,但必须遵守法律法规,尊重他人的隐私和版权。通过合法合规的爬虫实践,培养学生的社会责任感和职业道德。重点:浏览器开放者工具使用、socket课堂讲授与目标一浏览器开放者贺丹线下1介绍10工具操作小组讨论目标二难点:socket操作量点:requests基础操作、发送post请课堂讲授与目标一requests发送求、使用代理、cookie使用贺丹线下11请求难点:发送post请求、使用代理、cookie小组讨论目标二使用重点:正则表达式使用方法目标一数据提取方法:课堂讲授与贺丹I线下12正则表达式难点:正则表达式使用方法小组讨论目标二重点:Xpath安装、Xpath语法、Ixml模块难点:Xpath语法、1xml模块数据提取方法:课堂讲授与目标三贺丹线下113Xpath小组讨论目标四课程政融入点:通过华为公司在5G网络通讯技术领先全球却遭到美国无情打压的案例,鼓励同学们面对问题克服问题,学习从逆境中持续成长进步。引导同5
5 学生认识到,爬虫技术在数据收集和分析 中发挥着重要作用,但必须遵守法律法 规,尊重他人的隐私和版权。通过合法合 规的爬虫实践,培养学生的社会责任感和 职业道德。 1 0 浏览器开放者 工具操作 贺丹 1 重点:浏览器开放者工具使用、 socket 介绍 难点 : socket 操作 线下 课堂讲授与 小组讨论 目标一 目标二 1 1 requests 发送 请求 贺丹 1 重点 : requests 基础操作、发送 post 请 求、使用代理、 cookie 使用 难点:发送 post 请求、使用代理、 cookie 使用 线下 课堂讲授与 小组讨论 目标一 目标二 1 2 数据提取方法: 正则表达式 贺丹 1 重点:正则表达式使用方法 难点:正则表达式使用方法 线下 课堂讲授与 小组讨论 目标一 目标二 1 3 数据提取方法: Xpath 贺丹 1 重点 :Xpath 安装、 Xpath 语法、 lxml 模 块 难点 : Xpath 语法、 lxml 模块 课程思政融入点 :通过华为公司在 5G 网 络通讯技术领先全球却遭到美国无情打 压的案例,鼓励同学们面对问题克服问 题,学习从逆境中持续成长进步。引导同 线下 课堂讲授与 小组讨论 目标三 目标四

学们认识到,技术的发展和应用不仅需要专业知识,还需要坚韧不拨的精神和面对挑战的勇气。通过不断努力和创新,同学们可以在逆境中找到机会实现自我突破。目标一数据提取方法:重点:CSS选择器使用课堂讲授与课后作业:爬虫贺丹线下114bs4目标二难点:CSS选择器使用小组讨论案例实践重点:安装chromedriver、Selenium查找节点、切换iFrame难点:Selenium查找节点课程思政融入点:通过学习Selenium查找节点,培养同学们的逻辑思维和解决问Selenium 自动课堂讲授与目标一贺丹线下115题的能力。查找节点需要同学们仔细分析小组讨论化工具I目标二网页结构,选择合适的方法定位元素。这种逻辑思维和分析能力在实际工作中非常重要,能够帮助同学们高效解决问题。同时,强调团队合作和分享经验的重要性,通过与同学和老师的交流,共同提高技术水平。重点:动作链、页面滚动、延时等待、选Selenium自动课堂讲授与课后作业:爬虫目标三贺丹线下116项卡管理、异常处理、绕过检测化工具II小组讨论案例实践目标四难点:动作链、页面滚动、绕过检测6
6 学们认识到,技术的发展和应用不仅需要 专业知识,还需要坚韧不拔的精神和面对 挑战的勇气。通过不断努力和创新,同学 们可以在逆境中找到机会实现自我突破。 14 数据提取方法: bs4 贺丹 1 重点:CSS 选择器使用 难点:CSS 选择器使用 线下 课堂讲授与 小组讨论 课后作业:爬虫 案例实践 目标一 目标二 15 Selenium 自动 化工具 I 贺丹 1 重点:安装 chromedriver、Selenium 查 找节点、切换 iFrame 难点:Selenium 查找节点 课程思政融入点:通过学习 Selenium 查 找节点,培养同学们的逻辑思维和解决问 题的能力。查找节点需要同学们仔细分析 网页结构,选择合适的方法定位元素。这 种逻辑思维和分析能力在实际工作中非 常重要,能够帮助同学们高效解决问题。 同时,强调团队合作和分享经验的重要 性,通过与同学和老师的交流,共同提高 技术水平。 线下 课堂讲授与 小组讨论 目标一 目标二 16 Selenium 自动 化工具 II 贺丹 1 重点:动作链、页面滚动、延时等待、选 项卡管理、异常处理、绕过检测 难点:动作链、页面滚动、绕过检测 线下 课堂讲授与 小组讨论 课后作业:爬虫 案例实践 目标三 目标四

目标三重点:唯品会商品信息采集课堂讲授与贺丹线下117综合练习目标四难点:各种爬虫工具综合应用小组讨论合计16实践教学进程表教学支撑课项目类型(验证/综周次学时授课教师教学内容(重点、难点、课程思政融入点)实验项目名称方式合/设计)程目标目标一贺丹1综合实验课程前准备及软件安装2重点:PyCharm、HBuilderX、typora软件安装目标二目标一重点:资源路径、列表标签、表格标签贺丹1综合实验HTML基础知识3难点:表单提交目标二重点:css引入、css属性、css选择器目标一贺丹综合CSS基础知识1实验A难点:CSs选择器目标二重点:JS使用、数据类型、函数定义、条件语目标一贺丹综合实验JavaScript基础知识I1句5目标二难点:函数定义、条件语句重点:获取标签属性、操作标签属性、数组操目标一贺丹I综合实验JavaScript基础知识II6作、循环语句、字符串拼接、对象目标二难点:获取标签属性、操作标签属性重点:jQuery用法、jQuery选择器、选择集目标一贺丹综合实验jQuery基础知识I11过滤、获取和设置元素内容目标二难点:jQuery选择器、获取和设置元素内容7
7 17 综合练习 贺丹 1 重点:唯品会商品信息采集 难点:各种爬虫工具综合应用 线下 课堂讲授与 小组讨论 目标三 目标四 合计 16 实践教学进程表 周次 实验项目名称 授课教师 学时 教学内容(重点、难点、课程思政融入点) 项目类型(验证/综 合/设计) 教学 方式 支撑课 程目标 2 课程前准备及软件安装 贺丹 1 重点:PyCharm、HBuilderX、typora 软件安装 综合 实验 目标一 目标二 3 HTML 基础知识 贺丹 1 重点:资源路径、列表标签、表格标签 难点:表单提交 综合 实验 目标一 目标二 4 CSS 基础知识 贺丹 1 重点:css 引入、css 属性、css 选择器 难点:css 选择器 综合 实验 目标一 目标二 5 JavaScript 基础知识 I 贺丹 1 重点:JS 使用、数据类型、函数定义、条件语 句 难点:函数定义、条件语句 综合 实验 目标一 目标二 6 JavaScript 基础知识 II 贺丹 1 重点:获取标签属性、操作标签属性、数组操 作、循环语句、字符串拼接、对象 难点:获取标签属性、操作标签属性 综合 实验 目标一 目标二 7 jQuery 基础知识 I 贺丹 1 重点:jQuery 用法、jQuery 选择器、选择集 过滤、获取和设置元素内容 难点:jQuery 选择器、获取和设置元素内容 综合 实验 目标一 目标二

重点:获取和设置元素属性、jQuery事件、json、ajax难点:获取和设置元素属性、jQuery事件、ajax目标一贺丹综合实验jQuery基础知识II18课程思政融入点:要求学生处理实验数据必须目标二坚持实事求实、严谨的科学态度:要求学生实验过程中主动思考理论原理,在实验过程中去验证实验原理,使理论与实践相辅相成。重点:爬虫的流程、HTTP基本原理、HTTP请目标一爬虫基础知识贺丹1综合实验9求的形式目标二难点:HTTP请求的形式目标一重点:浏览器开放者工具使用、socket介绍贺丹综合期中考浏览器开放者工具110目标二难点:socket操作重点:requests基础操作、发送post请求、使用代理、cookie使用目标一贺丹综合实验requests发送请求实践111难点:发送post请求、使用代理、cookie使目标二用数据提取方法:正则表目标一重点:正则表达式使用方法综合贺丹1实验12达式实践目标二难点:正则表达式使用方法数据提取方法:Xpath实目标一重点:Xpath安装、Xpath语法、1xml模块贺丹1综合实验13践目标二难点:Xpath语法、1xml模块8
8 8 jQuery 基础知识 I I 贺丹 1 重点:获取和设置元素属性、 jQuery 事件、 json 、ajax 难点:获取和设置元素属性、 jQuery 事件、ajax 课程思政融入点:要求学生处理实验数据必须 坚持实事求实、严谨的科学态度;要求学生实 验过程中主动思考理论原理,在实验过程中去 验证实验原理,使理论与实践相辅相成。 综合 实验 目标一 目标二 9 爬虫基础知识 贺丹 1 重点:爬虫的流程、 HTTP 基本原理、 HTTP 请 求的形式 难点 : HTTP 请求的形式 综合 实验 目标一 目标二 1 0 浏览器开放者工具 贺丹 1 重点:浏览器开放者工具使用、 socket 介绍 难点 : socket 操作 综合 期中考 目标一 目标二 1 1 requests 发送请求实践 贺丹 1 重点 : requests 基础操作、发送 post 请求、 使用代理、 cookie 使用 难点:发送 post 请求、使用代理、 cookie 使 用 综合 实验 目标一 目标二 1 2 数据提取方法:正则表 达式实践 贺丹 1 重点:正则表达式使用方法 难点:正则表达式使用方法 综合 实验 目标一 目标二 1 3 数据提取方法: Xpath 实 践 贺丹 1 重点 :Xpath 安装、 Xpath 语法、 lxml 模块 难点 : Xpath 语法、 lxml 模块 综合 实验 目标一 目标二

目标一重点:CSS选择器使用1贺丹实验数据提取方法:bs4实践综合14难点:CSS选择器使用目标二点:安装chromedriver、Selenium查找节Selenium自动化工具实目标一1贺丹综合实验15点、切换iFrame践1目标二难点:Selenium查找节点重点:动作链、页面滚动、延时等待、选项卡Selenium自动化工具实目标一贺丹综合1实验16管理、异常处理、绕过检测践ⅡI目标二难点:动作链、页面滚动、绕过检测目标一重点:唯品会商品信息采集贺丹I综合练习综合实验17目标二难点:各种爬虫工具综合应用合计16课程考核评价依据及成绩比例(%)课程目标支撑毕业要求指标点作业课堂表现期末报告-002020目标一3002020目标二8400040目标三9002020目标四总计4040201009
9 14 数据提取方法:bs4 实践 贺丹 1 重点:CSS 选择器使用 难点:CSS 选择器使用 综合 实验 目标一 目标二 15 Selenium 自动化工具实 践 I 贺丹 1 重点:安装 chromedriver、Selenium 查找节 点、切换 iFrame 难点:Selenium 查找节点 综合 实验 目标一 目标二 16 Selenium 自动化工具实 践 II 贺丹 1 重点:动作链、页面滚动、延时等待、选项卡 管理、异常处理、绕过检测 难点:动作链、页面滚动、绕过检测 综合 实验 目标一 目标二 17 综合练习 贺丹 1 重点:唯品会商品信息采集 难点:各种爬虫工具综合应用 综合 实验 目标一 目标二 合计 16 课程考核 课程目标 支撑毕业要求指标点 评价依据及成绩比例(%) 作业 课堂表现 期末报告 目标一 1 0 0 20 20 目标二 3 0 20 0 20 目标三 8 40 0 0 40 目标四 9 0 0 20 20 总计 40 20 40 100

备注:1)根据《东莞理工学院考试管理规定》第士二条规定:旷课3次(或6课时)学生不得参加该课程的期终考核。2)各项考核标准见附件所示。大纲编写时间:2024年8月30日系(部)审查意见:同意系(部)主任签名:日期:2024年9月3日备注:10
10 备注:1)根据《东莞理工学院考试管理规定》第十二条规定:旷课 3 次(或 6 课时)学生不得参加该课程的期终考核。2)各项考核标准见附件所示。 大纲编写时间:2024 年 8 月 30 日 系(部)审查意见: 同意 系(部)主任签名: 日期:2024 年 9 月 3 日 备注: