数据科学引论-Python之道 第5课数据收集 一、Python网络爬虫实践样例一 我们将通过使用Python编写一个爬虫脚本，从网页上爬取数据集，这需要 综合地使用Python所涉及的基本语法，然后同时也掌握一些爬虫的技巧。 首先，我们需要了解爬虫是什么，包括理解URL、爬虫机制、网页HTML的 基本概念。我们在浏览网页的时候，肯定会希望得到网页中的一些关键内容和一 些有趣的图片，你想把它们直接批量下载下来，这就是需要爬虫来支持。爬虫 crawler,即网络爬虫Spider,是一个能够自动化地访问互联网并将网站内容下载 下来的的程序或脚本。 在爬取之前，我们需要定位网址，也就是URL,我们要通过URL选择要爬取 的网页。URL可以理解为网址，它是一个路径，一个指向网页的路径。我们将通 过指定很多个网页路径的方式来对网页进行批量爬取。爬虫任务会使用到一些 Python的类、列表、字典、循环等基础语法。 我们的任务是从名人名言的网站爬取其前两页。我们可以点击进去看一下这 个网页的内容。该网页分为了好几部分，有好几条名言，每一条名言都会显示其 内容，作者和标签。我们的任务就是爬取每一条名言当中的文字内容、作者以及 标签，并且以SON格式保存到文件中，那么我们需要关注什么呢？数据科学引论-P瀌瀇濻瀂瀁 之道 第 5 课 数据收集 一、P瀌瀇濻瀂瀁 网络爬虫实践 样例一 我们将通过使用 P瀌瀇濻瀂瀁 编写一个爬虫脚本，从网页上爬取数据集，这需要 综合地使用 P瀌瀇濻瀂瀁 所涉及的基本语法，然后同时也掌握一些爬虫的技巧。 首先，我们需要了解爬虫是什么，包括理解 URL、爬虫机制、网页 HTML 的 基本概念。我们在浏览网页的时候，肯定会希望得到网页中的一些关键内容和一 些有趣的图片，你想把它们直接批量下载下来，这就是需要爬虫来支持。爬虫 濶瀅濴瀊濿濸瀅，即网络爬虫 S瀃濼濷濸瀅，是一个能够自动化地访问互联网并将网站内容下载 下来的的程序或脚本。 在爬取之前，我们需要定位网址，也就是 URL，我们要通过 URL 选择要爬取 的网页。URL 可以理解为网址，它是一个路径，一个指向网页的路径。我们将通 过指定很多个网页路径的方式来对网页进行批量爬取。爬虫任务会使用到一些 P瀌瀇濻瀂瀁 的类、列表、字典、循环等基础语法。 我们的任务是从名人名言的网站爬取其前两页。我们可以点击进去看一下这 个网页的内容。该网页分为了好几部分，有好几条名言，每一条名言都会显示其 内容，作者和标签。我们的任务就是爬取每一条名言当中的文字内容、作者以及 标签，并且以 JSON 格式保存到文件中，那么我们需要关注什么呢？