→C⊙quotes.toscrape,com/page.2l Quotes to Scrape "This life is what you make it.No matter what,you're going to sometimes,it's a universal truth.But the good part is you get t how you're going to mess it up.Girls will be your friends-they anyway.But just remember,some come,some go.The ones t 我们使用的是Scrapy爬虫，它使用Python编写的爬虫，其中最主要的是 scrapy..spider类，它有两个方法需要我们关注，一个是init初始化方法，一个是 parse解析方法，分别代表了爬取过程中的两个步骤。在init方法中，我们需要 设置网站列表和保存文件的路径，前者决定了需要爬取哪些网站，后者确定了爬 取内容的保存方式。parse则指明了在每一个网页上需要爬取哪些内容，以及如 何进行爬取。下图显示了爬虫工作的过程： 机构 投资总数最新投资事件 Secur htps://www.itjuzi.com/ Scrapy 25 IDG资本 725 品生医学 3经纬中国 602 皇包车 URL HTML TOOL FORMAT 地址 网页原内容 工具 格式 统一资源定位 网页内容编码 爬虫工具 统化格式 符网址) 根据urd指定 我们要从中 访问网页并 得到信息将 需要爬取的 提取我们需 从html解析 数据整理成 网页 要的关键信 信息的具体 统一格式导 息 工具，如 出 Scrapy 在init的方法中，我们需要关注两个变量，一个是self.urls,表示待爬取网站 的列表；另一个是sef.fle,表示的是用于输出的文件对象。 parse方法针对每一个URL,决定了在网页内容爬取下来之后，如何解析它 们，即如何从中提取到一些关键的内容。这里需要使用一些Scrapy的选择器， 选择器的语法其实很多。在这里，我们这个样例中只用到了很小的一部分，如果 你想去深入地了解，那么我们可以点击notebook上的链接，它是一个很全面的我们使用的是 S濶瀅濴瀃瀌 爬虫，它使用 P瀌瀇濻瀂瀁 编写的爬虫，其中最主要的是 瀆濶瀅濴瀃瀌.瀆瀃濼濷濸瀅 类，它有两个方法需要我们关注，一个是 濼瀁濼瀇 初始化方法，一个是 瀃濴瀅瀆濸 解析方法，分别代表了爬取过程中的两个步骤。在 濼瀁濼瀇 方法中，我们需要 设置网站列表和保存文件的路径，前者决定了需要爬取哪些网站，后者确定了爬 取内容的保存方式。瀃濴瀅瀆濸 则指明了在每一个网页上需要爬取哪些内容，以及如 何进行爬取。下图显示了爬虫工作的过程： 在 濼瀁濼瀇 的方法中，我们需要关注两个变量，一个是 瀆濸濿濹.瀈瀅濿瀆，表示待爬取网站 的列表；另一个是 瀆濸濿濹.濹濼濿濸，表示的是用于输出的文件对象。 瀃濴瀅瀆濸 方法针对每一个 URL，决定了在网页内容爬取下来之后，如何解析它 们，即如何从中提取到一些关键的内容。这里需要使用一些 S濶瀅濴瀃瀌 的选择器， 选择器的语法其实很多。在这里，我们这个样例中只用到了很小的一部分，如果 你想去深入地了解，那么我们可以点击 瀁瀂瀇濸濵瀂瀂濾 上的链接，它是一个很全面的