在开发爬虫的过程中，往往会遇到爬虫过一段时间就会失效，所谓的失效就是前面跑得好好的，突然就开始抓取不到数据了，导致被老板一顿骂。虽然失效的原因有很多，比如前说的UA被别人识别了，又或者别人的网站真的出错了。但是往往不是这几个原因，而是对方识别出来你的IP地址，对你进行一轮升级打击了。 为了继续地能搜索到数据，那么别无它法，只能使用“狡兔三窟”这招了。也就是说，你要隐藏你的自己的IP地址，或者说采用其它I...
文章目录 四. DownLoader Middleware 的用法1. 使用说明2. 核心方法3. 项目实战四. DownLoader Middleware 的用法 Downloader Middleware 即下载中间件，它是处于 Scrapy 的 Request 和 Response 之间的处理模块。Scheduler 从队列中拿出一个 Request 发送给 Downloader 执行下载，这个过程会经过 Downloader Middleware 的处理。另外，当 Downloader 将 Request 下载完成得到 Response 返回给 Spider 时，会再次经过 Downloader M...
文章目录 五. Spider Middleware 的用法1. 使用说明2. 核心方法五. Spider Middleware 的用法 Spider Middleware 是介入到 Scrapy 的 Spider 处理机制的钩子框架。当 Downloader 生成 Response 之后，Response 会被发送给 Spider，在发送给 Spider 之前，Response 会首先经过 Spider Middleware 处理，当 Spider 处理生成 Item 和 Request 之后，Item 和 Request 还会经过 Spider Middleware 的处理。Spider Middleware 有如下三个...
文章目录 Spider 的用法1. Spider 运行流程2. Spider 类分析Spider 的用法 在 Scrapy 中，要抓取网站的链接配置、抓取逻辑、解析逻辑里其实都是在 Spider 中配置的。本节我们就专门了解一下 Spider 的基本用法。 1. Spider 运行流程 在实现 Scrapy 爬虫项目时，最核心的类便是 Spider 类了，它定义了如何爬取某个网站的流程和解析方式。简单来讲，Spider 要做的事就是如下两件： 定义爬取网站的动作分析爬取下来的网页 对于 Spider...
文章目录 一. Scrapy框架简介1. Scrapy 框架介绍2. 数据处理流程二. Scrapy 及其依赖库的安装三. Scrapy 项目开发流程1. 常用命令2. 创建 Scrapy 项目3. 创建 Spider4. 创建 Item5. 解析 Response6. 使用 Item7. 后续 Request（1）继承 Scrapy.spider（2）为 Spider 命名（3）设定起始爬取点（4）实现页面解析函数 8. 运行9. 保存到文件四. 实例——爬取书籍信息1. 创建项目2. 创建爬虫3. 解析 Response4. 运行爬虫并保存数据一. S...
当你开发比较多爬虫之后，会发现有一些功能是相通的，比如网站地图的爬取，XML源的数据抓取，CSV文件的抓取。scrapy框架提供了一些特殊功能的类来处理这种情况，这样我们再在上面开发，就可以省时省力了，达到四两拨千斤的效果。下面立即就来学习它们，学会了就可以应用到自己的工程里去。 主要有蜘蛛类CrawlSpider、XMLFeedSpider、CSVFeedSpider、 SitemapSpider。 在学习过程中，我们需要使用一些辅助数据结构，就是定义item对...