python – 在Scrapy中处理错误页面

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 在Scrapy中处理错误页面，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1149字，纯文字阅读大概需要2分钟。

内容图文

我在start_urls中有一个URL

爬网程序第一次加载页面时,首先会显示403错误页面,然后爬网程序将关闭.

我需要做的是在该页面上填写验证码,然后让我访问该页面.我知道如何编写绕过验证码的代码,但是我将这些代码放在我的蜘蛛类中？

当遇到同样的问题时,我还需要在其他页面上添加它.

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor

from scrapy.selector import Selector

class MySpider(CrawlSpider):
    name = "myspider"
    allowed_domains = ["mydomain.com"]
    start_urls = ["http://mydomain.com/categories"]
    handle_httpstatus_list = [403] #Where do I now add the captcha bypass code?
    download_delay = 5
    rules = [Rule(SgmlLinkExtractor(allow=()), callback='parse_item')]

    def parse_item (self, response):
        pass

解决方法:

设置handle_httpstatus_list以处理403成功的响应代码：

class MySpider(CrawlSpider):
    handle_httpstatus_list = [403]

至于绕过实际的验证码,您需要覆盖解析以处理具有403响应代码的所有页面：

def parse(self, response):
    if response.status_code == 403:
        return self.handle_captcha(response):

    yield CrawlSpider.parse(self, response)

def handle_captcha(self, response):
    # Fill in the captcha and send a new request
    return Request(...)

内容总结

以上是互联网集市为您收集整理的python – 在Scrapy中处理错误页面全部内容，希望文章能够帮你解决python – 在Scrapy中处理错误页面所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端