python – 使用带有scrapy的loginform

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 使用带有scrapy的loginform，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1359字，纯文字阅读大概需要2分钟。

内容图文

scrapy框架(https://github.com/scrapy/scrapy)提供了一个库,可在登录需要身份验证的网站时使用,https://github.com/scrapy/loginform.
我查看了两个程序的文档但是我似乎无法弄清楚如何让scrapy在运行之前调用loginform.只需登录表单,登录工作正常.
谢谢

解决方法:

loginform只是一个库,与Scrapy完全分离.

您必须编写代码以将其插入所需的蜘蛛中,可能是在回调方法中.

以下是执行此操作的结构示例：

import scrapy
from loginform import fill_login_form

class MySpiderWithLogin(scrapy.Spider):
    name = 'my-spider'

    start_urls = [
        'http://somewebsite.com/some-login-protected-page',
        'http://somewebsite.com/another-protected-page',
    ]

    login_url = 'http://somewebsite.com/login-page'

    login_user = 'your-username'
    login_password = 'secret-password-here'

    def start_requests(self):
        # let's start by sending a first request to login page
        yield scrapy.Request(self.login_url, self.parse_login)

    def parse_login(self, response):
        # got the login page, let's fill the login form...
        data, url, method = fill_login_form(response.url, response.body,
                                            self.login_user, self.login_password)

        # ... and send a request with our login data
        return scrapy.FormRequest(url, formdata=dict(data),
                           method=method, callback=self.start_crawl)

    def start_crawl(self, response):
        # OK, we're in, let's start crawling the protected pages
        for url in self.start_urls:
            yield scrapy.Request(url)

    def parse(self, response):
        # do stuff with the logged in response

内容总结

以上是互联网集市为您收集整理的python – 使用带有scrapy的loginform全部内容，希望文章能够帮你解决python – 使用带有scrapy的loginform所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端