python – 错误：在尝试使用scrappy登录时发生ValueError(“％s中找不到元素”％响应)

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 错误：在尝试使用scrappy登录时发生ValueError(“％s中找不到元素”％响应)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2201字，纯文字阅读大概需要4分钟。

内容图文

问题描述：

我想从我大学的bbs中抓取一些信息.这是地址：http://bbs.byr.cn
下面是我的蜘蛛的代码：

from lxml import etree
import scrapy
try:
from scrapy.spiders import Spider
except:
from scrapy.spiders import BaseSpider as Spider
from scrapy.http import Request

class ITJobInfoSpider(scrapy.Spider):
name = "ITJobInfoSpider"
start_urls = ["http://bbs.byr.cn/#!login"]

def parse(self,response):
    return scrapy.FormRequest.from_response(
        response,
        formdata={'method':'post','id': 'username', 'passwd':'password'},
        formxpath='//form[@action="/login"]',
        callback=self.after_login
)

def after_login(self,response):
    print "######response body: " + response.body +"\n"
    if "authentication failed" in response.body:
        print "#######Login failed#########\n"
    return

但是,使用此代码,我经常会收到错误：引发ValueError(“在％s中找不到元素”％响应)

我的调查：

我发现当scrapy尝试解析url：http://bbs.byr.cn的HTML代码时会发生此错误,但是,scrappy用lxml解析页面.下面是代码

root = LxmlDocument(response, lxml.html.HTMLParser)
forms = root.xpath('//form')
if not forms:
    raise ValueError("No <form> element found in %s" % response)

所以我用代码查看代码：
    print etree.tostring(root)
并找到HTML元素：< / form>被解析为& lt; / form& gt;
难怪代码表单= root.xpath(‘// form’)将返回一个空表单列表.

But I don’t know why this is happening, maybe the HTML code encoding? (The HTML code is encoded with GBK not UTF8.)
Thanks advance for anyone who can help me out? BTW, if anyone want to write code against the website, I can give you an test account, pls leave me an email address in the comment.

非常感谢,伙计们！

解决方法:

似乎有一些JavaScript重定向发生.

在这种情况下,使用Splash将是过度杀伤.只需将/ index附加到起始URL：http：//bbs.byr.cn→http：//bbs.byr.cn/index

这将是完整的工作蜘蛛：

from scrapy import Spider
from scrapy.http import FormRequest

class ByrSpider(Spider):
    name = 'byr'
    start_urls = ['http://bbs.byr.cn/index']

    def parse(self, response):
        return FormRequest.from_response(
            response,
            formdata={'method':'post','id': 'username', 'passwd':'password'},
            formxpath='//form[@action="/login"]',
            callback=self.after_login)

    def after_login(self, response):
        self.logger.debug(response.text)
        if 'authentication failed' in response.text:
            self.logger.debug('Login failed')

内容总结

以上是互联网集市为您收集整理的python – 错误：在尝试使用scrappy登录时发生ValueError(“％s中找不到元素”％响应)全部内容，希望文章能够帮你解决python – 错误：在尝试使用scrappy登录时发生ValueError(“％s中找不到元素”％响应)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端