python – Scrapy：下一个按钮使用javascript

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – Scrapy：下一个按钮使用javascript，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1180字，纯文字阅读大概需要2分钟。

内容图文

我试图从这个网站http://saintbarnabas.hodesiq.com/joblist.asp?user_id=刮掉
我希望得到所有的RN …我可以抓取数据,但无法继续下一页
因为它的JavaScript.我尝试阅读其他问题,但我没有得到它.这是我的代码

class MySpider(CrawlSpider):
    name = "commu"
    allowed_domains = ["saintbarnabas.hodesiq.com"]
    start_urls = ["http://saintbarnabas.hodesiq.com/joblist.asp?user_id=",
    ]
    rules = (Rule (SgmlLinkExtractor(allow=('\d+'),restrict_xpaths=('*'))
    , callback="parse_items", follow= True),
    )

下一个按钮显示为

<a href="Javascript: Move('next')">Next</a>

这个分页让我痛苦……

解决方法:

简而言之,您需要弄清楚Move(‘next’)的作用并在您的代码中重现它.

快速检查站点显示功能代码是这样的：

function Move(strIndicator)
{
    document.frm.move_indicator.value = strIndicator;
    document.frm.submit();
}

document.frm是名为“frm”的表单：

<form name="frm" action="joblist.asp" method="post">

所以,基本上你需要构建一个请求来为该表单执行POST,并将move_indicator值设置为“next”.这可以通过使用FormRequest类(see the docs)轻松完成,如：

return FormRequest.from_response(response, formname="frm", 
                                 formdata={'move_indicator': 'next'})

这种技术适用于大多数情况.困难的部分是弄清楚javascript代码是什么,有时它可能会被混淆并执行过于复杂的东西,以避免被刮掉.

内容总结

以上是互联网集市为您收集整理的python – Scrapy：下一个按钮使用javascript全部内容，希望文章能够帮你解决python – Scrapy：下一个按钮使用javascript所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端