首页 / PYTHON / python – Portia Spider在爬行过程中显示[‘Partial’]

python – Portia Spider在爬行过程中显示[‘Partial’]

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – Portia Spider在爬行过程中显示[‘Partial’]，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1485字，纯文字阅读大概需要3分钟。

内容图文

我使用Portia web scraper创建了一个蜘蛛,起始URL是

https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.searchJobs

在scrapyd中安排这个蜘蛛我正在接受

DEBUG: Crawled (200) <GET https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.searchJobs> (referer: None) ['partial']
DEBUG: Crawled (200) <GET https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.returnToResults&CurrentPage=2> (referer: https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.searchJobs) ['partial']
DEBUG: Crawled (200) <GET https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.showJob&RID=21805&CurrentPage=1> (referer: https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.searchJobs) ['partial']`<br><br>

[‘partial’]是什么意思以及为什么来自页面的内容不被spdier刮掉？

解决方法:

迟到的答案,但希望没有用,因为scrapy的这种行为似乎没有很好的记录.从scrapy源查看此line of code,当请求遇到Twisted PotentialDataLoss错误时,将设置部分标志.根据相应的Twisted documentation：

This only occurs when making requests to HTTP servers which do not set Content-Length or a Transfer-Encoding in the response

可能的原因包括：

>服务器配置错误
>有一个代理涉及阻止一些标题
>您得到的回复通常没有Content-Length,例如重定向(301,302,303),但你设置了handle_httpstatus_list或handle_httpstatus_all,这样响应就不会被HttpErrorMiddleware过滤掉或被RedirectMiddleware获取

内容总结

以上是互联网集市为您收集整理的python – Portia Spider在爬行过程中显示[‘Partial’]全部内容，希望文章能够帮你解决python – Portia Spider在爬行过程中显示[‘Partial’]所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/697996.html

来源：【匿名】