python – Portia Spider在爬行过程中显示[‘Partial’]
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python – Portia Spider在爬行过程中显示[‘Partial’],小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1485字,纯文字阅读大概需要3分钟。
内容图文
![python – Portia Spider在爬行过程中显示[‘Partial’]](/upload/InfoBanner/zyjiaocheng/698/44aa6d9c283040d3b28f741084fb2a81.jpg)
我使用Portia web scraper创建了一个蜘蛛,起始URL是
https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.searchJobs
在scrapyd中安排这个蜘蛛我正在接受
DEBUG: Crawled (200) <GET https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.searchJobs> (referer: None) ['partial']
DEBUG: Crawled (200) <GET https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.returnToResults&CurrentPage=2> (referer: https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.searchJobs) ['partial']
DEBUG: Crawled (200) <GET https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.showJob&RID=21805&CurrentPage=1> (referer: https://www1.apply2jobs.com/EdwardJonesCareers/ProfExt/index.cfm?fuseaction=mExternal.searchJobs) ['partial']`<br><br>
[‘partial’]是什么意思以及为什么来自页面的内容不被spdier刮掉?
解决方法:
迟到的答案,但希望没有用,因为scrapy的这种行为似乎没有很好的记录.从scrapy源查看此line of code,当请求遇到Twisted PotentialDataLoss错误时,将设置部分标志.根据相应的Twisted documentation:
This only occurs when making requests to HTTP servers which do not set Content-Length or a Transfer-Encoding in the response
可能的原因包括:
>服务器配置错误
>有一个代理涉及阻止一些标题
>您得到的回复通常没有Content-Length,例如重定向(301,302,303),但你设置了handle_httpstatus_list或handle_httpstatus_all,这样响应就不会被HttpErrorMiddleware过滤掉或被RedirectMiddleware获取
内容总结
以上是互联网集市为您收集整理的python – Portia Spider在爬行过程中显示[‘Partial’]全部内容,希望文章能够帮你解决python – Portia Spider在爬行过程中显示[‘Partial’]所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。