为什么scrapy没法爬中纪委网站？
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了为什么scrapy没法爬中纪委网站？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2224字，纯文字阅读大概需要4分钟。
内容图文
回复内容：
浏览器接受到状态码与Cookie，会再次进行一次请求，因为接收到了Set-Cookie，所以第二次的Request Headers会附上之前接收到的Cookie。
这个防爬虫的方法非常基础，利用了普通爬虫与浏览器对于Status Code的处理方式不同。
你要爬取，只需要先请求一次，获得一个Cookie并保存，然后之后所有的请求都附上这个保存下来的Cookie，这样就行了。
爬虫的要诀在于：尽力模仿用户使用浏览器的行为。 想了一会儿要不要回答，因为题目被贴上了作死标签……╭(°A°`)╮
---------------------------------------------------------------
Chrome大法好，Python大法好。
@林灿斌 说的方法没错，不过一般这种网站的Cookie生效时间都比较长，所以你直接复制你Request Headers中的Cookie值，放到你模拟post请求的包中就可以了。你自己在浏览器里打开该网址，然后查看Request Headers中的内容。针对各种反抓取机制，主要有以下几种：
1、Cookie：这个不用多说，你把你的Cookie记下来就好，还可以解决一串需要模拟登陆才能抓取的网站，比如微博之类的；
2、Host：这个不用多说，带上就好，不会变；
3、Referer：有些网站比较变态不仅会检查你是否带Referer信息还会检查你的Referer是否合法，这儿就不点名了，怕被查水表；
4、User-Agent：这里面就是你用户使用环境的一些信息，如浏览器和操作系统，尽可能带上。最好是自己有一个UA表，每次构造请求的时候，随机采用一条UA信息。
除此之外，最重要的就是在IP上下工夫。
1、伪造X-forwarded-for头：这是最容易伪造IP的一个方法，当然也最容易被识破；
2、使用TCP包注入：这个方法被Scrapy封装起来了，具体可以查相关文档，比如还可以借此实现伪造IP源进行SYN FLOOD拒绝服务攻击（好像走偏了……）；
3、使用代理IP池：这是最靠谱的做法，缺点就是代理IP的质量常常参差不齐，所以还需要写一个脚本来维护这个代理IP池，比如要获取新的代理IP以及剔除库中无效的IP（我一般就挨个拿来尝试能否访问百度）。
如果你抓取的内容是通过AJAX获得的，那么你的任务就是找到那条JS发出去的请求，按以上套路模拟之即可。 祭出神器
http://jeanphix.me/Ghost.py/ 爬虫是蛀虫，害怕中纪委，不敢爬中纪委的网站。 这种页数不太多的建议自己写爬虫，比直接用scrapy灵活性强一些。这种内容并不是很多的页面用bs4/re+requests+gevent/threading已经可以随意抓了，我始终觉得爬虫难在爬下来的东西要怎么处理。
不知道页面是怎么跳的时候祭出神器Wireshark。
内容总结
以上是互联网集市为您收集整理的为什么scrapy没法爬中纪委网站？全部内容，希望文章能够帮你解决为什么scrapy没法爬中纪委网站？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。
来源：【匿名】