爬虫技术可以爬https么

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了爬虫技术可以爬https么，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1204字，纯文字阅读大概需要2分钟。

内容图文

爬虫技术可以爬https么?

首先我们先来理解什么是https

https是HTTP+SSL的简称，是在HTTP传输方式的基础上将之前的明文进行了加密传输，在传输之前就会确定信息加密方式和秘钥，在传输中即使被捕获或者伪造，那么也能保证信息不被泄露。

而爬虫本质是伪装成一个浏览器，发送请求给服务器，参与了整个过程，所以即使https链接也能抓取，但前提是伪造的这个客户端有正确的SSL证书。

寻找错误根源

爬虫运行中提示SSL error错误的情况，一般是本地证书或者相关SSL库没有正确安装、服务器使用自己制作的CA证书，没有有权威机构认证

解决证书异常问题

对于ＣＡ证书问题我们可以参考下面集中方案：

１.不验证ＣＡ证书，但要忽略安全警告

coding=utf-8import requests# 不验证CA证书则需要忽略安全警告方式一：import urllib3urllib3.disable_warnings()方式二：from requests.packages.urllib3.exceptions import InsecureRequestWarningrequests.packages.urllib3.disable_warnings(InsecureRequestWarning)r=requests.get(url=“https://www.baidu.com/”,verify=False)print r.elapsed.total_seconds()

２.指定证书位置或含证书的文件夹（此文件夹是由ＯｐｅｎＳＳＬ工具制作的）

coding=utf-8import requestsr=requests.get(url=“https://www.baidu.com/”,verify='/path/to/certfile')

以上就是爬虫技术可以爬https么的详细内容，更多请关注Gxl网其它相关文章！

内容总结

以上是互联网集市为您收集整理的爬虫技术可以爬https么全部内容，希望文章能够帮你解决爬虫技术可以爬https么所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---