首页 / 爬虫 / 爬虫中遇到的问题汇总
爬虫中遇到的问题汇总
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了爬虫中遇到的问题汇总，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1625字，纯文字阅读大概需要3分钟。
内容图文
------------------3.10----------------------
在爬取某个网站时，直接用lxml.etree对response.content进行分析拿到的数据，与保存到本地后再分析拿到数据不一致
1 url = ‘http://op.hanhande.com/mh/‘ 2 HEADERS = {‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; rv:51.0) Gecko/20100101 Firefox/51.0 ‘}
3 4#直接分析 5 response = requests.get(url, headers=HEADERS)
6 body = etree.HTML(response.content)
7 us = body.xpath(‘//div[@class="mh_list_li"]/ul/li/a/@href‘)
8 ts = body.xpath(‘//div[@class="mh_list_li"]/ul/li/a/text()‘)
9print(len(us), len(ts))
10#保存后分析11 with codecs.open(‘body.html‘, ‘w‘, encoding = response.encoding) as f:
12 f.write(response.content.decode(response.encoding))
13 with codecs.open(‘body.html‘, ‘r‘) as f:
14 body = f.read()
15 body = etree.HTML(body)
16 us = body.xpath(‘//div[@class="mh_list_li"]/ul/li/a/@href‘)
17 ts = body.xpath(‘//div[@class="mh_list_li"]/ul/li/a/text()‘)
18print(len(us), len(ts))
运行结果为：
14 14
582 582
猜测可能是编码的问题，但是不知道如何确定。
------------------3.08----------------------
文件非法命名的问题
在windows下如 ？\ * | “ < > : /；都是非法字符，不允许在文件名中出现，按正常来讲，一旦出现这种情况，应该会有异常抛出，但是在使用pycharm的时候，这个异常并没有被发现，而直接在cmd下运行python就会有异常抛出。
解决方法：
就是在创建文件时，对文件名进行判断，如果有非法字符就替换调，如：str.replace(‘?‘, ‘‘)
请求超时的问题
1
try
:
2 response = await self.session.get(
3 url, allow_redirects = False, headers=HEADERS
4 )
5break6except aiohttp.ClientError as client_error:
7 exception = client_error
这是500lines 里 crawl 的连接部分的一小段代码，这个异常捕捉的确是可以捕捉到所有的连接异常，但是在实际运行中，超时异常并没有被捕捉到，不知道是否因为是windows的锅，但是后来再加上 except asyncio.TimeoutError 就可以捕捉到超时异常了。
ps:其实在看了源码之后，aiohttp.TimeoutError也是继承了 asyncio.TimeoutError的，那为什么aiohttp的就不能被捕捉到呢，待解决。
原文：http://www.cnblogs.com/nanrou/p/6529636.html
内容总结
以上是互联网集市为您收集整理的爬虫中遇到的问题汇总全部内容，希望文章能够帮你解决爬虫中遇到的问题汇总所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。