python urllib2返回垃圾

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python urllib2返回垃圾，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1321字，纯文字阅读大概需要2分钟。

内容图文

我正在尝试使用python下载一个网页并访问页面上的一些元素.我下载页面时遇到问题：内容是垃圾.这是页面的第一行：

?í}év?H2??òSd±?mé·’?–%?hμ?%ùjI??J??ID(‰??{?1?÷???í}’ù"à""’?d÷t?N‰$–\"??????ü?q?í?ù?'???-g?án?m–úq<ü1R1??._?? ìU?v?]1?gJìq?í’?%z?[??3?[(,jü?è?ú,í~ìyX;y‰ùò×f)?7q…Jzéì?F<T?]-Ua

这个问题只发生在以下网站：http://kickass.to.他们有可能以某种方式保护他们的页面吗？这是我的python代码：

import urllib2
import chardet
url = 'http://kickass.to/'
user_agent = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; en-US) AppleWebKit/534.3 (KH
TML, like Gecko) Chrome/6.0.472.63 Safari/534.3'
headers = { 'User-Agent' : user_agent }
req = urllib2.Request(url, None, headers)
response = urllib2.urlopen(req)
page = response.read()
f = open('page.html','w')
f.write(page)
f.close()
print response.headers['content-type']
print chardet.detect(page)

结果：

text/html; charset=UTF-8
{'confidence': 0.0, 'encoding': None}

它看起来像编码问题,但chardet检测到’无’..任何想法？

解决方法:

此页面以gzip编码返回.

(尝试打印出response.headers [‘content-encoding’]来验证这一点.)

很可能该网站不尊重请求中的“Accept-Encoding”字段,并建议客户端支持gzip(大多数现代浏览器都支持).

urllib2不支持放气,但你可以使用gzip模块,例如在这个帖子中：Does python urllib2 automatically uncompress gzip data fetched from webpage?.

内容总结

以上是互联网集市为您收集整理的python urllib2返回垃圾全部内容，希望文章能够帮你解决python urllib2返回垃圾所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端