以下是为您整理出来关于【urlopen】合集内容，如果觉得还不错，请帮忙转发推荐。
我试图使用Python urlopen获取一个html站点.我收到此错误：HTTPError: HTTP Error 302: The HTTP server returned a redirect error that would lead to an infinite loop代码：from urllib2 import Request request = Request(url) response = urlopen(request)我知道服务器重定向到另一个URL并且它正在寻找cookie.如何设置它正在寻找的cookie,以便我可以阅读html？解决方法:以下是Python documentation的示例,根据您的代码调整：...
我正在使用以下代码,我无法弄清楚为什么当urlopen()失败时它不会引发异常. 在我的特殊情况下,我知道为什么它失败..我的网址没有http：//在他们面前…但我想抓住这些情况,以便脚本可以继续运行我的代码而不是退出.req = urllib2.Request(link)try:url = urllib2.urlopen(req)except urllib2.URLError, e:print e.codeprint e.read()return False而我正在……Traceback (most recent call last): File "./getURLs.py", line 141, in ...
使用Python 3,我从URL请求json文档.response = urllib.request.urlopen(request)响应对象是一个具有read和readline方法的类文件对象.通常,可以使用以文本模式打开的文件创建JSON对象.obj = json.load(fp)我想做的是：obj = json.load(response)但是,这不起作用,因为urlopen以二进制模式返回文件对象. 当然,解决方法是：str_response = response.read().decode('utf-8') obj = json.loads(str_response)但这感觉很糟糕…… 有没有更...
他们没有在python文档中提到这一点.最近我正在测试一个网站只是使用urllib2.urlopen()来刷新网站以提取某些内容,我注意到有时当我更新网站时,urllib2.urlopen()似乎没有得到新添加的内容.所以我想它确实在某处缓存了东西,对吧？解决方法:So I wonder it does cache stuff somewhere, right? 它没有. 如果您没有看到新数据,这可能有很多原因.出于性能原因,大多数较大的Web服务都使用服务器端缓存,例如使用Varnish和Squid等缓存代理或...
我的目的是在输入谷歌搜索词后从第一页的所有链接中提取html.我在代理后面工作,所以这是我的方法. 1.我首先使用mechanize在表单中输入搜索词,我已正确设置代理和机器人. 2.提取链接后,我使用了全局使用urllib2.ProxyHandler的开启工具,单独打开网址. 但是这给了我这个错误.无法搞清楚.urlopen error [Errno 8] _ssl.c:504: EOF occurred in violation of protocol解决方法:您可以通过覆盖ssl_version关键字参数来修补ssl模块中的ss...
我想知道urlopen是否存在某种“全部捕获”代码,如果访问网站时发生任何错误,该代码会跳过for循环中的整个条目.解决方法:您可以使用try / except块捕获异常：# Python 3 example from urllib.error import URLError, HTTPError from urllib.request import urlopenfor entry in entries:try:data = urlopen(...)except URLError, HTTPError:print("Something bad happened")else:# Process data get from the URL opened# If an exc...
我正在使用BeautifulSoup进行网页抓取,并且在使用urlopen时遇到特定类型网站的问题.网站上的每个商品都有其独特的页面,并且商品具有不同的格式(例如：500 mL,1L,2L等). 当我使用Internet浏览器打开产品的URL(www.example.com/product1)时,会看到500 mL格式的图片,有关其的信息(价格,数量,风味等)以及以下内容的列表：此特定项目可用的所有其他格式.如果单击另一种格式(例如1L),则图片和有关该项目的信息将发生变化,但浏览器顶部的U...
嘿,我有一个网站供最终用户使用,它是用Python编写的,并且需要几个urlopen命令.结果,页面加载需要一点时间.我想知道是否有办法使其更快？有没有一种简单的Python缓存方式或一种使urlopen脚本有趣的方式？ urlopens访问Amazon API以获取价格,因此该站点需要保持最新状态.我能想到的唯一选择是制作一个脚本来制作mySQL数据库并不时地运行它,但这很麻烦. 谢谢！解决方法:httplib2理解http请求缓存,对urllib / urllib2的混乱程度有所抽象...
我使用Python的urllib2.urlopen,并从服务器收到500错误.如何找到错误的文字？我希望它具有有用的信息.解决方法: from urllib2 import urlopen, HTTPErrortry:f = urlopen(url) except HTTPError, e:print(e.read())
我正在尝试从“ https://www.youtube.com/trendsdashboard#loc0=ind”获取视频链接.当我检查元素时,它会向我显示每个视频的源html代码.在使用检索的源代码中urllib2.urlopen("https://www.youtube.com/trendsdashboard#loc0=ind").read()它不显示视频的html源.还有其他方法吗？<a href="/watch?v=dCdvyFkctOo" alt="Flipkart Wish Chain"><img src="//i.ytimg.com/vi/dCdvyFkctOo/hqdefault.jpg" alt="Flipkart Wish Chain"></a>当...