PYTHON3 URLLIB 技术教程文章
Urllib和并发 – Python
我正在通过WSGI提供python脚本.该脚本通过urllib访问Web资源,计算资源然后返回一个值. 问题是urllib似乎没有处理对精确URL的许多并发请求. 一旦请求达到30个并发请求,请求就会慢慢爬行！
python – 带宽测试,使用urllib2进行延迟测试
我想制作一个测试连接带宽的python脚本.我正在考虑使用urllib2下载/上传已知大小的文件,并测量执行此任务所需的时间.我还想测量给定IP地址的延迟,例如通过ping IP来给出.这可能使用urllib2吗？解决方法:您可以使用PyCurl. curl_easy_getinfo提供有关的信息：CURLINFO_TOTAL_TIME,CURLINFO_NAMELOOKUP_TIME,CURLINFO_CONNECT_TIME,CURLINFO_PRETRANSFER_TIME等.
python – urllib2加载移动网站的问题【代码】
我正在尝试从http://m.finnkino.fi/events/now_showing获取一些数据,但此刻我失败了,因为我甚至无法使用python加载页面源.目前我正在使用以下代码：req = urllib2.urlopen(URL,None,2.5) page = req.read() print page以下是超时错误的回溯：Traceback (most recent call last):File "user/src/finnkinoParser.py", line 26, in <module> main() File "user/src/finnkinoParser.py", line 13, in main getNowPlayingMovies() File ...
python – urllib2.HTTPError：使用新的Bing API查询时的HTTP错误401(在azure marketplace中)【代码】
所以,我已根据堆栈溢出的同一屋檐下的大部分答案进行了更正,我仍然无法解决这个问题.queryBingFor = "Google Fibre" quoted_query = urllib.quote(queryBingFor) account_key = "dslfkslkdfhsehwekhrwkj2187iwekjfkwej3"rootURL = "https://api.datamarket.azure.com/Bing/Search/v1/" searchURL = rootURL + "Image?format=json&Query=" + quoted_query cred = base64.encodestring(accountKey)reqBing = urllib2.Request(url=sea...
python – urllib2没有返回完整的网页【代码】
我刚刚开始使用Python,我正在尝试使用urllib2请求网站的html源代码.然而,当我尝试从网站获取html内容时,我没有得到完整的HTML内容 – 有标签丢失.我知道他们失踪了,因为当我在firebug中查看代码显示的网站时.这是由于我要求数据的方式 – 还是由于网站的原因？如果是这样,有一种方法可以在python中获取网站的完整源代码,然后解析它？ 目前我用来请求内容的代码和我正在尝试的网站是：import urllib2url = 'http://marinetraffic.co...
python – 为什么urllib2的.getcode()方法会在404上崩溃？【代码】
在我使用Lynda的初学Python课程中,它说使用.getcode()从url获取http代码,并且可以在读取数据之前用作测试：webUrl = urllib2.urlopen('http://www.wired.com/tag/magazine-23-05/page/4') print(str(webUrl.getcode())) if (webURL.getcode() == 200):data = webURL.read() else:print 'error'但是,当与上面的404页面一起使用时,它会导致Python退出：Python函数意外终止：HTTP错误404：找不到,所以看起来这一课是完全错误的？ 我的...
Python使用urllib2启动请求时无法使用Tor检查【代码】
通过阅读StackOverflow上的other questions后,我得到了一段Python代码,可以通过Tor代理发出请求：import urllib2 proxy = urllib2.ProxyHandler({'http':'127.0.0.1:8118'}) opener = urllib2.build_opener(proxy) print opener.open('https://check.torproject.org/').read()由于Tor使用TorButton在Firefox中运行良好,我希望它能在Python中正常工作.不幸的是,包含在乱七八糟的HTML中：抱歉.你没有使用Tor.我不确定为什么会这样,或...
python urllib的问题【代码】
我尝试使用urllib.urlopen下载网页时收到错误.我已禁用Windows防火墙和我的AV,所以它不是那样的.我可以在浏览器中访问这些页面.我甚至重新安装了python以排除它是一个破坏的urllib.任何帮助将不胜感激.>>> import urllib >>> h = urllib.urlopen("http://www.google.com").read()Traceback (most recent call last):File "<pyshell#1>", line 1, in <module>h = urllib.urlopen("http://www.google.com").read()File "C:\Python26\...
python – 使用urllib2进行SOAP POST,但我一直收到错误【代码】
我正在尝试通过SOAP POST进行API调用,而且我一直在努力“TypeError：不是有效的非字符串序列或映射对象.” @ data = urllib.urlencode(values)SM_TEMPLATE = """<?xml version="1.0" encoding="utf-8"?> <soap:Envelope xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema"><soap:Header><AutotaskIntegrations xmlns="...
Python urllib3和代理【代码】
我试图弄清楚如何使用代理和多线程. 此代码有效：requester = urllib3.PoolManager(maxsize = 10, headers = self.headers) thread_pool = workerpool.WorkerPool()thread_pool.map(grab_wrapper, [item['link'] for item in products])thread_pool.shutdown() thread_pool.wait() 然后在grab_wrapper中requested_page = requester.request('GET', url, assert_same_host = False, headers = self.headers)标题包括：Accept,Accep...
Python3 urllib GET方式获取数据【代码】【图】
>> ' rel='nofollow' target='_blank'>2019独角兽企业重金招聘Python工程师标准>>> GET方式示例【百度搜索】#encoding:UTF-8 import urllib import urllib.request #数据字典 data={} data['word']='python3'#注意Python2.x的区别 url_values=urllib.parse.urlencode(data)print(url_values)url="http://www.baidu.com/s?" full_url=url+url_valuesdata=urllib.request.urlopen(full_url).read() z_data=data.decode('UTF-8') pri...
python – 检查`urllib.urlretrieve(url,file_name)`完成状态【代码】
在允许程序进入下一个语句之前,如何检查urllib.urlretrieve(url,file_name)是否已完成？ 以下面的代码片段为例：import traceback import sys import Image from urllib import urlretrievetry:print "Downloading gif....."urlretrieve(imgUrl, "tides.gif")# Allow time for image to download/save:time.sleep(5)print "Gif Downloaded."except:print "Failed to Download new GIF"raw_input('Press Enter to exit...')sys.exit...
使用Python urllib2 /请求对Google云端硬盘进行身份验证并下载电子表格【代码】
我想下载我在Google云端硬盘中向Google验证的文档(我只希望某些用户能够访问它并且不想在网上发布它). 我尝试过使用请求,但显然我做错了.从浏览器我可以将我的文档下载到该地址https://docs.google.com/spreadsheets/d/\u0026lt;document key> / export？format = xls. 所以在我的python脚本中,我执行以下操作：import os import requests import shutil from requests.auth import HTTPBasicAuthremote = "https://docs.google.co...
使用urllib2进行Python身份验证【代码】
所以我正在尝试使用python从名为vsearch.cisco.com的站点下载文件 [Python]#Connects to the Cisco Server and Downloads files at the URL specifiedimport urllib2#Define Useful Variablesurl = 'http://vsearch.cisco.com' username = 'xxxxxxxx' password = 'xxxxxxxx' realm = 'CEC'# Begin Making connection# Create a Handler -- Also could be where the error lieshandler = urllib2.HTTPDigestAuthHandler() handler.a...
如何使用python / urllib2重定向后确定最终的URL？【代码】
我需要在python中重定向后获取最终的URL. 有什么好办法呢？解决方法: >>> import urllib2 >>> var = urllib2.urlopen('http://www.stackoverflow.com/') >>> var.geturl() 'https://stackoverflow.com/'
python – 使用urllib2打开persian url域【代码】
我正在尝试打开一个网址http：//??????-?????????.???/ ar / news-events / event / future-internet-privacy使用urllib2.urlopen但它总是报告错误. 类似的情况发生在http：//??????-?????????.???/ ar …其他页面(中文页面)打开正常. 有什么想法指出我打开这些网址的正确方法？urllib2.urlopen("http://??????-?????????.???/ar/news-events/event/future-internet-privacy").read()urllib2.urlopen('http://??????-?????????.???...
python – 使用urllib2发布数据,重定向和维护cookie【代码】
我在Python中使用urllib2将登录数据发布到网站. 成功登录后,该站点将我的请求重定向到另一个页面.有人可以提供一个简单的代码示例,说明如何使用urllib2在Python中执行此操作吗？我想当我被重定向到另一个页面时,我还需要登录cookie.对？ 非常感谢advace.解决方法:首先,获得机械化：http://wwwsearch.sourceforge.net/mechanize/你可以用urllib2做这种东西,但是你会编写大量的样板代码,而且它会有错误. 然后：import mechanizebr = ...
Python之urllib库详解【代码】
urllib 是 Python 标准库中用于网络请求的库。 该库有四个模块，分别是： urllib.request urllib.error urllib.parse urllib.robotparser 1 发起请求 模拟浏览器发起一个 HTTP 请求，我们需要用到 urllib.request 模块。urllib.request 的作用不仅仅是发起请求， 还能获取请求返回结果。发起请求，单靠 urlopen() 方法就可以叱咤风云。我们先看下 urlopen() 的 API： urllib.request.urlopen(url, data=None, [timeout, ]*, cafile...
python urllib2基本身份验证【代码】
您好我正在尝试使用python使用urllib2访问API URL：import urllib2url = 'https://XXXXXXXXXX.com/' username = 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' password = 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'passman = urllib2.HTTPPasswordMgrWithDefaultRealm() passman.add_password(None, url, username, password) authhandler = urllib2.HTTPBasicAuthHandler(passman) opener = urllib2.build_opener(authhandler) urllib2...
在c / c中是否有与python的urllib相同的东西？
任何提供getUrl,urlopen,post等功能的c / c库？最佳答案:有一些图书馆,libcurl和libwww等. libcurl网站甚至列出了其他一些alternatives.