首页 / PYTHON / 介绍Python的Urllib库的一些高级用法

介绍Python的Urllib库的一些高级用法

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了介绍Python的Urllib库的一些高级用法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4615字，纯文字阅读大概需要7分钟。

内容图文

1.设置Headers

有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性。

首先，打开我们的浏览器，调试浏览器F12，我用的是Chrome，打开网络监听，示意如下，比如知乎，点登录之后，我们会发现登陆之后界面都变化了，出现一个新的界面，实质上这个页面包含了许许多多的内容，这些内容也不是一次性就加载完成的，实质上是执行了好多次请求，一般是首先请求HTML文件，然后加载JS，CSS 等等，经过多次请求之后，网页的骨架和肌肉全了，整个网页的效果也就出来了。

介绍Python的Urllib库的一些高级用法 - 文章图片

拆分这些请求，我们只看一第一个请求，你可以看到，有个Request URL，还有headers，下面便是response，图片显示得不全，小伙伴们可以亲身实验一下。那么这个头中包含了许许多多是信息，有文件编码啦，压缩方式啦，请求的agent啦等等。

其中，agent就是请求的身份，如果没有写入请求身份，那么服务器不一定会响应，所以可以在headers中设置agent,例如下面的例子，这个例子只是说明了怎样设置的headers，小伙伴们看一下设置格式就好。

import urllib 
import urllib2 
 
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
values = {'username' : 'cqc', 'password' : 'XXXX' } 
headers = { 'User-Agent' : user_agent } 
data = urllib.urlencode(values) 
request = urllib2.Request(url, data, headers) 
response = urllib2.urlopen(request) 
page = response.read()

这样，我们设置了一个headers，在构建request时传入，在请求时，就加入了headers传送，服务器若识别了是浏览器发来的请求，就会得到响应。

另外，我们还有对付”反盗链”的方式，对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入referer

例如我们可以构建下面的headers

headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' ,
            'Referer':'http://www.zhihu.com/articles' }

同上面的方法，在传送请求时把headers传入Request参数里，这样就能应付防盗链了。

另外headers的一些属性，下面的需要特别注意一下：

User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。
application/xml ：在 XML RPC，如 RESTful/SOAP 调用时使用
application/json ：在 JSON RPC 调用时使用
application/x-www-form-urlencoded ：浏览器提交 Web 表单时使用
在使用服务器提供的 RESTful 或 SOAP 服务时， Content-Type 设置错误会导致服务器拒绝服务

其他的有必要的可以审查浏览器的headers内容，在构建时写入同样的数据即可。
2. Proxy（代理）的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，网站君都不知道是谁在捣鬼了，这酸爽！

下面一段代码说明了代理的设置用法

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
  opener = urllib2.build_opener(proxy_handler)
else:
  opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

3.Timeout 设置

上一节已经说过urlopen方法了，第三个参数就是timeout的设置，可以设置等待多久超时，为了解决一些网站实在响应过慢而造成的影响。

例如下面的代码,如果第二个参数data为空那么要特别指定是timeout是多少，写明形参，如果data已经传入，则不必声明。

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)
 
import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)

4.使用 HTTP 的 PUT 和 DELETE 方法

http协议有六种请求方法，get,head,put,delete,post,options，我们有时候需要用到PUT方式或者DELETE方式请求。

PUT：这个方法比较少见。HTML表单也不支持这个。本质上来讲， PUT和POST极为相似，都是向服务器发送数据，但它们之间有一个重要区别，PUT通常指定了资源的存放位置，而POST则没有，POST的数据存放位置由服务器自己决定。
DELETE：删除某一个资源。基本上这个也很少见，不过还是有一些地方比如amazon的S3云服务里面就用的这个方法来删除资源。

如果要使用 HTTP PUT 和 DELETE ，只能使用比较低层的 httplib 库。虽然如此，我们还是能通过下面的方式，使 urllib2 能够发出 PUT 或DELETE 的请求，不过用的次数的确是少，在这里提一下。

import urllib2
request = urllib2.Request(uri, data=data)
request.get_method = lambda: 'PUT' # or 'DELETE'
response = urllib2.urlopen(request)

5.使用DebugLog

可以通过下面的方法把 Debug Log 打开，这样收发包的内容就会在屏幕上打印出来，方便调试，这个也不太常用，仅提一下

import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.baidu.com')

以上便是一部分高级特性，前三个是重要内容，在后面，还有cookies的设置还有异常的处理，小伙伴们加油！

内容总结

以上是互联网集市为您收集整理的介绍Python的Urllib库的一些高级用法全部内容，希望文章能够帮你解决介绍Python的Urllib库的一些高级用法所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/433890.html

来源：【匿名】

【上一篇】用Python编写简单的定时器的方法【下一篇】浅谈PHP运行Python脚本的方法

更多 ►

【介绍Python的Urllib库的一些高级用法】教程文章相关的互联网学习教程文章

python之函数用法globals()【代码】

# -*- coding: utf-8 -*- #python 27 #xiaodeng #python之函数用法globals()#globals() #说明：在当前作用域下,查看全局变量‘‘‘ globals(...)globals() -> dictionaryReturn the dictionary containing the current scope‘s global variables. ‘‘‘#案例 b=‘xiaodeng‘print globals#<built-in function globals>print globals() ‘‘‘ { ‘b‘: ‘xiaodeng‘, ‘__builtins__‘: <module ‘__builtin__‘ (built-in)>, ‘...

Python定义全局变量的用法【代码】

全局变量是编程语言中常见的一种变量，通过全局定义，可以是某对象函数创建，也可以是本程序任何位置创建，能够被本程序中的所有对象或函数进行引用，全局变量的定义有利于程序的变量共享，简化了添加和修改的程序。和C语言一样，Python也具有全局变量，其定义全局变量的用法有两种：1. 声明法该方法是直接在当前模块中进行全局变量定义声明，使用global的声明方式，再进行引用！OLD_URL=‘http://oldboyedu.com‘def bb(): glo...

Python用法摘要 BY 四喜三顺

函数的定义：def function_name(parameters): block return expression自带函数：abs（-9） #取绝对值round(3.4) #浮点数四舍五入到整数pow(2,4) #2的4次方raw_input() #用户输入例如：>>> name=raw_input("Pls enter a name: ") Pls enter a name: Obama>>> name ‘Obama‘ 模块：>>> import math>>> math.sqrt(9) 3.0定义自己的模块：name.py中存放function1、function2等，na...

python基础----特性（property）、静态方法（staticmethod）、类方法（classmethod）、str的用法【代码】

一、特性（property） 1 什么是特性propertyproperty是一种特殊的属性，访问它时会执行一段功能（函数）然后返回值 1 import math2 class Circle:3 def __init__(self,radius): #圆的半径radius4 self.radius=radius5 6 @property7 def area(self):8 return math.pi * self.radius**2 #计算面积9 10 @property 11 ...

Python3中内置类型bytes和str用法及byte和string之间各种编码转换

Python 3最重要的新特性大概要算是对文本和二进制数据作了更为清晰的区分。文本总是Unicode，由str类型表示，二进制数据则由bytes类型表示。Python 3不会以任意隐式的方式混用str和bytes，正是这使得两者的区分特别清晰。你不能拼接字符串和字节包，也无法在字节包里搜索字符串（反之亦然），也不能将字符串传入参数为字节包的函数（反之亦然）. python3.0中怎么创建bytes型数据12bytes([1,2,3,4,5,6,7,8,9])bytes("python", ‘...

下划线在Python中的用法【代码】

学习Python基础知识部分的时候，经常会用到下划线，因为下划线在Python中有一些特殊的意义。今天我们来看一下，下划线在Python中有哪些应用。用于表示最后一个表达式的值。在linux的shell里，当你执行完一条shell命令的时候，会有一个变量$?来表示这个表达式的执行结果，即这个表达式执行成功了还是没有。而Python中，则是使用_来表示最后一个表达式的值。我们来看代码示例>>> 3+5 8 >>> _ 8 >>> _*3 24 >>> _ 24在上面的代码中，...

Python 中海象运算符的三种用法【代码】【图】

首发于微信公众号：《Python编程时光》系列导读Python 炫技操作：条件语句的七种写法Python 炫技操作：合并字典的七种方法Python 炫技操作：连接列表的八种方法Python 版本发展非常快，如今最新的版本已经是 Pyhton 3.9，即便如此，有很多人甚至还停留在 3.6 或者 3.7，连 3.8 还没用上。很多 Python 3.8 的特性还没来得及了解，就已经成为旧知识了，比如今天要说的海象运算符。海象运算符是在 PEP 572 被提出的，直到 3.8 版本合入...

关于python format()用法详解【代码】

str.format() 这个特性从python2.6而来其实实现的效果和%有些类似不过有些地方更方便通过位置映射:In [1]: ‘{0},{1}‘.format(‘kzc‘,18) Out[1]: ‘kzc,18‘ In [2]: ‘{},{}‘.format(‘kzc‘,18) # 注意python2.6并不支持写为空 Out[2]: ‘kzc,18‘ In [3]: ‘{1},{0},{1}‘.format(‘kzc‘,18) Out[3]: ‘18,kzc,18‘ 通过关键字参数:In [5]: ‘{name},{age}‘.format(age=18,name=‘kzc‘) Out[5]: ‘kzc,18‘ 通过对...

Python：eval()的用法【代码】

eval(expression, globals=None, locals=None)# 返回表达式的计算结果 >> x = 1 >> eval('x+1') 2# 转换 >> ls = '[1, 2, 3]' >> eval(ls) [1, 2, 3]原文：https://www.cnblogs.com/ricecake/p/11275500.html

Python中类的两种用法【图】

第一种用法是使用类生成实例对象。类作为实例对象的模版，每个实例创建后，都将拥有类的所有属性和方法。第二种用法是用类将多个函数（方法）打包封装在一起，让类中的方法相互配合。原文：https://www.cnblogs.com/Through-Target/p/12118674.html

python中 * 的用法详解

1、表示乘号2、表示倍数例如：print("a"*3)输出：a a a3、单个 *参数1）、如：*parameter是用来接受任意多个参数并将其放在一个元组中。def demo(*p):　　print(p)demo(1,2,3)out:(1,2,3)（2）、函数在调用多个参数时，在列表、元组、集合、字典及其他可迭代对象作为实参，并在前面加 * (解包)例：a = [1,2,3]def demo(a):　　print(a)demo(a)out:[1,2,3]demo(*a)out:1 2 34、两个 ** 如: **parameter用于接收类似于关键参...

python list用法

a = [‘张三‘,‘李四‘，‘赵六‘，‘王五‘]#打印列表print(a)#增a.apppend(‘徐七‘)print(a)a.insert(1,‘张六‘)print(a)#删a.pop() #删除最后的元素print(a)a.pop(1) #根据下标删除元素#查print(a[1]) #根据下标取数据print(a[-1]) #根据下标从后面开始取值#改a[3] = ‘王七‘ #赋值操作原文：https://www.cnblogs.com/shiyihan/p/10486431.html

python lambda表达式的一些用法【代码】

#用lambda表达式来排序a=[{"name":"zhangsan","age":10},{"name":"lisi","age":15},{"name":"wangwu","age":6}]a.sort(key=lambda x:x[‘age‘])print(a)#func相当于一个lambda表达式func=raw_input("请输入表达式")func=eval(func)def add(a,b,func): c=func(a,b) return ccc=add(3,5,func)print(cc)原文：https://www.cnblogs.com/luoliang-gaoyu/p/8405366.html

Python连载40-协程定义及状态、send语句、yield用法【代码】【图】

一、协程1.历史进程：（1）3.4引入协程，用yield来实现（2）3.5引入协程语法（3）实现协程比较好的包有asyncio,tornado,gevent2.定义：协程是为非抢占式多任务产生子程序的计算机程序组件，协程允许不同入口点在不同位置暂停或开始执行程序3.从技术角度讲，协程就是一个可以暂停执行的函数，或者干脆把协程理解为一个生成器4.协程对资源的消耗很小，要比多进程消耗的资源小多了，因此多并发下，协程更节省资源。5.协程的实现（1）y...

Python 中zip()函数的用法【图】

1. 定义： zip()是Python的一个内建函数，它接受一系列可迭代的对象作为参数，将对象中对应的元素打包成一个个tuple（元组），然后返回由这些tuples组成的list（列表）。若传入参数的长度不等，则返回list的长度和参数中长度最短的对象相同。利用*号操作符，可以将list unzip（解压）。2. 常见用法：A. 使用zip()函数来可以把列表合并，并创建一个元组对的列表　　　需要注意的是：在python 3.0中zip()是可迭代对象...

首页 / PYTHON / 介绍Python的Urllib库的一些高级用法

介绍Python的Urllib库的一些高级用法

内容导读

内容图文

内容总结

内容备注

内容手机端

【介绍Python的Urllib库的一些高级用法】教程文章相关的互联网学习教程文章

python之函数用法globals()【代码】

Python定义全局变量的用法【代码】

Python用法摘要 BY 四喜三顺

python基础----特性（property）、静态方法（staticmethod）、类方法（classmethod）、str的用法【代码】

Python3中内置类型bytes和str用法及byte和string之间各种编码转换

下划线在Python中的用法【代码】

Python 中海象运算符的三种用法【代码】【图】

关于python format()用法详解【代码】

Python：eval()的用法【代码】

Python中类的两种用法【图】

python中 * 的用法详解

python list用法

python lambda表达式的一些用法【代码】

Python连载40-协程定义及状态、send语句、yield用法【代码】【图】

Python 中zip()函数的用法【图】

PYTHON - 相关标签

URLLIB - 相关标签

PYTHON - 技术教程分类

PYTHON - 最新教程

PYTHON - 最热教程