首页 / PYTHON / python3 urllib模块使用

python3 urllib模块使用

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python3 urllib模块使用，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含14643字，纯文字阅读大概需要21分钟。

内容图文

urllib模块使用

urllib.request

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

import urllib.request

url = 'http://httpbin.org/ip'
response = urllib.request.urlopen(url)
html = response.read()  # 返回bytes类型数据
print(html)

url = 'http://www.baidu.com'
response = urllib.request.urlopen(url)
html = response.read().decode('utf-8') # 通过decode()方法将bytes类型数据转化为str类型数据
print(html)

发送post数据

import urllib.request
import urllib.parse

url = 'http://httpbin.org/post'

data = {
    'name' : "小明",
    'age' : 30
}
# data = urllib.parse.urlencode(data)  # Error: POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str
# data = urllib.parse.urlencode(data).encode('utf-8')
data = bytes(urllib.parse.urlencode(data),encoding="utf-8")
response = urllib.request.urlopen(url, data=data)
html = response.read().decode('utf-8')
print(html)

设置timeout

import urllib.request

url = 'http://httpbin.org/get'
response = urllib.request.urlopen(url, timeout=1)
html = response.read().decode('utf-8')
print(html)

import socket
import urllib.request
import urllib.error

url = 'http://httpbin.org/get'
try:
    response = urllib.request.urlopen(url, timeout=0.1)
    html = response.read().decode('utf-8')
    print(html)
except urllib.error.URLError as e:
    print("捕获异常....")
    print(e.reason)
    if isinstance(e.reason, socket.timeout):
        print("请求超时")

响应

响应类型、状态码、响应头、实际获取的url

import urllib.request

url = 'http://www.python.org'
response = urllib.request.urlopen(url)
# 响应类型
response_type = type(response)
print(response_type)  # <class 'http.client.HTTPResponse'>
# 状态码
status_code = response.getcode()
print(status_code)
# 状态码对应的信息
status = response.reason
print(status)    # 比如 200对应Ok, 404对应Not Found
# 响应头
response_headers = response.getheaders()  # 返回列表
print(response_headers)
server_type = response.getheader('Server') # getheader()获取响应头的指定部分信息
print(server_type)
print(type(response.headers))  # <class 'http.client.HTTPMessage'>
content_type = response.headers['Content-Type'] # 获取Content-Type
print(content_type)
# 实际获取的url, 可以用来判断是否发生重定向
actual_url = response.geturl()
print(actual_url)

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)¶

import urllib.request

url = 'http://httpbin.org/get'
request = urllib.request.Request(url)  # 创建请求对象
response = urllib.request.urlopen(request) # 发送请求
html = response.read().decode('utf-8')
print(html)
# 默认的User-Agent为"Python-urllib/x.x" # x.x为python版本号

发送post数据

import urllib.request
import urllib.parse

url = 'http://httpbin.org/post'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36',
}
data = {
    'name' : 'peter', 
    'age' : 20
}

data = bytes(urllib.parse.urlencode(data), encoding="utf-8") # POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str
request = urllib.request.Request(url, data=data, headers=headers)
response = urllib.request.urlopen(request)
html = response.read().decode('utf-8')
print(html)
# post数据时  "Content-Type": "application/x-www-form-urlencoded"

urllib.request.Request 对象方法

import urllib.request


url = 'http://httpbin.org/get'
request = urllib.request.Request(url)
# add_header(key, val)   # 添加请求头信息
request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36')
response = urllib.request.urlopen(request)
html = response.read().decode('utf-8')
print(html)

Handlers

ProxyHandler(代理)

import urllib.request

# 字典，key为协议类型,value 为 ip地址:端口号
proxy_dict = {
    'http': '127.0.0.1:6688',
    'https': '127.0.0.1:6688',
}

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36',
}


proxy_hanlder = urllib.request.ProxyHandler(proxy_dict)
opener = urllib.request.build_opener(proxy_hanlder)
urllib.request.install_opener(opener)

opener.addheaders = headers.items()   # 设置请求头

url = 'http://www.whatismyip.com.tw/' # 测试ip, 如果使用代理则显示代理ip
response = urllib.request.urlopen(url)
print(response.read().decode('utf-8'))

# 常见错误: 
# HTTPError: HTTP Error 403: Forbidden : 很可能代理服务器设置了权限，当前ip不在代理服务器允许访问列表中

代理需要身份认证

# 错误提示: HTTPError: HTTP Error 407: Proxy Authentication Required

#方法1: 代理ip设置格式 http://用户名:密码@ip地址:端口号
import urllib.request

# 字典，key为协议类型,value 为 ip地址:端口号
proxy_dict = {
    'http': 'http://name:password@127.0.0.1:6688',
    'https': 'http://name:password@127.0.0.1:6688',
}

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36',
}


proxy_hanlder = urllib.request.ProxyHandler(proxy_dict)
opener = urllib.request.build_opener(proxy_hanlder)
urllib.request.install_opener(opener)

opener.addheaders = headers.items()   # 设置请求头

url = 'http://www.whatismyip.com.tw/' # 测试ip, 如果使用代理则显示代理ip
response = opener.open(url)
print(response.read().decode('utf-8'))

#方法2: 使用ProxyBasicAuthHandler用于代理登陆验证(需要提供相应的用户名和密码)
import urllib.request

# 字典，key为协议类型,value 为 ip地址:端口号
proxy_dict = {
    'http': 'http://127.0.0.1:6688',
}

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36',
}


proxy_hanlder = urllib.request.ProxyHandler(proxy_dict)
password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
password_mgr.add_password(None, 'http://127.0.0.1:6688', 'name', 'password') # #realm(域)设为None即可
proxy_auth_handler = urllib.request.ProxyBasicAuthHandler(password_mgr)
opener = urllib.request.build_opener(proxy_hanlder, proxy_auth_handler)
urllib.request.install_opener(opener)

opener.addheaders = headers.items()   # 设置请求头

url = 'http://www.whatismyip.com.tw/' # 测试ip, 如果使用代理则显示代理ip
response = opener.open(url)
print(response.read().decode('utf-8'))

HTTPBasicAuthHandler

用于访问web服务器时的身份验证

import urllib.request

url = 'http://127.0.0.1/test/'
password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
password_mgr.add_password(None, url, 'admin','password')  # 添加对应url的用户名和密码
http_auth_handler = urllib.request.HTTPBasicAuthHandler(password_mgr)
opener = urllib.request.build_opener(http_auth_handler)
response = opener.open(url)
print(response.read().decode('utf-8'))

FTPHandler

import urllib.request


url = 'ftp://ftp1.linuxidc.com'
username = 'ftp1.linuxidc.com'
password = 'www.linuxidc.com'

ftp_url = 'ftp://%s:%s@ftp1.linuxidc.com' %(username, password)
ftp_handler = urllib.request.FTPHandler()  
opener = urllib.request.build_opener(ftp_handler)
response = opener.open(ftp_url)
print(response.read().decode('utf-8', 'ignore'))

HTTPHandler、HTTPSHandler

import urllib.request


url = 'http://www.baidu.com'
# 通过将debuglevel=1,将debug Log 打开,这样收发包的内容就会在屏幕上打印出来，方便调试
http_handler = urllib.request.HTTPHandler(debuglevel=1)
https_handler = urllib.request.HTTPSHandler(debuglevel=1)
opener = urllib.request.build_opener(http_handler, https_handler)
response = opener.open(url)

'''
效果:
send: b'GET / HTTP/1.1\r\nAccept-Encoding: identity\r\nHost: www.baidu.com\r\nUser-Agent: Python-urllib/3.6\r\nConnection: close\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Date header: Content-Type header: Transfer-Encoding header: Connection header: Vary header: Set-Cookie header: Set-Cookie header: Set-Cookie header: Set-Cookie header: Set-Cookie header: Set-Cookie header: P3P header: Cache-Control header: Cxy_all header: Expires header: X-Powered-By header: Server header: X-UA-Compatible header: BDPAGETYPE header: BDQID header: BDUSERID 
'''

CookieJar

import urllib.request
import http.cookiejar


url = 'http://www.baidu.com'
cookie = http.cookiejar.CookieJar()
cookie_handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(cookie_handler)
response = opener.open(url)
print(response.getcode())
for item in cookie:  # item为<class 'http.cookiejar.Cookie'>
    print(item.name, item.value, sep=" : ")

MozillaCookieJar

创建与Mozilla cookies.txt文件兼容的FileCookieJar实例

import urllib.request
import http.cookiejar


url = 'https://www.zhihu.com/settings/profile'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36'
}

cookie = http.cookiejar.MozillaCookieJar("zhihu_cookie.txt")
cookie_handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(cookie_handler)
opener.addheaders = headers.items()

try:
    cookie.load()    # 将cookie数据从文件加载到内存  很重要
except http.cookiejar.LoadError as e:
    print('cookie文件加载失败')
except IOError as e:
    print("cookie文件不存在")

response = opener.open(url)
print(response.geturl())  # 将geturl()返回的结果和url比对，判断是否登陆成功，失败会转到知乎登陆界面
html = response.read().decode('utf-8')
print(html)

# 对于登陆成功，需要调用MozillaCookieJar对象的save()方法，将数据从内存保存到文件中

LWPCookieJar

创建与libwww-perl Set-Cookie3文件兼容的FileCookieJar实例

import urllib.request
import http.cookiejar


url = 'http://www.baidu.com'
cookie = http.cookiejar.LWPCookieJar("cookies.txt")
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
response = opener.open(url)
# 必须调用save方法 将内存中的cookie对象保存到本地文件中, 下次再次使用cookie，只需调用load方法将其加载到内存中即可
cookie.save(ignore_discard=True, ignore_expires=True)

异常处理

URLError

引起URLError的原因通常有: 无网络连接,即本机无法上网、访问的目标服务器不存在。在这种情况下，异常对象会有reason属性(它是一个由(错误码、错误原因)组成的元组对象)。捕获异常方法如下:

import urllib.request


try:
    response = urllib.request.urlopen('http://www.hello_world.org')
except urllib.request.URLError as e:
    print(type(e.reason)) #  <class 'socket.gaierror'>
    print(e.reason)  # # [Errno 11001] getaddrinfo failed

HTTPError

HTTPError是URLError的子类，每次调用urlopen方法发出一个请求时，服务器上都会产生对应response,它包含一个数字"状态码"，
常见的状态码有200(请求成功),302(重定向)，304(文档的内容(自上次访问以来或者根据请求的条件)并没有改变)
这些状态码有的表示服务器无法完成请求。如果无法处理请求，urlopen会抛出HTTPError。
典型的错误包括404(页面没有找到)、403(请求被禁止)、401(当前请求需要用户认证)、407(需要代理验证)、500(服务器内部错误)

# 方式1
import urllib.request
import urllib.error


url = 'http://www.hello_world.org'
# url = 'http://example.com/test.html'
try:
    response = urllib.request.urlopen(url)
# HTTPError是URLError子类，要放到前面处理
except urllib.error.HTTPError as e:
    print("The server cannot fulfill the request...")
    print("Error code: ", e.code)
    print("Reason: ", e.reason)
except urllib.error.URLError as e:
    print("failed to fetch the server...")
    print("Reason: ", e.reason)

# 方式2
import urllib.request
import urllib.error


url = 'http://www.hello_world.org'
# url = 'http://example.com/test.html'
try:
    response = urllib.request.urlopen(url)
except urllib.error.URLError as e:
    if hasattr(e, 'code'):
        print("The server cannot fulfill the request...")
        print("Error code: ", e.code)
        print("Reason: ", e.reason)
    else:
        print("failed to fetch the server...")
        print("Reason: ", e.reason)

urllib.parse

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)¶

负责解析URL

from urllib.parse import urlparse

# def urlparse(url, scheme='', allow_fragments=True)
# 将url解析成6部分 <scheme>://<netloc>/<path>;<params>?<query>#<fragment>
# 返回6元祖 (scheme, netloc, path, params, query, fragment)


result = urlparse('http://www.baidu.com/index.html;user?id=100#comment')
print(type(result))  # <class 'urllib.parse.ParseResult'>
print(result)   # ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=100', fragment='comment')

# 只有通过// 才能识别netloc
result = urlparse(
    '//www.baidu.com/index.html;user?id=100#comment',
    scheme="https")
print(result)  # ParseResult(scheme='https', netloc='www.baidu.com', path='/index.html', params='user', query='id=100', fragment='comment')


result = urlparse(
    'www.baidu.com/index.html;user?id=100#comment',
    scheme="https")
print(result)  # ParseResult(scheme='https', netloc='', path='www.baidu.com/index.html', params='user', query='id=100', fragment='comment')

# 原url已包含scheme，使用已有的scheme
result = urlparse(
    'http://www.baidu.com/index.html;user?id=100#comment',
    scheme="https")
print(result)  # ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=100', fragment='comment')

result = urlparse(
    "http://www.baidu.com/index.html;user?id=100#comment",
    allow_fragments=False)
print(result)  # ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=100#comment', fragment='')

result = urlparse(
    "http://www.baidu.com/index.html#comment",
    allow_fragments=False)
print(result)  # ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html#comment', params='', query='', fragment='')

urllib.parse.urlunparse(parts)

from urllib.parse import urlunparse


data = ("http", 'www.baidu.com','index.html', 'user','id=100','comment')
url = urlunparse(data)
print(url)

urllib.parse.urljoin(base, url, allow_fragments=True)

# 以相对路径的url为准，base url向相对路径url提供相对路径url缺少的scheme(协议),netloc(主机地址), 来构造完整的url路径
from urllib.parse import urljoin


print(urljoin("http://www.baidu.com","FAQ.html"))
print(urljoin("http://www.baidu.com/index.html","FAQ.html"))
print(urljoin("http://www.baiud.com/index.html", "http://www.google.com/FAQ.html"))
print(urljoin("http://www.baidu.com/index.html", "http://www.google.com/FAQ.html?question=2"))
print(urljoin("http://www.baidu.com/index.html?wd=abc", "http://www.google.com/FAQ.html"))
print(urljoin("http://www.baidu.com/", "?category=5#comment"))
print(urljoin("http://www.baidu.com/#comment", "?category=5"))

'''
http://www.baidu.com/FAQ.html
http://www.baidu.com/FAQ.html
http://www.google.com/FAQ.html
http://www.google.com/FAQ.html?question=2
http://www.google.com/FAQ.html
http://www.baidu.com/?category=5#comment
http://www.baidu.com/?category=5
'''

urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=quote_plus)

 from urllib.parse import urlencode

basic_url = 'http://httpbin.org/get'
data = {
    "key": '天气',
}
data = urlencode(data)
full_url = '%s?%s' % (basic_url, data)
print(full_url) # http://httpbin.org/get?key=%E5%A4%A9%E6%B0%94

内容总结

以上是互联网集市为您收集整理的python3 urllib模块使用全部内容，希望文章能够帮你解决python3 urllib模块使用所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/856572.html

来源：【匿名】

【上一篇】python中的三元表达式，列表解析和生成器表达式【下一篇】浅谈PHP运行Python脚本的方法

更多 ►

【python3 urllib模块使用】教程文章相关的互联网学习教程文章

Python基础知识之模块【代码】

一、syssys.argv　　命令行参数List，第一个元素是程序本身路径sys.exit(n) 　退出程序，正常退出时exit(0)sys.version 获取Python解释程序的版本信息sys.path 返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值sys.platform 返回操作系统平台名称sys.stdin 输入相关sys.stdout 输出相关例子：进度条import sysimport timedef view_bar(num, total): rate = float(num) / float(total) rat...

python_os模块【代码】

os模块 1import os2 3 os.remove(‘path‘) #删除指定路径的文件 4 os.rename("src","dst") #命名文件或目录 5 os.mkdir(‘case‘) #创建目录 6 os.makedirs(‘case/login‘) #递归创建目录 7 8print(os.listdir(r‘path‘) ) #方法用于返回指定的文件夹包含的文件或文件夹的名字的列表 9print(os.path.isdir(r‘path‘)) #用于判断对象是否为一个目录，返回True 或 false10print(os.path.isfile(r‘path‘)) #用于判断对象是否...

python的pyserial模块【代码】

pyserial是python提供用于进行串口通信的库源文档：https://pythonhosted.org/pyserial/1、安装pyserialpip install pyserial2、查看电脑现连串口设备import serial.tools.list_ports#检测设备的端口数 # plist = list(serial.tools.list_ports.comports())# if len(plist) <= 0: # print("没有发现端口!") # else: # #端口数 # print len(plist)# plist_0 = list(plist[1]) # serialName = plist_0[0] # ...

Python shutil模块【代码】

参考链接： https://www.cnblogs.com/zhangboblogs/p/7821702.html　　　　　 https://www.cnblogs.com/xiangsikai/p/7787101.html找了一圈的博客发现大大小小都有问题，还是看源码吧@app.route(‘/index/‘, methods=[‘GET‘, ‘POST‘]) def index():import osimport shutilif request.method == ‘GET‘:return render_template(‘index.html‘)# POSTfile_obj = request.files.get(‘code‘)# print(file_obj) # <FileSto...

python里面的xlrd模块详解（一）【代码】【图】

那我就一下面积个问题对xlrd模块进行学习一下：1.什么是xlrd模块？2.为什么使用xlrd模块？3.怎样使用xlrd模块？1.什么是xlrd模块？　　?python操作excel主要用到xlrd和xlwt这两个库，即xlrd是读excel，xlwt是写excel的库。今天就先来说一下xlrd模块：一、安装xlrd模块　　? 到python官网下载http://pypi.python.org/pypi/xlrd模块安装，前提是已经安装了python 环境。　　?或者在cmd窗口 pip install xlrd二、使用介绍 1、常用单...

Python使用ctypes模块调用C/C++【代码】

最近在做图卷积相关的实验，里面涉及到图采样，该过程可以抽象为：从一个包含n个节点,m条边的图中根据一定规则采样一个连通图。由于实验使用的是FB15k-237数据集，共包含14541个节点，272115条边，每次采样30000条边，采样一次需要8s，这对于深度学习实验来说是难以接受的，会导致GPU长时间空闲。因此我开始尝试使用C/C++优化代码，虽然最后优化效果不行，但是也是对python调用C代码的一次学习，因此在此纪录一下。Python原代码 de...

Python模块:heapq堆

这个模块提供了堆队列算法的实现，也称为优先队列算法堆是一个二叉树，它的每个父节点的值都只会小于或大于所有孩子节点(的值),他使用了数组来实现。堆最小的元素总是在根节点:heap[0] 要创建一个堆，可以使用list来初始化为[],或者你可以通过一个函数heapify(),来把一个list转换成堆定义了以下函数:1.heapq.heappush(heap.item)将item的值加入到heap中，保持堆的不变性 2.heapq.heappop(heap)弹出并返回heap的最小的元素，保持堆的...

【转】Python中操作mysql的pymysql模块详解

Python中操作mysql的pymysql模块详解前言pymsql是Python中操作MySQL的模块，其使用方法和MySQLdb几乎相同。但目前pymysql支持python3.x而后者不支持3.x版本。本文测试python版本：2.7.11。mysql版本：5.6.24一、安装1pip3 install pymysql二、使用操作1、执行SQL1234567891011121314151617181920212223242526#!/usr/bin/env pytho# -*- coding:utf-8 -*-importpymysql # 创建连接conn =pymysql.connect(host=‘127.0.0.1‘, port=...

Python 正则表达模块详解(7)【代码】

Python 的创始人为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解释程序,作为ABC语言的一种继承.Python是纯粹的自由软件,源代码和解释器CPython遵循 GPL(GNU General Public License)协议.关于python的哲学：python崇尚:"优雅"、"明确"、"简单",Python是用最简单最优雅最明确的方法来解决问题.正则表达式(Regluar Expressions)又称规则表达式,这个概念最初是由...

python学习之路——基础篇（3）模块（续）【代码】

re正则表达式、shutil、ConfigParser、xml一、re正则元字符和语法：语法说明　　表达式完全匹配字符　　　　　　　　　　字符一般字符　　匹配自身abc　　abc.匹配除换行符“\n”外,任意一个字符a.cabc\　　　　　　转义字符,将特殊字符转义为本身a\.ca\\ca.ca\c[...]匹配字符集任意一个字符，或者“-”表示一个集合范围如：[a-zA-Z0-9]匹配范围中任意一个字符；或者[^]匹配否定，对括号中的内容取反。[abc]efgaefgbefgcefg　　　　...

python re模块详解【代码】

匹配数字相关‘.‘ 默认匹配除\n之外的任意一个字符，若指定flag DOTALL,则匹配任意字符，包括换行‘^‘ 匹配字符开头，若指定flags MULTILINE,这种也可以匹配上(r"^a","\nabc\neee",flags=re.MULTILINE)‘$‘ 匹配字符结尾，或e.search("foo$","bfoo\nsdfsf",flags=re.MULTILINE).group()也可以‘*‘ 匹配*号前的字符0次或多次，re.findall("ab*","cabb3abcbbac") 结果为[‘abb‘, ‘ab‘, ‘a‘]‘+‘ 匹配...

python configparser模块【代码】

来看一个好多软件的常见文档格式如下：[DEFAULT] ServerAliveInterval = 45 Compression = yes CompressionLevel = 9 ForwardX11 = yes[bitbucket.org] User = hg[topsecret.server.com] Port = 50022 ForwardX11 = no 如果想用python生成一个这样的文档怎么做呢？import configparserconfig = configparser.ConfigParser() config["DEFAULT"] = {‘ServerAliveInterval‘: ‘45‘,‘Compression‘: ‘yes‘,‘CompressionLevel‘...

python学习笔记(22) 模块

加载模块：　　1.先从sys.modules里查看是否已导入　　2.如果没有导入，就依据sys.path路径寻找模块　　3.找到模块就导入　　4.创建这个模块的命名空间　　5.执行文件，把文件中的名字放到命名空间里执行demo.read会优先查找demo里的函数和变量import time as t　　#给模块起别名，原名不再可用if file_format == ‘xml‘:　　import xmlreader as readerelif file_format == ‘csv‘:　　import csvreader as readerdata = reade...

python学习笔记二：if语句及循环语句，断点，模块，pyc

if语句注意：语句块中的内容要强制缩进，否则出错。IndentationError，缩进错误所有代码，如果是顶级的，必须顶格写，前面不能有空格if … : …elif … : …else: … while语句while …: …else: …for语句for i in range(10)——i默认0，步长默认1,最大为9for i in range (0,2,10)——从0开始，步长为2，最大为8for i in range(…): …else: …break——结束本层循环...

python常用模块之json和pickle模块

json模块json.dumps 将 Python 对象编码成 JSON 字符串json.loads 用于解码 JSON 数据。该函数返回 Python 字段的数据类型。 pickle pickle.dump(obj, file, [,protocol])含义：pickle.dump（对象，文件，[使用协议]）将要持久化的数据“对象”，保存到“文件”中，使用有3种协议，索引0为ASCII，1为旧式二进制，2为新式二进制协议，不同之处在于2要更高效一些。默认dump方法使用0做协议pickle.load(file)含义：pickle....

首页 / PYTHON / python3 urllib模块使用

python3 urllib模块使用

内容导读

内容图文

urllib模块使用

urllib.request

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

发送post数据

设置timeout

响应

响应类型、状态码、响应头、实际获取的url

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)¶

发送post数据

urllib.request.Request 对象方法

Handlers

ProxyHandler(代理)

代理需要身份认证

HTTPBasicAuthHandler

用于访问web服务器时的身份验证

FTPHandler

HTTPHandler、HTTPSHandler

Cookie

CookieJar

MozillaCookieJar

创建与Mozilla cookies.txt文件兼容的FileCookieJar实例

LWPCookieJar

创建与libwww-perl Set-Cookie3文件兼容的FileCookieJar实例

异常处理

URLError

HTTPError

urllib.parse

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)¶

负责解析URL

urllib.parse.urlunparse(parts)

urllib.parse.urljoin(base, url, allow_fragments=True)

urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=quote_plus)

内容总结

内容备注

内容手机端

【python3 urllib模块使用】教程文章相关的互联网学习教程文章

PYTHON3 - 相关标签

URLLIB - 相关标签

PYTHON - 技术教程分类

PYTHON - 最新教程

PYTHON - 最热教程