爬虫-请求库之request

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了爬虫-请求库之request，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含12081字，纯文字阅读大概需要18分钟。

内容图文

阅读目录

一介绍
二基于GET请求
三基于POST请求
四响应Response
五高级用法

一介绍

                    #
                    介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）
                    #
                    注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求
                    #
                    安装：pip3 install requests
                    #
                    各种请求方式：常用的就是requests.get()和requests.post()
>>> import requests
>>> r = requests.get(‘https://api.github.com/events‘)
>>> r = requests.post(‘http://httpbin.org/post‘, data = {‘key‘:‘value‘})
>>> r = requests.put(‘http://httpbin.org/put‘, data = {‘key‘:‘value‘})
>>> r = requests.delete(‘http://httpbin.org/delete‘)
>>> r = requests.head(‘http://httpbin.org/get‘)
>>> r = requests.options(‘http://httpbin.org/get‘)

#建议在正式学习requests前，先熟悉下HTTP协议
http://www.cnblogs.com/linhaifeng/p/6266327.html

官网链接：http://docs.python-requests.org/en/master/

二基于GET请求

1、基本请求

                    import
                     requests
response=requests.get(‘http://dig.chouti.com/‘)
print(response.text)

2、带参数的GET请求->params

                        #
                        在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容
                        import
                         requests
response=requests.get(‘https://www.baidu.com/s?wd=python&pn=1‘,
                      headers={
                        ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36‘,
                      })
print(response.text)


#如果查询关键词是中文或者有其他特殊符号，则不得不进行url编码from urllib.parse import urlencode
wd=‘egon老师‘
encode_res=urlencode({‘k‘:wd},encoding=‘utf-8‘)
keyword=encode_res.split(‘=‘)[1]
print(keyword)
# 然后拼接成url
url=‘https://www.baidu.com/s?wd=%s&pn=1‘ %keyword

response=requests.get(url,
                      headers={
                        ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36‘,
                      })
res1=response.text

自己拼接GET参数

                        #
                        上述操作可以用requests模块的一个params参数搞定，本质还是调用urlencode
                        from urllib.parse import urlencode
wd=‘egon老师‘
pn=1

response=requests.get(‘https://www.baidu.com/s‘,
                      params={
                          ‘wd‘:wd,
                          ‘pn‘:pn
                      },
                      headers={
                        ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36‘,
                      })
res2=response.text

#验证结果，打开a.html与b.html页面内容一样
with open(‘a.html‘,‘w‘,encoding=‘utf-8‘) as f:
    f.write(res1) 
with open(‘b.html‘, ‘w‘, encoding=‘utf-8‘) as f:
    f.write(res2)

params参数的使用

3、带参数的GET请求->headers

                    #
                    通常我们在发送请求时都需要带上请求头，请求头是将自身伪装成浏览器的关键，常见的有用的请求头如下
                    Host
Referer 
                    #
                    大型网站通常都会根据该参数判断请求的来源
User-Agent #客户端
Cookie #Cookie信息虽然包含在请求头里，但requests模块有单独的参数来处理他，headers={}内就不要放它了

                        #
                        添加headers(浏览器会识别请求头,不加可能会被拒绝访问,比如访问https://www.zhihu.com/explore)
                        import
                         requests
response=requests.get(‘https://www.zhihu.com/explore‘)
response.status_code #500#自己定制headers
headers={
    ‘User-Agent‘:‘Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36‘,

}
respone=requests.get(‘https://www.zhihu.com/explore‘,
                     headers=headers)
print(respone.status_code) #200

View Code

4、带参数的GET请求->cookies

                        #
                        登录github，然后从浏览器中获取cookies，以后就可以直接拿着cookie登录了，无需输入用户名密码
                        
#
                        用户名:egonlin 邮箱378533872@qq.com 密码lhf@123
                        import
                         requests

Cookies={   ‘user_session‘:‘wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc‘,
}

response=requests.get(‘https://github.com/settings/emails‘,
             cookies=Cookies) #github对请求头没有什么限制，我们无需定制user-agent，对于其他网站可能还需要定制print(‘378533872@qq.com‘in response.text) #True

View Code

三基于POST请求

1、介绍

                    #
                    GET请求
                    HTTP默认的请求方法就是GET
     * 没有请求体
     * 数据必须在1K之内！
     * GET请求数据会暴露在浏览器的地址栏中

GET请求常用的操作：
       1. 在浏览器的地址栏中直接给出URL，那么就一定是GET请求
       2. 点击页面上的超链接也一定是GET请求
       3. 提交表单时，表单默认使用GET请求，但可以设置为POST


#POST请求
(1). 数据不会出现在地址栏中
(2). 数据的大小没有上限
(3). 有请求体
(4). 请求体中如果存在中文，会使用URL编码！


#！！！requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据

2、发送post请求，模拟浏览器的登录行为

                    #
                    对于登录来说，应该输错用户名或密码然后分析抓包流程，用脑子想一想，输对了浏览器就跳转了，还分析个毛线，累死你也找不到包

                        ‘‘‘
                        
一 目标站点分析
    浏览器输入https://github.com/login
    然后输入错误的账号密码，抓包
    发现登录行为是post提交到：https://github.com/session
    而且请求头包含cookie
    而且请求体包含：
        commit:Sign in
        utf8:?
        authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==
        login:egonlin
        password:123


二 流程分析
    先GET：https://github.com/login拿到初始cookie与authenticity_token
    返回POST：https://github.com/session， 带上初始cookie，带上请求体（authenticity_token，用户名，密码等）
    最后拿到登录cookie

    ps：如果密码时密文形式，则可以先输错账号，输对密码，然后到浏览器中拿到加密后的密码，github的密码是明文

                        ‘‘‘
                        import
                         requests

                        import
                         re


                        #
                        第一次请求
r1=requests.get(‘https://github.com/login‘)
r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)
authenticity_token=re.findall(r‘name="authenticity_token".*?value="(.*?)"‘,r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码
data={
    ‘commit‘:‘Sign in‘,
    ‘utf8‘:‘?‘,
    ‘authenticity_token‘:authenticity_token,
    ‘login‘:‘317828332@qq.com‘,
    ‘password‘:‘alex3714‘
}
r2=requests.post(‘https://github.com/session‘,
             data=data,
             cookies=r1_cookie
             )


login_cookie=r2.cookies.get_dict()


#第三次请求：以后的登录，拿着login_cookie就可以,比如访问一些个人配置
r3=requests.get(‘https://github.com/settings/emails‘,
                cookies=login_cookie)

print(‘317828332@qq.com‘in r3.text) #True

自动登录github（自己处理cookie信息）

                        import
                         requests

                        import
                         re

session=requests.session()
#第一次请求
r1=session.get(‘https://github.com/login‘)
authenticity_token=re.findall(r‘name="authenticity_token".*?value="(.*?)"‘,r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求
data={
    ‘commit‘:‘Sign in‘,
    ‘utf8‘:‘?‘,
    ‘authenticity_token‘:authenticity_token,
    ‘login‘:‘317828332@qq.com‘,
    ‘password‘:‘alex3714‘
}
r2=session.post(‘https://github.com/session‘,
             data=data,
             )

#第三次请求
r3=session.get(‘https://github.com/settings/emails‘)

print(‘317828332@qq.com‘in r3.text) #True

requests.session()自动帮我们保存cookie信息

3、补充

requests.post(url=‘xxxxxxxx‘,
              data={‘xxx‘:‘yyy‘}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed#如果我们自定义请求头是application/json,并且用data传值, 则服务端取不到值
requests.post(url=‘‘,
              data={‘‘:1,},
              headers={
                  ‘content-type‘:‘application/json‘
              })


requests.post(url=‘‘,
              json={‘‘:1,},
              ) #默认的请求头:application/json

View Code

四响应Response

1、response属性

                    import
                     requests
respone=requests.get(‘http://www.jianshu.com‘)
# respone属性print(respone.text)
print(respone.content)

print(respone.status_code)
print(respone.headers)
print(respone.cookies)
print(respone.cookies.get_dict())
print(respone.cookies.items())

print(respone.url)
print(respone.history)

print(respone.encoding)

#关闭：response.close()from contextlib import closing
with closing(requests.get(‘xxx‘,stream=True)) as response:
    for line in response.iter_content():
    pass

2、编码问题

                        #
                        编码问题
                        import
                         requests
response=requests.get(‘http://www.autohome.com/news‘)
# response.encoding=‘gbk‘ #汽车之家网站返回的页面内容为gb2312编码的，而requests的默认编码为ISO-8859-1，如果不设置成gbk则中文乱码print(response.text)

View Code

3、获取二进制数据

                    import
                     requests

response=requests.get(‘https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1509868306530&di=712e4ef3ab258b36e9f4b48e85a81c9d&imgtype=0&src=http%3A%2F%2Fc.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2F11385343fbf2b211e1fb58a1c08065380dd78e0c.jpg‘)

with open(‘a.jpg‘,‘wb‘) as f:
    f.write(response.content)

                        #
                        stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的
                        import
                         requests

response=requests.get(‘https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode/1767502_56ec685f9c7ec542eeaf6eac93a65dc7_6fe25cd1347c_3.mp4‘,
                      stream=True)

with open(‘b.mp4‘,‘wb‘) as f:
    for line in response.iter_content():
        f.write(line)

获取二进制流

4、解析json

                        #
                        解析json
                        import
                         requests
response=requests.get(‘http://httpbin.org/get‘)

import json
res1=json.loads(response.text) #太麻烦
res2=response.json() #直接获取json数据print(res1 == res2) #True

View Code

5、Redirection and History

By default Requests will perform location redirection for all verbs except HEAD.

We can use the history property of the Response object to track redirection.

The Response.history list contains the Response objects that were created in order to complete the request. The list is sorted from the oldest to the most recent response.

For example, GitHub redirects all HTTP requests to HTTPS:

>>> r = requests.get(‘http://github.com‘)

>>> r.url
‘https://github.com/‘

>>> r.status_code
200

>>> r.history
[<Response [301]>]
If you‘re using GET, OPTIONS, POST, PUT, PATCH or DELETE, you can disable redirection handling with the allow_redirects parameter:

>>> r = requests.get(‘http://github.com‘, allow_redirects=False)

>>> r.status_code
301

>>> r.history
[]
If you‘re using HEAD, you can enable redirection as well:

>>> r = requests.head(‘http://github.com‘, allow_redirects=True)

>>> r.url
‘https://github.com/‘

>>> r.history
[<Response [301]>]

先看官网的解释

                        import
                         requests

                        import
                         re


                        #
                        第一次请求
r1=requests.get(‘https://github.com/login‘)
r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)
authenticity_token=re.findall(r‘name="authenticity_token".*?value="(.*?)"‘,r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码
data={
    ‘commit‘:‘Sign in‘,
    ‘utf8‘:‘?‘,
    ‘authenticity_token‘:authenticity_token,
    ‘login‘:‘317828332@qq.com‘,
    ‘password‘:‘alex3714‘
}






#测试一：没有指定allow_redirects=False,则响应头中出现Location就跳转到新页面，r2代表新页面的response
r2=requests.post(‘https://github.com/session‘,
             data=data,
             cookies=r1_cookie
             )

print(r2.status_code) #200print(r2.url) #看到的是跳转后的页面print(r2.history) #看到的是跳转前的responseprint(r2.history[0].text) #看到的是跳转前的response.text#测试二：指定allow_redirects=False,则响应头中即便出现Location也不会跳转到新页面，r2代表的仍然是老页面的response
r2=requests.post(‘https://github.com/session‘,
             data=data,
             cookies=r1_cookie,
             allow_redirects=False
             )


print(r2.status_code) #302print(r2.url) #看到的是跳转前的页面https://github.com/sessionprint(r2.history) #[]

利用github登录后跳转到主页面的例子来验证它

五高级用法

1、SSL Cert Verification

                        #
                        证书验证(大部分网站都是https)
                        import
                         requests
respone=requests.get(‘https://www.12306.cn‘) #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端#改进1:去掉报错,但是会报警告import requests
respone=requests.get(‘https://www.12306.cn‘,verify=False) #不验证证书,报警告,返回200print(respone.status_code)


#改进2:去掉报错,并且去掉警报信息import requests
from requests.packages import urllib3
urllib3.disable_warnings() #关闭警告
respone=requests.get(‘https://www.12306.cn‘,verify=False)
print(respone.status_code)

#改进3:加上证书
#很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书
#知乎\百度等都是可带可不带
#有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站import requests
respone=requests.get(‘https://www.12306.cn‘,
                     cert=(‘/path/server.crt‘,
                           ‘/path/key‘))
print(respone.status_code)

View Code

2、使用代理

                        #
                        官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies
                        #
                        代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)
                        import
                         requests
proxies={
    ‘http‘:‘http://egon:123@localhost:9743‘,#带用户名密码的代理,@符号前是用户名与密码‘http‘:‘http://localhost:9743‘,
    ‘https‘:‘https://localhost:9743‘,
}
respone=requests.get(‘https://www.12306.cn‘,
                     proxies=proxies)

print(respone.status_code)



#支持socks代理,安装:pip install requests[socks]import requests
proxies = {
    ‘http‘: ‘socks5://user:pass@host:port‘,
    ‘https‘: ‘socks5://user:pass@host:port‘
}
respone=requests.get(‘https://www.12306.cn‘,
                     proxies=proxies)

print(respone.status_code)

View Code

3、超时设置

                        #
                        超时设置
                        
#
                        两种超时:float or tuple
                        
#
                        timeout=0.1 #代表接收数据的超时时间
                        
#
                        timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间
                        import
                         requests
respone=requests.get(‘https://www.baidu.com‘,
                     timeout=0.0001)

View Code

4、认证设置

                        #
                        官网链接：http://docs.python-requests.org/en/master/user/authentication/
                        #
                        认证设置:登陆网站是,弹出一个框,要求你输入用户名密码（与alter很类似），此时是无法获取html的
                        
#
                         但本质原理是拼接成请求头发送
                        
#
                                 r.headers[‘Authorization‘] = _basic_auth_str(self.username, self.password)
                        
#
                         一般的网站都不用默认的加密方式，都是自己写
                        
#
                         那么我们就需要按照网站的加密方式，自己写一个类似于_basic_auth_str的方法
                        
#
                         得到加密字符串后添加到请求头
                        
#
                                 r.headers[‘Authorization‘] =func(‘.....‘)
                        #
                        看一看默认的加密方式吧，通常网站都不会用默认的加密设置
                        import
                         requests

                        from requests.auth import HTTPBasicAuth
r=requests.get(‘xxx‘,auth=HTTPBasicAuth(‘user‘,‘password‘))
print(r.status_code)

#HTTPBasicAuth可以简写为如下格式import requests
r=requests.get(‘xxx‘,auth=(‘user‘,‘password‘))
print(r.status_code)

View Code

5、异常处理

                        #
                        异常处理
                        import
                         requests

                        from requests.exceptions import * #可以查看requests.exceptions获取异常类型try:
    r=requests.get(‘http://www.baidu.com‘,timeout=0.00001)
except ReadTimeout:
    print(‘===:‘)
# except ConnectionError: #网络不通
#     print(‘-----‘)
# except Timeout:
#     print(‘aaaaa‘)except RequestException:
    print(‘Error‘)

View Code

6、上传文件

                        import
                         requests
files={‘file‘:open(‘a.jpg‘,‘rb‘)}
respone=requests.post(‘http://httpbin.org/post‘,files=files)
print(respone.status_code)

View Code

原文：https://www.cnblogs.com/52forjie/p/8359520.html

内容总结

以上是互联网集市为您收集整理的爬虫-请求库之request全部内容，希望文章能够帮你解决爬虫-请求库之request所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1195452.html

来源：【匿名】

【上一篇】爬虫框架Scrapy之详解【下一篇】PHP使用swoole实现多线程爬虫

更多 ►

【爬虫-请求库之request】教程文章相关的互联网学习教程文章

阅读目录一介绍二基于GET请求三基于POST请求四响应Response五高级用法一介绍#介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）#注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求#安装：pip3 install requests#各种请求方式：常用的就是requests.get()和requests.post() >>> impor...

Python爬虫---requests库快速上手【代码】

一、requests库简介requests是Python的一个HTTP相关的库requests安装：pip install requests二、GET请求import requests # 首先导入reqeusts模块 res = requests.get( # 使用requests模拟浏览器发送一个get请求url="https://www.baidu.com", # 指定访问的网址)# 打印响应内容：网站的源代码print(res.text)# 打印二进制响应内容;我们在拉取音乐、视频等使用print(res.content)reqeusts初体验我们发送get请求时，如果URL参数...

Python-爬虫-基本库（requests）使用-抓取猫眼电影Too100榜【代码】【图】

1#抓取猫眼电影，https://maoyan.com/board/4 榜单电影列表 2import requests3import re4from requests.auth import HTTPBasicAuth5 6#定义爬虫工具类 7class SpiderTools():8def__init__(self):9 super(SpiderTools, self).__init__() 10#抓取首页信息11def load_onePage(self,url): 12 self.headers={ 13‘Host‘:‘maoyan.com‘, 14‘Accept‘:‘text / html, application / xhtml + xml, * / *‘, 15‘User-A...

Python爬虫之request模块【代码】

1. 请求方式# 介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） # 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求1. Request = requests.rquest(method, url, **kwargs) # 构造一个请求# ethod(6个) head/get/post/put/patch/delete2. requests.head(url, **kwargs)3. requests.ge...

二 . 爬虫 requests模块使用和请求响应相关参数【代码】

一 . requests模块使用和请求响应相关参数https://www.cnblogs.com/wupeiqi/articles/6283017.html1. requests get请求相关参数import requestsurl = ‘http://httpbin.org/get?name=bob‘# 请求url，？后面拼接的是参数 params = {‘name‘: ‘nick‘,‘age‘: ‘18‘} # 参数，与url上的参数同时存在，没有优先级，若key相同，则值以列表形式存在 cookies = {‘xxx‘: ‘111‘,‘yyy‘: ‘222‘} # cookie值，若headers中有...

Python爬虫-简单利用urllib.request和正则表达式抓取职位信息【代码】

1: 利用urllib.request和正则表达式抓取职位信息 1# coding:utf-8 2 3import re4import requests5import urllib.request6 7#利用urllib和re正则提取网页数据 8 9‘‘‘10url = ‘https://search.51job.com/list/020000,000000,0124,01,9,99,%2520,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fr...

python requests库中的post详解，有这一篇可以做爬虫和接口就足够了【代码】【图】

上一篇文章，我们详细介绍了http请求的常用方法以及细节，大家可以点击：https://blog.51cto.com/u_13025170/2961690进行观看，这一篇文章让你对整个http请求有更详细的认识，两篇结合看，掌握自动化和爬虫不再是难事话不多说，我们直奔主题，上代码一、post请求及响应详解# -*- coding: utf-8 -*- #引入requests库 import requests#设置函数，抿成send_requests def send_requests():#请求地址url = ‘http://httpbin.org/post‘#...

python3爬虫之requests库基本使用【代码】

官方文档链接（中文）https://2.python-requests.org/zh_CN/latest/requests 基于 urllib3 ，python编写。安装 pip install requests （python3）anaconda 版本用pip安装要在 anaconda prompt 里打入安装命令提示Requirement already satisfied: requests in xxxxxx 表示已经安装了import requestsresponse=requests.get(‘http://www.baidu.com‘) #打印类型print(type(response)) #打印状态码print(response.status_code...

解决Python爬虫使用requests包控制台输出乱码问题【图】

输出爬去的信息为乱码！解决办法爬取下来的编码是ISO-8859-1格式，需要转化为utf-8格式，加一句response.encoding = "utf8"原文：https://www.cnblogs.com/amojury/p/9127570.html

Python爬虫之-Requests【代码】

Requests模块Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。Requests 是使用 Apache2 Licensed 许可证的基于Python开发的HTTP 库，其在Python内置模块的基础上进行了高度的封装;从而使得Pythoner进行网络请求时，变得方便了许多，使用Requests可以轻而易举的完成浏览器可有的...

python 爬虫之requests+日志+配置文件读取+mysql入库【代码】

!/usr/bin/env python # -*- coding: utf-8 -*- # 日志管理 import logging import sys reload(sys) sys.setdefaultencoding(‘utf-8‘)def getlogger(logName, logFile):logger=logging.getLogger(logName)logger.setLevel(logging.DEBUG)screenHandle = logging.StreamHandler()screenHandle.setLevel(logging.DEBUG)fileHandle = logging.FileHandler(logFile,‘a‘)fileHandle.setLevel(logging.DEBUG)formatter = logging.For...

python 爬虫之requests+日志+配置文件读取+mysql入库【代码】

#!/usr/bin/env python # -*- coding: utf-8 -*- # 日志管理 import logging import sys reload(sys) sys.setdefaultencoding(utf-8)def getlogger(logName, logFile):logger=logging.getLogger(logName)logger.setLevel(logging.DEBUG)screenHandle = logging.StreamHandler()screenHandle.setLevel(logging.DEBUG)fileHandle = logging.FileHandler(logFile,a)fileHandle.setLevel(logging.DEBUG)formatter = logging.Formatter(...

详解Python之urllib爬虫、request模块和parse模块【代码】【图】

文章目录urllibrequest模块访问URLRequest类其他类parse模块解析URL转义URLrobots.txt文件（免费学习推荐：python视频教程）urlliburllib是Python中用来处理URL的工具包，源码位于/Lib/下。它包含了几个模块：用于打开及读写的urls的request模块、由request模块引起异常的error模块、用于解析urls的parse模块、用于响应处理的response模块、分析robots.txt文件的robotparser模块。注意版本差异。urllib有3个版本：Python2.X包含url...

爬虫基本流程Request和Response的介绍【图】

基于python的爬虫想要从网站上获取数据，就是从request到response的过程。我们通过伪装浏览器从而向服务器发出Request请求，服务器则会在接受信息后，作出Response回应。在上一篇我们讲解了什么是爬虫和爬虫的基本流程的介绍，今天给大家带来的就是对基本流程的详细介绍，什么是Request和Response。Request1.什么是Request？浏览器发送信息给该网址所在的服务器，这个过程就叫做HTTP Request。2.Request中包含什么？请求方式：请求...

Python爬虫：HTTP协议、Requests库【图】

HTTP协议：HTTP（Hypertext Transfer Protocol）：即超文本传输协议。URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源。HTTP协议对资源的操作：Requests库提供了HTTP所有的基本请求方式。官方介绍：Requests库的6个主要方法：Requests库的异常：Requests库的两个重要对象：Request（请求）、Response（相应）。Request对象支持多种请求方法；Response对象包含服务器返回的所有信息，也包含请求的Request信息。R...

REQUEST - 相关标签

爬虫 - 最热教程

论Python爬虫与MySQL数据库交互的坑 Python爬虫实战教程：爬取网易新闻；爬...【Python爬虫实践】异步XHR爬取在线编...node爬虫进阶之——登录 Python3爬虫实例之网易云音乐爬虫 Python爬虫入门【10】：电子书多线程爬...c# – 尝试使用ZeroMQ构建分布式爬虫 Python爬虫抓取技术的门道，大师级总结 java网页爬虫正则表达式 [Python] [爬虫] 1.批量政府网站的招投...

首页 / 爬虫 / 爬虫-请求库之request

爬虫-请求库之request

内容导读

内容图文

一介绍

二基于GET请求

三基于POST请求

四响应Response

五高级用法

内容总结

内容备注

内容手机端

【爬虫-请求库之request】教程文章相关的互联网学习教程文章