首页 / PYTHON / python之路_day96_爬虫之requests模块补充

python之路_day96_爬虫之requests模块补充

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python之路_day96_爬虫之requests模块补充，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6366字，纯文字阅读大概需要10分钟。

内容图文

一、响应Response

1、response属性

                import
                 requests
respone=requests.get(‘http://www.jianshu.com‘)
# respone属性print(respone.text)                          #获得文本内容print(respone.content)                       #获得二进制文本内容print(respone.status_code)                   #获得状态码print(respone.headers)                       #获得响应头print(respone.cookies)                       #获得cookiesprint(respone.cookies.get_dict())            #获得cookies的字典形式print(respone.cookies.items())               #获得cookies的元组形式print(respone.url)
print(respone.history)
print(respone.encoding)

#关闭：response.close()from contextlib import closing
with closing(requests.get(‘xxx‘,stream=True)) as response:
    for line in response.iter_content():
    pass

2、响应编码

　　如上response.encoding可以获得返回response的编码，通过给其赋值，可以更改其编码，如下实例：

                import
                 requests
response=requests.get(‘http://www.autohome.com/news‘)
response.encoding=‘gbk‘print(response.text)
#注：汽车之家网站返回的页面内容为gb2312编码的，而requests的默认编码为ISO-8859-1，如果不设置成gbk则中文乱码

3、获取二进制数据

方式一：response.content

response=requests.get(‘https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000.jpg‘)
with open(‘a.jpg‘,‘wb‘) as f:
    f.write(response.content)

方式二：stream=True参数

　　一点一点的取，比如下载视频时，如果视频100G，用response.content然后一下子写到文件中是不合理的，我们需要用到stream=True参数，逐行的读取数据，然后再写到文件里面。

response=requests.get(‘https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000.jpg‘,stream=True)
with open(‘b.jpg‘,‘wb‘) as f:
    for line in response.iter_content():
        f.write(line)

4、json解析

                import
                 requests
response=requests.get(‘http://httpbin.org/get‘)
import json
res1=json.loads(response.text) #太麻烦
res2=response.json() #直接获取json数据print(res1 == res2) #True

二、高级用法介绍

1、SSL认证

                #
                证书验证(大部分网站都是https)
                import
                 requests
respone=requests.get(‘https://www.12306.cn‘) #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端#改进1:去掉报错,但是会报警告import requests
respone=requests.get(‘https://www.12306.cn‘,verify=False) #不验证证书,报警告,返回200print(respone.status_code)


#改进2:去掉报错,并且去掉警报信息import requests
from requests.packages import urllib3
urllib3.disable_warnings() #关闭警告
respone=requests.get(‘https://www.12306.cn‘,verify=False)
print(respone.status_code)

#改进3:加上证书
#很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书
#知乎\百度等都是可带可不带
#有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站import requests
respone=requests.get(‘https://www.12306.cn‘,
                     cert=(‘/path/server.crt‘,
                           ‘/path/key‘))
print(respone.status_code)

2、使用代理

                #
                官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies
                #
                代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)
                import
                 requests
proxies={
    ‘http‘:‘http://egon:123@localhost:9743‘,                        #带用户名密码的代理,@符号前是用户名与密码‘http‘:‘http://localhost:9743‘,
    ‘https‘:‘https://localhost:9743‘,
}
respone=requests.get(‘https://www.12306.cn‘,proxies=proxies)
print(respone.status_code)

#支持socks代理,安装:pip install requests[socks]import requests
proxies = {
    ‘http‘: ‘socks5://user:pass@host:port‘,
    ‘https‘: ‘socks5://user:pass@host:port‘
}
respone=requests.get(‘https://www.12306.cn‘,proxies=proxies)
print(respone.status_code)

3、超时设置

                #
                两种超时:float or tuple
                
#
                timeout=0.1 #代表接收数据的超时时间
                
#
                timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间
                import
                 requests
respone=requests.get(‘https://www.baidu.com‘,timeout=0.0001)

三、拉勾网职位爬取实例

　　本实例主要包含如下两步，先通过登录验证（登录验证是为了投递简历的步骤需要），然后搜索符合要求的职位，并逐一自动投递简历。如下：

                import
                 requests

                import
                 re


                #一
                、登录认证
session = requests.session()
# 第一步，get方式请求登录页面
response = session.get("http://passport.lagou.com/login/login.html",
                       headers={
           ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36‘}
                       )
# 从返回页面获得登录时需要的验证值
X_Anti_Forge_Token = re.findall("X_Anti_Forge_Token = ‘(.*?)‘", response.text, re.S)[0]
X_Anti_Forge_Code = re.findall("X_Anti_Forge_Code = ‘(.*?)‘", response.text, re.S)[0]
print(X_Anti_Forge_Token, X_Anti_Forge_Code)

# 第二步，post请求方式进行提交登录
response = session.post("http://passport.lagou.com/login/login.json",
                        headers={
                            ‘Referer‘: ‘http://passport.lagou.com/login/login.html‘,
     ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36‘,
                            ‘X-Anit-Forge-Code‘: X_Anti_Forge_Code,
                            ‘X-Anit-Forge-Token‘: X_Anti_Forge_Token,
                            ‘X-Requested-With‘: ‘XMLHttpRequest‘
                        },
                        data={
                            ‘isValidate‘: True,
                            ‘username‘: ‘18829916141‘,
                            ‘password‘: ‘f19ae09c9070aa9906ec6b287ed86583‘# 密码输对，用户名输错的方式就可以抓到正确密码的密文形式                        }
                        )

#第三步，get请求验证登录状态
session.get(‘https://passport.lagou.com/grantServiceTicket/grant.html‘,
            headers={
                ‘Referer‘: ‘https://passport.lagou.com/login/login.html‘,
                ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36‘,
            }
            )


# 二：爬取职位from urllib.parse import urlencode

# 关键字编码，并拼接成referer形式的url
params = {‘kd‘: ‘爬虫工程师‘}
res = urlencode(params, encoding=‘utf-8‘).split(‘=‘)[-1]  # 编码后的结果：kd=%E7%88%AC%E8%99%AB%E5%B7%A5%E7%A8%8B%E5%B8%88print(res)
url = "https://www.lagou.com/jobs/list_" + res

# 第一步，根据条件发送post请求，获得查询结果（拉勾网的职位数据是由get请求的页面发送的ajax post请求获得）
response = session.post("https://www.lagou.com/jobs/positionAjax.json",
                        headers={
                        ‘Referer‘:url,
       ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36‘,
                        },
                        params={
                            ‘gj‘: ‘5-10年‘,
                            ‘xl‘: ‘本科‘,
                            ‘px‘: ‘default‘,
                            ‘yx‘: ‘25k-50k‘,
                            ‘city‘: ‘北京‘
                        })

print(response.json())
result = response.json()[‘content‘][‘positionResult‘][‘result‘]

for comanpy_info in result:
    fullname = comanpy_info[‘companyFullName‘]
    emp_num = comanpy_info[‘companySize‘]
    salary = comanpy_info[‘salary‘]
    workyear = comanpy_info[‘workYear‘]
    positionName = comanpy_info[‘positionName‘]
    positionId = comanpy_info[‘positionId‘]
    detail_url = ‘https://www.lagou.com/jobs/%s.html‘ % (positionId)  #职位详细页url#请求职位详细页
    response=session.get(detail_url,
                         headers={
            ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36‘,
                         })
    X_Anti_Forge_Token = re.findall("X_Anti_Forge_Token = ‘(.*?)‘", response.text, re.S)[0]
    X_Anti_Forge_Code = re.findall("X_Anti_Forge_Code = ‘(.*?)‘", response.text, re.S)[0]


    #发送简历
    session.post(‘https://www.lagou.com/mycenterDelay/deliverResumeBeforce.json‘,
                 headers={
            ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36‘,
                     ‘Referer‘: detail_url,
                     ‘X-Anit-Forge-Code‘: X_Anti_Forge_Code,
                     ‘X-Anit-Forge-Token‘: X_Anti_Forge_Token,
                     ‘X-Requested-With‘: ‘XMLHttpRequest‘,
                 },
                 data={
                     ‘positionId‘: positionId,
                     ‘type‘: 1,
                     ‘force‘: True
                 }

                 )

    print(‘投递成功‘, detail_url)

 

原文：https://www.cnblogs.com/seven-007/p/8260501.html

内容总结

以上是互联网集市为您收集整理的python之路_day96_爬虫之requests模块补充全部内容，希望文章能够帮你解决python之路_day96_爬虫之requests模块补充所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1273194.html

来源：【匿名】