python笔记(爬虫 request模块)

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python笔记(爬虫 request模块)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2185字，纯文字阅读大概需要4分钟。

内容图文

详细了解

1. 方法

requests.get
requests.post 
requests.put 
requests.delete 
...
requests.request(method='POST')

2. 参数

2.1  url
2.2  headers
2.3  cookies
2.4  params
2.5  data，传请求体
        
        requests.post(
            ...,
            data={'user':'alex','pwd':'123'}
        )
        
        GET /index http1.1\r\nhost:c1.com\r\n\r\nuser=alex&pwd=123
        
2.6  json，传请求体
        requests.post(
            ...,
            json={'user':'alex','pwd':'123'}
        )
        
        GET /index http1.1\r\nhost:c1.com\r\nContent-Type:application/json\r\n\r\n{"user":"alex","pwd":123}
2.7 代理 proxies
    # 无验证
        proxie_dict = {
            "http": "61.172.249.96:80",
            "https": "http://61.185.219.126:3128",
        }
        ret = requests.get("https://www.proxy360.cn/Proxy", proxies=proxie_dict)
        
    
    # 验证代理
        from requests.auth import HTTPProxyAuth
        
        proxyDict = {
            'http': '77.75.105.165',
            'https': '77.75.106.165'
        }
        auth = HTTPProxyAuth('用户名', '密码')
        
        r = requests.get("http://www.google.com",data={'xxx':'ffff'} proxies=proxyDict, auth=auth)
        print(r.text)
-----------------------------------------------------------------------------------------
2.8 文件上传 files
    # 发送文件
        file_dict = {
            'f1': open('xxxx.log', 'rb')
        }
        requests.request(
            method='POST',
            url='http://127.0.0.1:8000/test/',
            files=file_dict
        )
        
2.9 认证 auth

    内部：
        用户名和密码，用户和密码加密，放在请求头中传给后台。
        
            - "用户:密码"
            - base64("用户:密码")
            - "Basic base64("用户|密码")"
            - 请求头：
                Authorization： "basic base64("用户|密码")"
        
    from requests.auth import HTTPBasicAuth, HTTPDigestAuth

    ret = requests.get('https://api.github.com/user', auth=HTTPBasicAuth('wupeiqi', 'sdfasdfasdf'))
    print(ret.text)
    
2.10 超时 timeout 
    # ret = requests.get('http://google.com/', timeout=1)
    # print(ret)

    # ret = requests.get('http://google.com/', timeout=(5, 1))
    # print(ret)
    
2.11 允许重定向  allow_redirects
    ret = requests.get('http://127.0.0.1:8000/test/', allow_redirects=False)
    print(ret.text)
    
2.12 大文件下载 stream
    from contextlib import closing
    with closing(requests.get('http://httpbin.org/get', stream=True)) as r1:
    # 在此处理响应。
    for i in r1.iter_content():
        print(i)
        
2.13 证书 cert
    - 百度、腾讯 => 不用携带证书（系统帮你做了）
    - 自定义证书
        requests.get('http://127.0.0.1:8000/test/', cert="xxxx/xxx/xxx.pem")
        requests.get('http://127.0.0.1:8000/test/', cert=("xxxx/xxx/xxx.pem","xxx.xxx.xx.key"))
2.14 确认 verify =False 

内容总结

以上是互联网集市为您收集整理的python笔记(爬虫 request模块)全部内容，希望文章能够帮你解决python笔记(爬虫 request模块)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---