《python网络数据采集》笔记2

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了《python网络数据采集》笔记2，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2049字，纯文字阅读大概需要3分钟。

内容图文

1.网页表单与登陆窗口

Requests 库擅长处理那些复杂的 HTTP 请求、cookie、header（响应头和请求头）等内容。

1)表单提交

       import requests

       #字段

       params = {'firstname': 'Ryan', 'lastname': 'Mitchell'}

       #请求方式:post    表单提交页面

       r = requests.post("http://pythonscraping.com/pages/files/processing.php", data=params)

       print(r.text)

2)提交文件和图像

       #表单

       <form action="processing2.php" method="post" enctype="multipart/form-data">

              Submit a jpg, png, or gif: <input type="file" name="image"><br>

              <input type="submit" value="Upload File">

       </form>

       #提交文件

       import requests

       files = {'uploadFile': open('../files/Python-logo.png', 'rb')}

       r = requests.post("http://pythonscraping.com/pages/processing2.php",

       files=files)

       print(r.text)

3)处理登陆和cookie

       #从请求结果中获取 cookie，打印登录状态的验证结果,然后再通过 cookies 参数把 cookie 发送到简介页面。

       import requests

       params = {'username': 'Ryan', 'password': 'password'}

       r = requests.post("http://pythonscraping.com/pages/cookies/welcome.php", params)

       print(r.cookies.get_dict())

       r = requests.get("http://pythonscraping.com/pages/cookies/profile.php",cookies=r.cookies)

       print(r.text)

       #会话（session）对象（调用 requests.Session() 获取）会持续跟踪会话信息，像 cookie、header、运行 HTTP 协议的信息

       import requests

       session = requests.Session()

       params = {'username': 'username', 'password': 'password'}

       s = session.post("http://pythonscraping.com/pages/cookies/welcome.php", params)

       print(s.cookies.get_dict())

       s = session.get("http://pythonscraping.com/pages/cookies/profile.php")

       print(s.text)

       #Requests 库有一个 auth 模块专门用来处理 HTTP 认证：

       import requests

       from requests.auth import HTTPBasicAuth

       auth = HTTPBasicAuth('ryan', 'password')

       r = requests.post(url="http://pythonscraping.com/pages/auth/login.php", auth=auth)

       print(r.text)

内容总结

以上是互联网集市为您收集整理的《python网络数据采集》笔记2全部内容，希望文章能够帮你解决《python网络数据采集》笔记2所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端