03 Python爬虫之Requests网络爬取实战

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了03 Python爬虫之Requests网络爬取实战，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1843字，纯文字阅读大概需要3分钟。

内容图文

目录

• 实例1：京东商品页面的爬取
• 实例2：亚马逊商品页面的爬取
• 实例3：百度搜索关键字提交
• 实例4：IP地址归属地的自动查询

实例1：京东商品页面的爬取

实例1：京东商品页面的爬取
https://item.jd.com/2967929.html

import requests

url = "https://item.jd.com/2967929.html"
try:
    r = requests.get(url)
    print(r.status_code)    # 200
    print(r.encoding)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

实例2：亚马逊商品页面的爬取

实例2：亚马逊商品页面的爬取
https://www.amazon.cn/gp/product/B01M8L5Z3Y

该网站通过对来源审查做了限制，因此需要修改头部信息，伪装成浏览器对网站进行数据的爬取。

import requests

url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"

try:
    r = requests.get(url)
    print(r.status_code)    # 503 说明访问失败
    print(r.encoding)       # ISO-8859-1
    r.encoding = r.apparent_encoding    # 修改编码
    print(r.status_code)    # 503 说明访问失败

    # 可能是通过来源审查对网络爬虫采取了限制
    print(r.request.headers)    # 查看 'User-Agent': 'python-requests/2.22.0'

    # 更改头部信息，伪装成浏览器，修改User-Agent
    kv = {"user-agent" : "Mozilla/5.0"}
    r = requests.get(url, headers = kv)   # 关键字实参
    print(r.status_code)    # 再次查看状态码，发现已经成功 200
    print(r.text[:1000])

except:
    print("爬取失败")

实例3：百度搜索关键字提交

百度的关键词接口： http://www.baidu.com/s?wd=keyword

import requests

try:
    kv = {"wd": "Python"}
    r = requests.get("http://www.baidu.com/s", params=kv)   # url中的参数
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")

实例4：IP地址归属地的自动查询

iP138网站 查询IP地址归属地http://m.ip138.com/ip.asp?ip=ipaddress

import requests

url = "http://m.ip138.com/ip.asp?ip="   # iP138网站请求数据的前半部分
idAddr = "211.70.176.3"     # 需要查询的IP地址
try:
    r = requests.get(url+idAddr)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-1000:])
except:
    print("爬取失败")

内容总结

以上是互联网集市为您收集整理的03 Python爬虫之Requests网络爬取实战全部内容，希望文章能够帮你解决03 Python爬虫之Requests网络爬取实战所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---