Python爬取淘宝商品信息

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python爬取淘宝商品信息，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1471字，纯文字阅读大概需要3分钟。

内容图文

在爬取淘宝商品信息时，需要先登录获取Cookie并且模拟User-Agent

headers = {
        "user-agent":
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"
,       "cookie":
        "你自己登录时的Cookie"
    }

这里我使用的是Safari浏览器,查看网页源代码，点击“网络”-->点击“标头”

···将查询到的Cookie复制到代码中
完整Python代码如下：

# 爬取淘宝网页信息
import requests
import  re

def getHTMLText(url,head):
    try:
        r = requests.get(url,headers = head,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '获取HTML失败'

def parsePage(itl,html):
    try:
        plt = re.findall(r'"view_price":"[\d.]*"',html)
        tlt = re.findall(r'"raw_title":".*?"',html)
        for i in range(len(plt)):
            price = plt[i].split(':')[-1]
            title = tlt[i].split(':')[-1]
            itl.append([price,title])
        return itl
    except:
        print('parsePage Error')

def printGoodsList(itl):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format('序号','价格','商品名称'))
    count = 0
    for g in itl:
        count += 1
        print(tplt.format(count,g[0],g[1]))

def main():
    headers = {
        "user-agent":
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"
,       "cookie":
        "自己查询的Cookie"
    }
    goods = '书包'
    depth = 5
    start_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + "&s=" +str(44*i)
            html = getHTMLText(url,headers)
            it = parsePage(infoList,html)
            printGoodsList(it)
        except:
            print("打印%d页出错"%i)

main()

内容总结

以上是互联网集市为您收集整理的Python爬取淘宝商品信息全部内容，希望文章能够帮你解决Python爬取淘宝商品信息所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端