首页 / 爬虫 / 爬虫实战1 京东

爬虫实战1 京东

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了爬虫实战1 京东，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1708字，纯文字阅读大概需要3分钟。

内容图文

url="https://item.jd.com/100012881854.html"
kv = {‘user-agent‘:‘Mozilla/5.0‘}
r = requests.get(url,headers = kv)
print(r.status_code)
print(r.encoding)
print(r.text[:1000])

 

200
utf-8
<!DOCTYPE HTML>
<html lang="zh-CN">
<head>
<!--yushou-->
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>【魅族17 Pro】魅族17 Pro 8GB+128GB 定白 骁龙865 旗舰5G手机 27W无线充 6400W后置主摄 90Hz屏幕 支持NFC 智能游戏手机【行情 报价 价格 评测】-京东</title>
<meta name="keywords" content="MEIZU17 Pro,魅族17 Pro,魅族17 Pro报价,MEIZU17 Pro报价"/>
<meta name="description" content="【魅族17 Pro】京东JD.COM提供魅族17 Pro正品行货，并包括MEIZU17 Pro网购指南，以及魅族17 Pro图片、17 Pro参数、17 Pro评论、17 Pro心得、17 Pro技巧等信息，网购魅族17 Pro上京东,放心又轻松" />
<meta name="format-detection" content="telephone=no">
<meta http-equiv="mobile-agent" content="format=xhtml; url=//item.m.jd.com/product/100012881854.html">
<meta http-equiv="mobile-agent" content="format=html5; url=//item.m.jd.com/product/100012881854.html">
<meta http-equiv="X-UA-Compatible" content="IE=Edge">
<link rel="canonical" href="//item.jd.com/100012881854.html"/>
<link rel="dns-prefetch" href="//misc.360buyimg.com"/>
<link rel="dns-prefetch" href="//s

必须加kv，不然

技术分享图片

 

 这是无法访问的

回到京东界面

技术分享图片

 

 因此 

        kv = {‘user-agent‘:‘Mozilla/5.0‘}
r = requests.get(url,headers = kv)
通过更改User-Agent字段就可以轻易骗过该网站。
            import
             requests

            def
             getHtmlText(url):
    
            try
            :
        kv = {‘user-agent‘: ‘Mozilla/5.0‘}
        r = requests.get(url, headers=kv)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text[:500]
    except:
        return‘爬取失败‘if__name__ == ‘__main__‘:
    url=‘https://item.jd.com/100012885246.html‘print(getHtmlText(url))

可以更换url，爬取不同网页信息

 

原文：https://www.cnblogs.com/tingtin/p/12904594.html

内容总结

以上是互联网集市为您收集整理的爬虫实战1 京东全部内容，希望文章能够帮你解决爬虫实战1 京东所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1310518.html

来源：【匿名】