首页 / 爬虫 / 用python零基础写爬虫--编写第一个网络爬虫 -2 设置用户代理

用python零基础写爬虫--编写第一个网络爬虫 -2 设置用户代理

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了用python零基础写爬虫--编写第一个网络爬虫 -2 设置用户代理，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含682字，纯文字阅读大概需要1分钟。

内容图文

1.设置用户代理

默认情况下，urliib2使用python-urllib、2.7 作为用户代理下载网页内容，其中2.7是python的版本号。为避免一些网站禁封这个默认的用户代理，确保下载更加可靠，我们需要控制用户代理的设定。下面代码对download函数设定了一个名称为 “wswp” 的用户代理。

import urllib2
def download(url,user_agent=‘wswp‘, num_retries=2):
    print ‘downloading:‘,url
    headers={‘User-agent‘:user_agent}
    request=urllib2.Request(url,headers=headers)
    try:
         html=urllib2.urlopen(url).read()
    except urllib2.URLError as e:
        print ‘download error:‘, e.reason
        html=None
        if num_retries>0:
            if hasattr(e, ‘code‘) and  500<=e.code<600:
                #recursively retry 5XX http errors
                return download(url, user_agent,num_retries-1)
    return html

原文：http://www.cnblogs.com/mrruning/p/7637441.html

内容总结

以上是互联网集市为您收集整理的用python零基础写爬虫--编写第一个网络爬虫 -2 设置用户代理全部内容，希望文章能够帮你解决用python零基础写爬虫--编写第一个网络爬虫 -2 设置用户代理所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1077750.html

来源：【匿名】