首页 / PYTHON / Python——轻松拥有自己的代理IP池

Python——轻松拥有自己的代理IP池

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python——轻松拥有自己的代理IP池，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含978字，纯文字阅读大概需要2分钟。

内容图文

目标页面：https://www.xicidaili.com/nn/
长这个样子：
Python——轻松拥有自己的代理IP池 - 文章图片
一阵瞎几把分析之后开始写代码：

import requests,re,os
from pprint import pprint
down_dir = os.path.join(os.getcwd(), 'daili_IP/')

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '
                         'AppleWebKit/537.36 (KHTML, like Gecko)'
                         ' Chrome/63.0.3239.84 Safari/537.36',
           'Referer': 'https://www.xicidaili.com/nt/',
           'Connection': 'keep-alive',
           'Host': 'www.xicidaili.com'}

url='https://www.xicidaili.com/nn/'

def main():
    print('--开始爬取代理IP--')
    req=requests.get(url,headers=headers,verify=False)
    #print(req.text)
    ip=re.findall('<td>(\d*\.\d*\.\d*\.\d*)</td>',req.text)
    port=re.findall('<td>(\d*)</td>',req.text)
    dic=dict(zip(ip,port))
    pprint(dic)
    with open(down_dir+'ip.txt','w') as f:
        for i in range(len(ip)):
            f.write(ip[i]+':'+str(port[i]+'\n'))
    print('IP地址保存在:'+down_dir)

if __name__=='__main__':
    if not os.path.exists(down_dir):
        os.mkdir(down_dir)
    main()

心得

1.这网站不加协议头访问
2xpath还是用不溜，还得加强练习啊，这次还是用的正则
3.如下图
Python——轻松拥有自己的代理IP池 - 文章图片

内容总结

以上是互联网集市为您收集整理的Python——轻松拥有自己的代理IP池全部内容，希望文章能够帮你解决Python——轻松拥有自己的代理IP池所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/838640.html

来源：【匿名】