首页 / PYTHON / Python 多线程爬取站酷（zcool.com.cn）图片

Python 多线程爬取站酷（zcool.com.cn）图片

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python 多线程爬取站酷（zcool.com.cn）图片，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1744字，纯文字阅读大概需要3分钟。

内容图文

极速爬取下载站酷（https://www.zcool.com.cn/）设计师/用户上传的全部照片/插画等图片。

项目地址：https://github.com/lonsty/scraper

特点：

  1. 极速下载：多线程异步下载，可以根据需要设置线程数
  2. 异常重试：只要重试次数足够多，就没有下载不下来的图片 (^o^)/
  3. 增量下载：设计师/用户有新的上传，再跑一遍程序就行了 O(∩_∩)O嗯!
  4. 支持代理：可以配置使用代理

环境：

  • python3.6及以上

1. 快速使用

1) 克隆项目到本地

git clone https://github.com/lonsty/scraper

2) 安装依赖包

cd scraper
pip install -r requirements.txt

3) 快速使用

通过用户名username下载所有图片到路径path下：

python crawler.py -u <username> -d <path>

运行截图

Python 多线程爬取站酷（zcool.com.cn）图片 - 文章图片

爬取结果

Python 多线程爬取站酷（zcool.com.cn）图片 - 文章图片

2. 使用帮助

  • 查看所有命令
python crawler.py --help
Usage: crawler.py [OPTIONS]

  Use multi-threaded to download images from https://www.zcool.com.cn in
  bulk by username or ID.

Options:
  -i, --id TEXT              User id.
  -u, --username TEXT        User name.
  -d, --directory TEXT       Directory to save images.
  -p, --max-pages INTEGER    Maximum pages to parse.
  -t, --max-topics INTEGER   Maximum topics per page to parse.
  -w, --max-workers INTEGER  Maximum thread workers.  [default: 20]
  -R, --retries INTEGER      Repeat download for failed images.  [default: 3]
  -r, --redownload TEXT      Redownload images from failed records.
  -o, --override             Override existing files.  [default: False]
  --proxies TEXT             Use proxies to access websites.
                             Example:
                             '{"http": "user:passwd@www.example.com:port",
                             "https": "user:passwd@www.example.com:port"}'
  --help                     Show this message and exit.

3. 更新历史

  • Version 0.1.0 (2019.09.09)

    主要功能：

    • 极速下载：多线程异步下载，可以根据需要设置线程数
    • 异常重试：只要重试次数足够多，就没有下载不下来的图片 (^o^)/
    • 增量下载：设计师/用户有新的上传，再跑一遍程序就行了 O(∩_∩)O嗯!
    • 支持代理：可以配置使用代理

内容总结

以上是互联网集市为您收集整理的Python 多线程爬取站酷（zcool.com.cn）图片全部内容，希望文章能够帮你解决Python 多线程爬取站酷（zcool.com.cn）图片所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/678201.html

来源：【匿名】