首页 / REDIS / scrapcrawl + scrapyredis分布式

scrapcrawl + scrapyredis分布式

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了scrapcrawl + scrapyredis分布式，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1881字，纯文字阅读大概需要3分钟。

内容图文

分布式：
- 概念：组件一个分布式的机群，让后让其共同执行同一组程序，实现数据的分布爬取。
- 如何实现分布式？
- scrapy-redis组件结合原生的scrapy实现分布式
- 原生的scrapy是无法实现分布式？
- 无法共享一个调度器
- 无法共享同一个管道
- scrapy-redis作用：
- 可以给scrapy提供共享的调度器和管道

分布式编码流程：
1.工程的创建
2.创建爬虫文件
- Spider
- CrawlSpider
3.修改爬虫文件：
- 导包:from scrapy_redis.spiders import RedisCrawlSpider
- 将爬虫类的父类修改成RedisCrawlSpider
- 将allow_demains和start_urls删除
- 添加一个新属性：redis_key = 'xxx':调度器队列的名称
- 完善爬虫类的相关代码（连接提取器，规则解析器，解析方法）

4.配置文件的编写：
- 指定管道：
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 400
}
- 指定调度器：
# 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 使用scrapy-redis组件自己的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
SCHEDULER_PERSIST = True

- 指定数据库：
REDIS_HOST = 'redis服务的ip地址'
REDIS_PORT = 6379

5.修改redis的配置：redis.windows.conf
- 关闭默认绑定：#bind 127.0.0.1
- 关闭保护模式：protected-mode no
6.结合着配置文件启动redis服务
- redis-server ./redis.windows.conf
7.启动redis客户端
- redis-cli
8.启动执行分布式工程：
- scrapy crawl fbs
- scrapy runspider ./xxx.py
9.向调度器队列中扔入一个起始的url：
- 调度器的队列是存放在redis中
- 在redis-cli：lpush redis_key的值 www.xxx.com

内容总结

以上是互联网集市为您收集整理的scrapcrawl + scrapyredis分布式全部内容，希望文章能够帮你解决scrapcrawl + scrapyredis分布式所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/903156.html

来源：【匿名】