在线体验scrapydweb.herokuapp.com网络拓扑图注册帐号Heroku访问 heroku.com 注册免费账号（注册页面需要调用 google recaptcha 人机验证，登录页面也需要科学地进行上网，访问 APP 运行页面则没有该问题），免费账号最多可以创建和运行5个 APP。Redis Labs（可选）访问 redislabs.com 注册免费账号，提供30MB 存储空间，用于下文通过 scrapy-redis 实现分布式爬虫。通过浏览器部署 Heroku APP访问 my8100/scrapyd-cluster-on-hero...
在线体验 scrapydweb.herokuapp.com网络拓扑图注册帐号Heroku访问 heroku.com 注册免费账号（注册页面需要调用 google recaptcha 人机验证，登录页面也需要科学地进行上网，访问 app 运行页面则没有该问题），免费账号最多可以创建和运行5个 app。Redis Labs（可选）访问 redislabs.com 注册免费账号，提供30MB 存储空间，用于下文通过 scrapy-redis 实现分布式爬虫。通过浏览器部署 Heroku app访问 my8100/scrapyd-cluster-on-her...
背景介绍pyspider 架构，大概的流程如下图所示： 整个 pyspider 的各个模块间的任务传递是由**消息队列**传输的，其中任务的调度则是由「scheduler」模块控制，所以按作者的意思，除了「scheduler」调度模块只能单点，其他的「fetcher」，「processor」，甚至是「monitor & webui」，都可以实现多实例分布式部署。这样一来分布式 pyspider 的瓶颈就在单点的 「scheduler」 节点的消费能力了，实际跑起来观察后发现确实「processor」...