python – 使用scrapyd一次运行多个scrapy蜘蛛

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 使用scrapyd一次运行多个scrapy蜘蛛，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1175字，纯文字阅读大概需要2分钟。

内容图文

我正在使用scrapy进行一个项目,我想要抓取一些网站 – 可能是数百个 – 我必须为每个网站编写一个特定的蜘蛛.我可以使用以下方法在部署到scrapyd的项目中安排一个蜘蛛：

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

但是如何一次安排项目中的所有蜘蛛呢？

所有帮助非常感谢！

解决方法:

我一次运行200个蜘蛛的解决方案是为项目创建一个自定义命令.有关实现自定义命令的更多信息,请参见http://doc.scrapy.org/en/latest/topics/commands.html#custom-project-commands.

YOURPROJECTNAME / commands / allcrawl.py：

from scrapy.command import ScrapyCommand
import urllib
import urllib2
from scrapy import log

class AllCrawlCommand(ScrapyCommand):

    requires_project = True
    default_settings = {'LOG_ENABLED': False}

    def short_desc(self):
        return "Schedule a run for all available spiders"

    def run(self, args, opts):
        url = 'http://localhost:6800/schedule.json'
        for s in self.crawler.spiders.list():
            values = {'project' : 'YOUR_PROJECT_NAME', 'spider' : s}
            data = urllib.urlencode(values)
            req = urllib2.Request(url, data)
            response = urllib2.urlopen(req)
            log.msg(response)

确保在settings.py中包含以下内容

COMMANDS_MODULE = 'YOURPROJECTNAME.commands'

然后从命令行(在项目目录中),您只需键入

scrapy allcrawl

内容总结

以上是互联网集市为您收集整理的python – 使用scrapyd一次运行多个scrapy蜘蛛全部内容，希望文章能够帮你解决python – 使用scrapyd一次运行多个scrapy蜘蛛所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端