python – Scrapy process.crawl()将数据导出到json

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – Scrapy process.crawl()将数据导出到json，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1009字，纯文字阅读大概需要2分钟。

内容图文

这可能是Passing arguments to process.crawl in Scrapy python的一个子问题,但作者将答案(不能回答我问自己的问题)作为令人满意的答案.

这是我的问题：我不能使用scrapy抓取mySpider -a start_urls(myUrl)-o myData.json
相反,我想/需要使用crawlerProcess.crawl(蜘蛛)我已经找到了几种传递参数的方法(无论如何它在我链接的问题中得到了解答)但我无法理解我应该如何告诉它将数据转储到myData.json … -o myData.json部分
有人有建议吗？或者我只是不理解它应该如何工作..？

这是代码：

crawlerProcess = CrawlerProcess(settings)
crawlerProcess.install()
crawlerProcess.configure()

spider = challenges(start_urls=["http://www.myUrl.html"])
crawlerProcess.crawl(spider)
#For now i am just trying to get that bit of code to work but obviously it will become a loop later.

dispatcher.connect(handleSpiderIdle, signals.spider_idle)

log.start()
print "Starting crawler."
crawlerProcess.start()
print "Crawler stopped."

解决方法:

您需要在设置上指定它：

process = CrawlerProcess({
    'FEED_URI': 'file:///tmp/export.json',
})

process.crawl(MySpider)
process.start()

内容总结

以上是互联网集市为您收集整理的python – Scrapy process.crawl()将数据导出到json全部内容，希望文章能够帮你解决python – Scrapy process.crawl()将数据导出到json所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---