在py文件中开启scrapy爬虫

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了在py文件中开启scrapy爬虫，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1446字，纯文字阅读大概需要3分钟。

内容图文

前言

使用scrapy框架编写爬虫时，开启爬虫需要在终端使用命令来执行，且无法进行断点调试debug，所以需要另外编写一个py文件，来运行调试这个scrapy爬虫项目。

一、在py文件中开启爬虫

一般运行scrapy的命令是：scrapy crawl 项目名

这里不再需要使用这个命令，而是另外创建一个用于运行scrapy的py文件。

1. 在项目根目录下创建main.py文件
2. 在main.py文件内写入如下代码

from scrapy import cmdline

cmdline.execute("scrapy crawl douban".split())		#使用需要运行的爬虫项目名

此时，直接运行这个py文件，就可以执行对应的爬虫了。

二、可传入起始url

上面的方法只适用于开启已编写好的爬虫，但对于非分布式的爬虫，start_urls会固定下来。
而下面的方法可给爬虫项目传入不同的start_urls。

如上，在.cfg文件的相对路径下创建一个py文件，在内部写入执行代码。

代码如下：

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from Amazon.spiders import amazon
import os

def StartSpider(url):
    os.environ['SCRAPY_SETTINGS_MODULE'] = 'Amazon.settings'
    scrapy_settings = get_project_settings()
    scrapy_settings.set(
        'ITEM_PIPELINES',
        {'Amazon.pipelines.AmazonJsonPipeline': 300,
       'Amazon.pipelines.AmazonExcelPipeline': 400,},
    )

    process = CrawlerProcess(scrapy_settings)
    start_urls = [url]
    process.crawl(amazon.AmazonSpider,start_urls=start_urls)  #开启指定的爬虫
    process.start()

start_url = 'https://xxx.com'
StartSpider(start_url)

1. 导入对应的包
2. ITEM_PIPELINES的设置也要写入。set()方法需要两个参数：name和value
3. 指定开启的爬虫项目（amazon代表spider文件，AmazonSpider则是指定爬虫的类）

内容总结

以上是互联网集市为您收集整理的在py文件中开启scrapy爬虫全部内容，希望文章能够帮你解决在py文件中开启scrapy爬虫所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---