pycharm下打开、执行并调试scrapy爬虫程序
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了pycharm下打开、执行并调试scrapy爬虫程序，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含808字，纯文字阅读大概需要2分钟。
内容图文
-
首先得有一个Scrapy项目，我在Desktop上新建一个Scrapy的项目叫test，在Desktop目录打开命令行，键入命令：
scrapy startproject test1
目录结构如下：
-
打开Pycharm，选择open
-
选择项目，ok
-
打开如下界面之后，按alt + 1， 打开project 面板
-
在test1/spiders/，文件夹下，新建一个爬虫spider.py， 注意代码中的
name="dmoz"。这个名字后面会用到。
-
在test1目录和scrapy.cfg同级目录下面，新建一个begin.py文件（便于理解可以写成main.py），注意箭头2所指的名字和第5步中的
name=‘dmoz‘名字是一样的。
from scrapy import cmdline
cmdline.execute("scrapy crawl dmoz".split())
- 1
- 2
- 3
- 1
- 2
- 3
7. 上面把文件搞定了，下面要配置一下pycharm了。点击Run->Edit Configurations
8. 新建一个运行的python模块
9. Name：改成spider； script：选择刚才新建的那个begin.py文件；Working Direciton：改成自己的工作目录 
10. 至此，大功告成了，点击下图，右上角的按钮就能运行了。 
调试
可以在其他代码中设置断点，就可以debug运行
转载1：http://www.jianshu.com/p/f85120fcbca0
转载2：http://blog.csdn.net/wangsidadehao/article/details/52911746
原文：https://www.cnblogs.com/curo0119/p/9193342.html
内容总结
以上是互联网集市为您收集整理的pycharm下打开、执行并调试scrapy爬虫程序全部内容，希望文章能够帮你解决pycharm下打开、执行并调试scrapy爬虫程序所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。