Python爬虫之Anaconda环境下创建Scrapy爬虫框架
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python爬虫之Anaconda环境下创建Scrapy爬虫框架,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2202字,纯文字阅读大概需要4分钟。
内容图文
![Python爬虫之Anaconda环境下创建Scrapy爬虫框架](/upload/InfoBanner/zyjiaocheng/427/8b5fe3cb32ed4e278c7f61fcdc46dc99.jpg)
Python爬虫教程-31-创建 Scrapy 爬虫框架项目
首先说一下,本篇是在 Anaconda 环境下,所以如果没有安装 Anaconda 请先到官网下载安装
Anaconda 下载地址:https://www.anaconda.com/download/
Scrapy 爬虫框架项目的创建
0.打开【cmd】
1.进入你要使用的 Anaconda 环境
这里我们就把项目创建好了,分析一下自动生成的文件的作用
1.环境名可以在【Pycharm】的【Settings】下【Project:】下找到
2.使用命令:activate 环境名,例如:
activate learn
3.进入想要存放 scrapy 项目的目录下 【注意】
4.新建项目:scrapy startproject xxx项目名,例如:
scrapy startproject new_project
5.操作截图:
6.在文件资源管理器打开该目录,就会发现生成了好几个文件
7.使用 Pycharm 打开项目所在目录就可以了
Scrapy 爬虫框架项目的开发
0.使用 Pycharm 打开项目,截图:
项目的开发的大致流程:
地址 spider/xxspider.py 负责分解,提取下载的数据
1.明确需要爬取的目标/产品:编写 item.py
2.在 spider 目录下载创建 python 文件制作爬虫:
3.存储内容:pipelines.py
Pipeline.py 文件
当 spider 对象被关闭的时候调用
spider 对象对开启的时候调用
进行一些必要的参数初始化
spider 提取出来的 item 作为参数传入,同时传入的还有 spider
此方法必须实现
必须返回一个 Item 对象,被丢弃的 item 不会被之后的 pipeline
对应 pipelines 文件
爬虫提取出数据存入 item 后,item 中保存的数据需要进一步处理,比如清洗,去虫,存储等
Pipeline 需要处理 process_item 函数
process_item
_ init _:构造函数
open_spider(spider):
close_spider(spider):
Spider 目录
对应的是文件夹 spider 下的文件
_ init _:初始化爬虫名称,start _urls 列表
start_requests:生成 Requests 对象交给 Scrapy 下载并返回 response
parse:根据返回的 response 解析出相应的 item,item 自动进入 pipeline:如果需要,解析 url,url自动交给 requests 模块,一直循环下去
start_requests:此方法尽能被调用一次,读取 start _urls 内容并启动循环过程
name:设置爬虫名称
start_urls:设置开始第一批爬取的 url
allow_domains:spider 允许去爬的域名列表
start_request(self):只被调用一次
parse:检测编码
log:日志记录
相关推荐:
python爬虫框架scrapy实例详解
Scrapy爬虫入门教程四 Spider(爬虫)
使用Python的Scrapy框架编写web爬虫的简单示例
以上就是Python爬虫之Anaconda环境下创建Scrapy爬虫框架的详细内容,更多请关注Gxl网其它相关文章!
内容总结
以上是互联网集市为您收集整理的Python爬虫之Anaconda环境下创建Scrapy爬虫框架全部内容,希望文章能够帮你解决Python爬虫之Anaconda环境下创建Scrapy爬虫框架所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。