首页 / 爬虫 / 爬虫框架 -->scrapy
爬虫框架 -->scrapy
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了爬虫框架 -->scrapy，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1971字，纯文字阅读大概需要3分钟。
内容图文
scrapy框架
- 框架 : 具有很多功能,且具有很强通用性的项目模板
- 环境安装 :
#
环境准备
linux 系统 pip3 install scrapy
windows系统
1 pip3 install wheel
2 下载 Twisted-19.2.0-cp36-cp36m-win-amd64.whl
3 进入下载目录，执行 pip3 install Twisted?19.2.0?cp36?cp36m?win_amd64.whl
4 pip3 install pywin
5 pip3 install wheel
什么是scrapy?
Scrapy 是一个为了爬取网站数据,提取结构性数据编写的应用框架,.非常强大,所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。
scrapy的用法
#
创建一个爬虫工程
scrapy startproject projectName
#
cd proName
#
创建爬虫文件
srcapy genspider first www.xxx.com
#
执行工程
scrapy crawl spiderName #执行对应的爬虫应用
scrapy crawl spiderName --no log #忽略日志输出#持久化存储# - 基于终端指令 : 只可以将parse方法的返回值存储在磁盘文件中,解析的内容结构必须为字典
scrapy crawl first -o qiubai.csv #指定文件类型有要求.json .csv # - 管道 :
目录结构
#
项目结构：
project_name/
scrapy.cfg：
project_name/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
scrapy.cfg #项目的主配置信息。（真正爬虫相关的配置信息在settings.py文件中）
items.py #设置数据存储模板，用于结构化数据，如：Django的Model
pipelines #数据持久化处理
settings.py #配置文件，如：递归的层数、并发数，延迟下载等
spiders #爬虫目录，如：创建文件，编写爬虫解析规则
基本写法
#
-*- coding: utf-8 -*-
import
scrapy
class
FirstSpider(scrapy.Spider):
#
爬虫文件的名称：就是爬虫文件的一个唯一标示
name = ‘first‘#允许的域名# allowed_domains = [‘www.xxx.com‘] #一般不用#起始url列表:列表元素都会被自动的进行请求的发送
start_urls = [‘https://www.qiushibaike.com/text/‘]
#解析数据def parse(self, response):
div_list = response.xpath(‘//div[@id="content-left"]/div‘)
names = []
for div in div_list:
#特性：xpath返回的列表元素一定是Selector对象，使用extract（）就可以获取Selecot中data的数据# author = div.xpath(‘./div[1]/a[2]/h2/text()‘)[0].extract()
author = div.xpath(‘./div[1]/a[2]/h2/text()‘).extract_first()
#在基于终端指令进行持久化存储的时候必须将解析到的数据封装到字典中
dic = {
‘name‘:author
}
names.append(dic)
return names
setting.py配置
#
修改内容及其结果如下：
19行：USER_AGENT = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36‘#伪装请求载体身份
22行：ROBOTSTXT_OBEY = False #可以忽略或者不遵守robots协议
....
' ref='nofollow'>爬虫框架 -->scrapy
原文：https://www.cnblogs.com/CrazySheldon1/p/10818864.html
内容总结
以上是互联网集市为您收集整理的爬虫框架 -->scrapy全部内容，希望文章能够帮你解决爬虫框架 -->scrapy所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。