首页 / PYTHON / Python：Scrapy（三）
Python：Scrapy（三）
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python：Scrapy（三），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9104字，纯文字阅读大概需要14分钟。
内容图文
学习自：Python Scrapy 爬虫框架实例（一） - Blue·Sky - 博客园
这一节是对前两节内容的补充，涉及内容为一些额外的类与方法，来对原代码进行改进
原代码：这里并没有用前两节的代码，而是用了另一个爬虫的代码，作用是爬取千图网的图片信息。该爬虫的基本信息：
项目名：AdilCrawler
爬虫名：thousandPic
网址：www.58pic.com
开始爬取的网址：https://www.58pic.com/c/
Item类：AdilcrawlerItem
xpath表达式：
Author：/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text() Name：/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()
# -*- coding: utf-8 -*-
import scrapy
# 这里使用 import 或是 下面from 的方式都行，关键要看 当前项目在pycharm的打开方式，是否是作为一个项目打开的，建议使用这一种方式。
import AdilCrawler.items as items
class ThousandpicSpider(scrapy.Spider):
name = 'thousandPic'
allowed_domains = ['www.58pic.com']
start_urls = ['https://www.58pic.com/c/']
def parse(self, response):
item = items.AdilcrawlerItem()
author = response.xpath('/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()').extract()
theme = response.xpath('/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()').extract()
item['author'] = author
item['theme'] = theme
return item
补充内容
1、日志打印，写在parse方法下：
def parse(self,response):
...
self.log(author)
...
2、ItemLoader类：代替extract()、xpath()方法
1）从scrapy.loader导入ItemLoader
from scrapy.loader import ItemLoader
2）优化，写在spider.py文件
用add_xpath方法，代替XPath提取语句：xpath(xxx).extract()
import scrapy
from AdilCrawler.items import AdilcrawlerItem
from scrapy.loader import ItemLoader
class ThousandpicoptimizeSpider(scrapy.Spider):
name = 'thousandPicOptimize'
allowed_domains = ['www.58pic.com']
start_urls = ['http://www.58pic.com/c/']
def parse(self, response):
i = ItemLoader(item = AdilcrawlerItem(),response = response )
i.add_xpath('author','/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()')
i.add_xpath('theme','/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()')
return i.load_item()
相当于：
i = items.AdilcrawerItem()
author = response.xpath('/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()').extract()
theme = response.xpath('/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()').extract()
i['author'] = author
i['theme'] = theme
yield i
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
i = ItemLoader(item = AdilcrawlerItem(),response = response )
i.add_xpath('author','/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()')
i.add_xpath('theme','/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()')
yield i.load_item()
3）修改pipelines.py，目的是将爬取到的内容保存到文件中；
Spider中爬取到的内容都会以参数item的形式传入pipelines.py文件中的相关方法，比如process_item，（这一点很重要，且对所有类型的爬虫都适用）
import json
class AdilcrawlerPipeline(object):
def __init__(self):
self.filename = open('thousandPic.json','w')
def process_item(self, item, spider):
# ensure_ascii=False 可以解决 json 文件中 乱码的问题。
text = json.dumps(dict(item), ensure_ascii=False) + ',\n' # 这里是一个字典一个字典存储的，后面加个 ',\n' 以便分隔和换行。
self.filename.write(text)
return item
def close_spider(self,spider):
self.filename.close()
至于json序列化保存的方法，可以参考序列化 pickle JSON - ShineLe - 博客园
4）修改settings.py
ITEM_PIPELINES = {
'AdilCrawler.pipelines.AdilcrawlerPipeline': 300,
}
# 加入后，相当于开启pipeline，此时在执行爬虫，会执行对应的pipelines下的类，并执行该类相关的方法，比如这里上面的保存数据功能。
5）执行；由于在pipelines.py中已经写了文件保存方法，故此处不用-o参数输出为文件
scrapy crawl thousandPicOptimize
3、CrawlSpider类：翻页抓取
1）使用crawl模板创建一个CrawlSpider PicSpi（CrawlSpider的生成，与普通Spider不同）
scrapy genspider -t crawl PicSpi www.58pic.com
2）items.py：与之前相同；
import scrapy
class PicsItem(scrapy.Item):
authod=scrapy.Field() #作者
theme=scrapy.Field() #主题
pipelines.py同2
3）Spider文件PicSpi.py
需要用到另外三个类：LinkExtractor、CrawlSpider、Rule
from scrapy.linkextractors import LinkExtractor from scrapy.spider import CrawlSpider,Rule
完整代码：
# 导入链接规则匹配类，用来提取符合规则的链接
from scrapy.linkextractors import LinkExtractor
# 导入CrawlSpider类和Rule （①）
from scrapy.spiders import CrawlSpider, Rule
import AdilCrawler.items as items
class ThousandpicpagingSpider(CrawlSpider):
name = 'thousandPicPaging'
allowed_domains = ['www.58pic.com']
start_urls = ['https://www.58pic.com/c/']
# Response中的链接提取规则，返回符合规则的链接匹配对象的List
# 根据翻页链接地址 http://www.58pic.com/c/1-0-0-03.html 找到相应的正则表达式
# 不能使用restrict_xpath，否则正则将失效
#(②)
page_link = LinkExtractor(allow='https://www.58pic.com/c/\S-\S-\S-\S\S.html', allow_domains='www.58pic.com')
#(③)
rules = (
Rule(page_link, callback='parse_item', follow=True), # 此处的 ','不能省略
)
# 方法parse_start_url是为了解决parse_item()不能抓取第一页数据的问题
# 原因是第一页的正则表达式形式与之后若干页不同
# 该方法是CrawlSpider类下的方法，这里重写一下即可
#(④)
def parse_start_url(self, response):
i = items.AdilcrawerItem()
author = response.xpath('/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()').extract()
theme = response.xpath('/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()').extract()
i['author'] = author
i['theme'] = theme
yield i
#(⑤)
def parse_item(self, response):
i = items.AdilcrawerItem()
author = response.xpath('/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()').extract()
theme = response.xpath('/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()').extract()
i['author'] = author
i['theme'] = theme
yield i
对这段代码的说明：
①：库的导入，这一部分的内容是在通过指令生成CrawlSpider的时候自动生成的
②：得到每一页的链接
page_link = LinkExtractor(allow='https://www.58pic.com/c/\S-\S-\S-\S\S.html', allow_domains='www.58pic.com')
LInkExtractor构建链接时，需要参数allow与allow_domains，参数allow是各页URL的完整正则表达式，allow_domains是限定访问的范围；这样page_link便保存了访问每一页的方法。
③：根据每页链接构建访问规则
rules = (
Rule(page_link, callback='parse_item', follow=True), # 此处的 ','不能省略
)
a、用Rule方法，参数有三项：page_link、callback、follow，作用分别是：
page_link：②中构建的链接，由于是正则表达式，所以是一系列的链接
callback：对这些链接进行处理的函数，需要在之后补充在同一个类中
follow：是否根据链接自动进行下去
b、最后，必须加,逗号，以表明这是一个Tuple元组
④：访问第一页（针对第一页URL不与正则表达式相匹配的情况）：parse_start_url
⑤：访问其他页（代码相同，只是方法名不同）：parse_item
i = items.AdilcrawerItem()
author = response.xpath('/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()').extract()
theme = response.xpath('/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()').extract()
i['author'] = author
i['theme'] = theme
yield i
代码内容与普通情况下的要素提取相同
4）运行；运行方法倒是相同
scrapy crawl thousandPicPaging
4、综合，将2、3结合起来，同时使用ItemLoader、CrawlSpider
import scrapy
from scrapy.loader import ItemLoader
from scrapy.spiders import CrawlSpider,Rule
import AdilCrawler.items as items
class ThousandpicpagingopSpider(CrawlSpider):
name='thousandPicPagingOp'
allowed_domains = ['www.58pic.com']
start_urls = ['http://www.58pic.com/c/']
page_link=LinkExtractor(allow='http://www.58pic.com/c/\S-\S-\S-\S\S.html',allow_domains='www.58pic.com')
rules=(
Rule(page_link,callback='parse_item',follow=True),
)
def parse_start_url(self,response):
i=ItemLoader(item=items.AdilcrawlerItem(),response=response)
i.add_xpath('author','/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()')
i.add_xpath('theme','/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()')
yield i.load_item()
def parse_item(self, response):
i = ItemLoader(item = items.AdilcrawlerItem(),response = response )
i.add_xpath('author','/html/body/div[4]/div[3]/div/a/p[2]/span/span[2]/text()')
i.add_xpath('theme','/html/body/div[4]/div[3]/div/a/p[1]/span[1]/text()')
yield i.load_item()
5、总结
用CrawlSpider和ItemLoader写一个可以自动翻页的爬虫的一般流程及文件配置。
1）创建项目与爬虫
scrapy startproject XXX scrapy genspider -t crawl xxxS url
2）items.py
import scrapy
class xxxItem(scrapy.Item):
attr1=scrapy.Field()
attr2=scrapy.Field()
...
attrn=scrapy.Field()
3）pipelines.py
import json
class xxxPipeline(object):
def __init__(self):
self.filename = open('xxx.json','w') #保存文件
def process_item(self,item,spider):
# ensure_ascii=False 可以解决 json 文件中 乱码的问题。
text = json.dumps(dict(item), ensure_ascii=False)
self.filename.write(text)
return item
def close_spider(self,spider):
self.filename.close()
4）settings.py
BOT_NAME =
SPIDER_MODULES =
NEWSPIDER_MODULE =
ROBOTSTXT_OBEY = False
ITEM_PIPELINES = {
'XXX.pipelines.xxxPipeline': 300,
}
5）spider.py
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.loader import ItemLoader
from scrapy.spiders import CrawlSpider, Rule
import XXX.items as items
class XXXSpider(CrawlSpider):
name = 'xxxS'
allowed_domains = ['url']
start_urls = ['url']
page_link = LinkExtractor(allow='url regex', allow_domains='url')
rules = (
Rule(page_link, callback='parse_item', follow=True),
)
#处理首页
def parse_start_url(self, response):
i = ItemLoader(item = items.XXXItem(),response = response )
i.add_xpath('attr1','attr1 xpath')
i.add_xpath('attr2','attr2 xpath')
yield i.load_item()
# 处理其他页
def parse_item(self, response):
i = ItemLoader(item = items.XXXItem(),response = response )
i.add_xpath('attr1','attr1 xpath')
i.add_xpath('attr2','attr2 xpath')
yield i.load_item()
6）运行爬虫
scrapy crawl xxxS
内容总结
以上是互联网集市为您收集整理的Python：Scrapy（三）全部内容，希望文章能够帮你解决Python：Scrapy（三）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。