Python Scrapy,从子页面返回进行抓取

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python Scrapy,从子页面返回进行抓取，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1644字，纯文字阅读大概需要3分钟。

内容图文

我的Spider功能在页面上,我需要转到一个链接并从该页面获取一些数据以添加到我的项目中,但是我需要从父页面转到各个页面而不创建更多项目.我将如何去做,因为从我在文档中可以读到的内容,我只能以线性方式进行：

  parent page > next page > next page

但我需要：

  parent page > next page
              > next page
              > next page

解决方法:

您应该返回Request个实例,并在meta中传递项目.并且,您必须以线性方式使其建立并构建请求和回调链.为了实现它,您可以传递一个完成项目的请求列表,并从上一个回调中返回一个项目：

def parse_main_page(self, response):
    item = MyItem()
    item['main_url'] = response.url

    url1 = response.xpath('//a[@class="link1"]/@href').extract()[0]
    request1 = scrapy.Request(url1, callback=self.parse_page1)

    url2 = response.xpath('//a[@class="link2"]/@href').extract()[0]
    request2 = scrapy.Request(url2, callback=self.parse_page2)

    url3 = response.xpath('//a[@class="link3"]/@href').extract()[0]
    request3 = scrapy.Request(url3, callback=self.parse_page3)

    request.meta['item'] = item
    request.meta['requests'] = [request2, request3]
    return request1

def parse_page1(self, response):
    item = response.meta['item']
    item['data1'] = response.xpath('//div[@class="data1"]/text()').extract()[0]

    return request.meta['requests'].pop(0)

def parse_page2(self, response):
    item = response.meta['item']
    item['data2'] = response.xpath('//div[@class="data2"]/text()').extract()[0]

    return request.meta['requests'].pop(0)

def parse_page3(self, response):
    item = response.meta['item']
    item['data3'] = response.xpath('//div[@class="data3"]/text()').extract()[0]

    return item

另请参阅：

> How can i use multiple requests and pass items in between them in scrapy python
> Almost Asynchronous Requests for Single Item Processing in Scrapy

内容总结

以上是互联网集市为您收集整理的Python Scrapy,从子页面返回进行抓取全部内容，希望文章能够帮你解决Python Scrapy,从子页面返回进行抓取所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端