第三百四十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了第三百四十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1382字，纯文字阅读大概需要2分钟。
内容图文
第三百四十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—
编写spiders爬虫文件循环抓取内容
Request()方法，将指定的url地址添加到下载器下载页面，两个必须参数，
参数：
url=‘url‘
callback=页面处理函数
使用时需要yield Request()
parse.urljoin()方法，是urllib库下的方法，是自动url拼接，如果第二个参数的url地址是相对路径会自动与第一个参数拼接
#
-*- coding: utf-8 -*-
import
scrapy
from scrapy.http import Request
#
导入url返回给下载器的方法
from urllib import parse
#
导入urllib库里的parse模块
class
PachSpider(scrapy.Spider):
name = ‘pach‘
allowed_domains = [‘blog.jobbole.com‘] #起始域名
start_urls = [‘http://blog.jobbole.com/all-posts/‘] #起始urldef parse(self, response):
"""
获取列表页的文章url地址，交给下载器
"""#获取当前页文章url
lb_url = response.xpath(‘//a[@class="archive-title"]/@href‘).extract() #获取文章列表urlfor i in lb_url:
# print(parse.urljoin(response.url,i)) #urllib库里的parse模块的urljoin()方法，是自动url拼接，如果第二个参数的url地址是相对路径会自动与第一个参数拼接yield Request(url=parse.urljoin(response.url, i), callback=self.parse_wzhang)#将循环到的文章url添加给下载器，下载后交给parse_wzhang回调函数#获取下一页列表url,交给下载器，返回给parse函数循环
x_lb_url = response.xpath(‘//a[@class="next page-numbers"]/@href‘).extract() #获取下一页文章列表urlif x_lb_url:
yield Request(url=parse.urljoin(response.url, x_lb_url[0]), callback=self.parse)#获取到下一页url返回给下载器，回调给parse函数循环进行def parse_wzhang(self,response):
title = response.xpath(‘//div[@class="entry-header"]/h1/text()‘).extract() #获取文章标题print(title)
原文：http://www.cnblogs.com/adc8868/p/7286409.html
内容总结
以上是互联网集市为您收集整理的第三百四十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—全部内容，希望文章能够帮你解决第三百四十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。