python – 下载scrapy的整页

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 下载scrapy的整页，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含913字，纯文字阅读大概需要2分钟。

内容图文

我想使用scrapy下载整页内容.

使用硒这很容易：

import os,sys
reload(sys)  
sys.setdefaultencoding('utf8')
from selenium import webdriver


url = 'https://es.wikipedia.org/wiki/Python'

driver = webdriver.Firefox()
driver.get(url)
content = driver.page_source
with open('source','w') as output:
    output.write(content)

但是硒比scrapy慢得多.

在scrapy中这是一种简单的方法吗？

我想将每个页面的代码保存在不同的文件文本中,而不是csv或json文件.此外,如果没有创建项目可行,这对于这样一个简单的任务来说似乎有些过分.

解决方法:

代码将下载此页面并将其保存在文件download-a-full-page-with-scrapy.html中

test_scr.py

import scrapy
class TestSpider(scrapy.Spider):
    name = "test"

    start_urls = [
        "https://stackoverflow.com/questions/38233614/download-a-full-page-with-scrapy",
    ]

    def parse(self, response):
        filename = response.url.split("/")[-1] + '.html'
        with open(filename, 'wb') as f:
            f.write(response.body)

通过此命令运行scrapy

scrapy runspider test_scr.py

内容总结

以上是互联网集市为您收集整理的python – 下载scrapy的整页全部内容，希望文章能够帮你解决python – 下载scrapy的整页所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端