首页 / MONGODB / Scrapy和MongoDB的应用---爬取

Scrapy和MongoDB的应用---爬取

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Scrapy和MongoDB的应用---爬取，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2681字，纯文字阅读大概需要4分钟。

内容图文

　　Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取Web站点并从页面中提取结构化的数据.它最吸引人的地方在于任何人都可以根据需求方便的修改。
　　MongoDB是现下非常流行的开源的非关系型数据库（NoSql），它是以“key-value”的形式存储数据的，在大数据量、高并发、弱事务方面都有很大的优势。
　　当Scrapy与MongoDB两者相碰撞会产生怎样的火花呢？与MongoDB两者相碰撞会产生怎样的火花呢？现在让我们做一个简单的爬取小说的TEST
   1.安装Scrapy
        pip install scrapy
   2.下载安装MongoDB和MongoVUE可视化
        [MongoDB下载地址](https://www.mongodb.org/)
        下载安装的步骤略过，在bin目录下创建一个data文件夹用来存放数据的。


        [MongoVUE下载地址](http://www.mongovue.com/)

　　　安装完成后我们需要创建一个数据库。

技术分享
   3.创建一个Scrapy项目
        scrapy startproject novelspider
    目录结构：其中的novspider.py是需要我们手动创建的(contrloDB不需要理会)

技术分享

　　4.编写代码

　　　　目标网站:http://www.daomubiji.com/

技术分享

　　settings.py

BOT_NAME = ‘novelspider‘

SPIDER_MODULES = [‘novelspider.spiders‘]
NEWSPIDER_MODULE = ‘novelspider.spiders‘

ITEM_PIPELINES = [‘novelspider.pipelines.NovelspiderPipeline‘]　　#导入pipelines.py中的方法

USER_AGENT = ‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:39.0) Gecko/20100101 Firefox/39.0‘
COOKIES_ENABLED = True

MONGODB_HOST = ‘127.0.0.1‘   
MONGODB_PORT = 27017
MONGODB_DBNAME = ‘zzl‘　　　　#数据库名
MONGODB_DOCNAME = ‘Book‘　　　#表名

pipelines.py 

            from scrapy.conf import settings
import pymongo

class NovelspiderPipeline(object):
    def__init__(self):
        host = settings[‘MONGODB_HOST‘]
        port = settings[‘MONGODB_PORT‘]
        dbName = settings[‘MONGODB_DBNAME‘]
        client = pymongo.MongoClient(host=host, port=port)
        tdb = client[dbName]
        self.post = tdb[settings[‘MONGODB_DOCNAME‘]]

    def process_item(self, item, spider):
        bookInfo = dict(item)
        self.post.insert(bookInfo)
        return item

　　items.py

            from scrapy import Item,Field


class NovelspiderItem(Item):
    # define the fields for your item here like:# name = scrapy.Field()
    bookName = Field()
    bookTitle = Field()
    chapterNum = Field()
    chapterName = Field()
    chapterURL = Field()

　　在spiders目录下创建novspider.py

            from scrapy.spiders import CrawlSpider
from scrapy.selector import Selector
from novelspider.items import NovelspiderItem

class novSpider(CrawlSpider):
    name = "novspider"
    redis_key = ‘novspider:start_urls‘
    start_urls = [‘http://www.daomubiji.com/‘]

    def parse(self,response):
        selector = Selector(response)
        table = selector.xpath(‘//table‘)
        for each in table:
            bookName = each.xpath(‘tr/td[@colspan="3"]/center/h2/text()‘).extract()[0]
            content = each.xpath(‘tr/td/a/text()‘).extract()
            url = each.xpath(‘tr/td/a/@href‘).extract()
            for i in range(len(url)):
                item = NovelspiderItem()
                item[‘bookName‘] = bookName
                item[‘chapterURL‘] = url[i]
                try:
                    item[‘bookTitle‘] = content[i].split(‘‘)[0]
                    item[‘chapterNum‘] = content[i].split(‘‘)[1]
                except Exception,e:
                    continuetry:
                    item[‘chapterName‘] = content[i].split(‘‘)[2]
                except Exception,e:
                    item[‘chapterName‘] = content[i].split(‘‘)[1][-3:]
                yield item

　　5.启动项目命令: scrapy crawl novspider.  

　　   抓取结果

技术分享

原文：http://www.cnblogs.com/alarm1673/p/4812460.html

内容总结

以上是互联网集市为您收集整理的Scrapy和MongoDB的应用---爬取全部内容，希望文章能够帮你解决Scrapy和MongoDB的应用---爬取所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1235363.html

来源：【匿名】