python3+正则(re)增量爬虫爬取笔趣阁小说( 斗罗大陆IV终极斗罗)
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python3+正则(re)增量爬虫爬取笔趣阁小说( 斗罗大陆IV终极斗罗)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4009字，纯文字阅读大概需要6分钟。
内容图文
python3+re 爬虫爬取笔趣阁小说 斗罗大陆IV终极斗罗
爬取前准备
导入的模块
import redis #redis数据库 存储指纹
import re #正则查询
import pymongo # mongo数据库 存储数据
import requests #发请求
from hashlib import md5 #生成指纹(加密)
from fake_useragent import UserAgent #伪造 headers
分析
增量爬虫?
1】引言
当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，
例：1. 某电影网站会实时更新一批最近热门的电影
2. 小说网站会根据作者创作的进度实时更新最新的章节数据等等
当我们在爬虫的过程中遇到时，我们是否需要只爬取网站中最近更新的数据，而不每次都做全量爬虫呢？
【2】概念
通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新出的新数据
增量实现
【1】原理
1.1》在发送请求之前判断这个URL是不是之前爬取过
适用场景：‘不断有新页面出现的网站，比如说小说的新章节，每天的最新新闻等’
1.2》在解析内容后判断这部分内容是不是之前爬取过
适用场景：‘页面内容会更新的网站’
【2】实现
2.1》将爬取过程中产生的url进行存储，存储在redis的set中。当下次进行数据爬取时，首先对即将要发起的请求对应的url在存储的url的set中做判断，如果存在则不进行请求，否则才进行请求。
2.2》对爬取到的网页内容进行唯一标识的制定，然后将该唯一表示存储至redis的set中。当下次爬取到网页数据的时候，在进行持久化存储之前，首先可以先判断该数据的唯一标识在redis的set中是否存在，在决定是否进行持久化存储
正则的贪婪与非贪婪
了解正则表达式
-
贪婪匹配(默认)
1、在整个表达式匹配成功的前提下,尽可能多的匹配 * + ? 2、表示方式：.* .+ .? -
非贪婪匹配
1、在整个表达式匹配成功的前提下,尽可能少的匹配 * + ? 2、表示方式：.*? .+? .?? -
本次爬取使用的代码示例
# <a style="" href="/5_5607/3182286.html">第一章 那是什么？</a>
regex='<a style="" href="(.*?)">(.*?)</a>'
# 晒选需要的数据
- 了解完啦?准备发车了
附完整代码示例
# -*- coding: UTF-8 -*-
'''
PyCharm
@Project ：
@File ：redis_href.py
@Author ：淮南子.
@Date ：2021/1/1
'''
import time # 爬取时如果大量请求需要适当降低频率
# 本次发请求少没使用的
import redis #redis数据库 存储指纹
import re #正则
import pymongo # pymongo数据库 存储数据
import requests #发请求
from hashlib import md5 #生成指纹(加密)
from fake_useragent import UserAgent #伪造 headers
#笔趣阁小说 斗罗大陆IV终极斗罗
#增量爬虫
class NovelSpider:
def __init__(self):
self.headers={'User-Agent':UserAgent().random}
self.url='http://www.biquge6.com/5_5607/'
# 连接数据库
self.r=redis.Redis(host='localhost',port=6379,db=0)
#连接数据库
self.cont=pymongo.MongoClient('localhost',27017)
# Mongo库
self.db=self.cont['noveldb']
# Mongo表
self.myset=self.db['novelset']
def get_html(self,url):
'''获取页面'''
html=requests.get(url=url,headers=self.headers).text
return html
def md5_href(self,href):
'''生成指纹'''
m_href=md5()
m_href.update(href.encode())
# 返回加密后的数据
return m_href.hexdigest()
def databse(self,data):
'''数据库存储'''
self.myset.insert_one(data)
def data(self):
'''数据解析'''
html=self.get_html(url=self.url)
#使用正则获取需要的数据
regex='<a style="" href="(.*?)">(.*?)</a>'
result_list=re.findall(regex,html)
# print(result)
for result in result_list:
item={} #创建一个字典存放数据方便数据库存储
#正则获取的是元组
item['href']=result[0]
item['chapter']=result[1]
# print(item)
finger = self.md5_href(item['href'])
# redis 验证是否抓取过
if self.r.sadd('novel:spiders', finger) == 1:
print('章节有更新，开始抓取... ...')
# 拼接完整的详情url
# http://www.biquge6.com/5_5607/3182286.html
# http://www.biquge6.com/5_5607/3189896.html
print(self.url+item['href'].split('/',1)[1])
# 新章节可以继续处理
#这里存储 href chapter
self.databse(item)
else:
# 已抓取过的跳过
#
print('章节未更新,跳过此章节')
def crawl(self):
'''执行函数'''
self.data()
if __name__ == '__main__':
novel=NovelSpider()
novel.crawl()
查看数据存储
- redis 数据库
# 连接redis
redis-cli
## 查看所有键
keys *
## 查看集合中所有元素
SMEMBERS key
如图所示
数据过多截取展示部分
- Mongodb 数据库
## 进入命令行:
mongo
#查看所有库:
show dbs
#切换库:
use 库名
#查看库中集合:
show tables
#查看集合文档:
db.集合名.find().pretty()
#统计文档个数:
db.集合名.count()
如图所示:
每一年的今天，都是一个全新的开始，新的一年，愿大家万事顺遂，所得皆所愿!
内容总结
以上是互联网集市为您收集整理的python3+正则(re)增量爬虫爬取笔趣阁小说( 斗罗大陆IV终极斗罗)全部内容，希望文章能够帮你解决python3+正则(re)增量爬虫爬取笔趣阁小说( 斗罗大陆IV终极斗罗)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。