首页 / 爬虫 / python-爬虫 多线程爬虫
python-爬虫 多线程爬虫
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python-爬虫 多线程爬虫，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2963字，纯文字阅读大概需要5分钟。
内容图文
多线程爬虫
目录今日内容
1. 并发与并行(**)
2. 多线程导致数据的不安全(**) --> 理解不了, 那就记住结论(多线程共同操作数据会导致数据不安全)
3. 多线程爬虫架构(*****)
4. 多线程爬虫的代码(*****)
1.并发与并行
1.并发: 在同一时间段内, 所有任务同时运行.
2.并行: 在同一时刻, 所有任务同时执行
2.多线程
i = 0
i += 1
i -= 1
print(i)
多线程共同操作数据会导致数据不安全
3.多线程架构图
1.url,发请求, 获取响应
2.数据解析
3.数据持久化
from threading import Thread
from threading import Lock
from queue import Queue
import requests
import pymysql
from lxml import etree
# base_url = 'http://xiaohua.zol.com.cn/youmo/%s.html'
# 爬虫类
class Sqider(Thread):
def __init__(self, sname, urlQueue, dataQueue):
super().__init__()
self.sname = sname
self.urlQueue = urlQueue
self.dataQueue = dataQueue
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
}
# 爬取数据
def run(self, ):
base_url = 'http://xiaohua.zol.com.cn/youmo/%s.html'
while 1:
# block 代表阻塞，block为True即为阻塞。block为False为不阻塞
try:
print('%s正在爬取数据' % self.name)
page = self.urlQueue.get(block=False)
res = requests.get(url=base_url % page, headers=self.headers)
self.dataQueue.put(res.text)
print('%s提交数据完毕--' % self.name)
except:
break
# 解析类
class Parse(Thread):
def __init__(self, pname, dataQueue, conn, cursor, lock):
super().__init__()
self.pname = pname
self.dataQueue = dataQueue
self.conn = conn
self.cursor = cursor
self.lock = lock
def run(self):
# 实现数据解析的过程
print('run方法已经调用')
self.parse(self.dataQueue) # 调用parse方法
def parse(self, dQueue):
# 实现具体的解析过程
while 1:
try:
html = dQueue.get()
tree = etree.HTML(html)
li_list = tree.xpath('//li[@class="article-summary"]')
for li in li_list:
title = li.xpath('.//span[@class="article-title"]/a/text()')[0]
content = li.xpath('.//div[@class="summary-text"]//text()')
data = {'title': title, 'content': content}
with self.lock:
self.save(data)
except:
break
# 存储数据
def save(self, data):
sql = 'insert into joke values ("%s","%s")' % (data['title'], data['content'])
try:
self.cursor.execute(sql)
self.conn.commit()
print('%s存储数据成功' % self.pname)
except Exception as e:
print(e)
self.conn.rollback()
# 主函数
def main():
# 盛放url的地方 url队列
urlQueue = Queue()
for page in range(1, 101):
urlQueue.put(page)
# 放置响应数据
dataQueue = Queue()
# 开启爬虫线程
snames = ['爬虫1号', '爬虫2号', '爬虫3号']
slist = []
for sname in snames:
# 实例化线程对象
s = Sqider(sname, urlQueue, dataQueue)
# 开启线程
s.start()
slist.append(s)
for s in slist:
s.join()
# 链接数据库
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='1234', charset='utf8',
database='xiaohua')
cursor = conn.cursor()
# 解析线程的开启
lock = Lock() # 上锁
plist = []
pnl = ['解析1号', '解析2号', '解析3号']
for pname in pnl:
p = Parse(pname, dataQueue, conn, cursor, lock)
p.start()
plist.append(p)
for p in plist:
p.join()
# 程序入口
if __name__ == '__main__':
main()
内容总结
以上是互联网集市为您收集整理的python-爬虫 多线程爬虫全部内容，希望文章能够帮你解决python-爬虫 多线程爬虫所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。
来源：【匿名】