from pprint import pprintfrom queue import Queuefrom lxml import etreeimport requests# 导入进程池from multiprocessing.dummy import Poolimport timeclass QuiShi: def __init__(self): self.temp_url = "http://www.lovehhy.net/Joke/Detail/QSBK/{0}" self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537...
python爬虫之线程池和进程池 一、需求最近准备爬取某电商网站的数据，先不考虑代理、分布式，先说效率问题（当然你要是请求的太快就会被封掉，亲测，400个请求过去，服务器直接拒绝连接，心碎），步入正题。一般情况下小白的我们第一个想到的是for循环，这个可是单线程啊。那我们考虑for循环直接开他个5个线程，问题来了，如果有一个url请求还没有回来，后面的就干等，这么用多线程等于没用，到处贴创可贴。 二、性能考虑确定要用多...
import requests from multiprocessing import Pool import re from requests.exceptions import RequestException import jsondef get_one_page(url):try:res = requests.get(url)if res.status_code == 200:return res.textreturn Noneexcept RequestException:return None def parse_one_page(html):pat = re.compile(<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a+.*?>(.*?)</a>.*?star">(.*?)</p>.*?relea...
一.多进程 import requests from lxml import etree from multiprocessing import Pool from multiprocessing import Manager# url = 'http://www.mzitu.com/' # url2 = 'http://www.mzitu.com/page/2/' # url3 = 'http://www.mzitu.com/page/3/'def get_all_pages(base_url, q):for i in range(196):url = base_url.format(i+1)q.put((url, get_one_page))breakdef get_one_page(url, q):response = requests.get(url, timeout=3)...