之前的文章我们介绍了一下 Python 中的正则表达式和与爬虫正则相关的 re 模块，本章我们就利用正则表达式和 re 模块来做一个案例，爬取《糗事百科》的糗事并存储到本地。 我们要爬取的网站链接是 https://www.qiushibaike.com/text/page/1/ 。我们要爬取的是里面的糗事，在之前的文章中我们已经可以爬取整个 url 链接里的 html 内容，那么我们就可以根据爬取到的 html 代码，再通过 re 模块匹配我们想要的内容即可。我们通过调用开...
在之前的文章中我们介绍了一下 requests 模块，今天我们再来看一下 Python 爬虫中的正则表达的使用和 re 模块。 实际上爬虫一共就四个主要步骤：明确目标 (要知道你准备在哪个范围或者网站去搜索) 爬 (将所有的网站的内容全部爬下来) 取 (去掉对我们没用处的数据) 处理数据（按照我们想要的方式存储和使用）我们在之前写的爬虫程序中，都只是获取到了页面的全部内容，也就是只进行到了第2步，但是大部分的东西是我们不关心的，因此...
1、如何快速入门 Python ？ 我之前给大家说过，速成一门技能是不可能的，你需要花很多时间才能真正的掌握一门技能，但是快速入门是有可能的，而且也是必要的，你需要掌握最少且最必要的知识点，先进门再说。 其实编程，都有最基础的知识点，而且这些知识点都是共通的，什么意思？就是如果知道了这些知识点，那么你学习其他编程语言的时候，会很快就上手。这是因为编程有最少且最必要的知识。 回到 Python 来， Python 的最少且最必...
在之前的文章中我们带入了 opener 方法，接下来我们看一下 opener 应用中的 ProxyHandler 处理器（代理设置）。 使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。 很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。 所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。 urllib.request 中通过Pr...
之前的文章我们做了一个简单的例子爬取了百度首页的 html，我们用到的是 urlopen 来打开请求，它是一个特殊的opener（也就是模块帮我们构建好的）。但是基本的 urlopen() 方法不支持代理、cookie等其他的HTTP/HTTPS高级功能，所以我们需要用到 Python 的 opener 来自定义我们的请求内容。 具体步骤：使用相关的 Handler处理器 来创建特定功能的处理器对象； 然后通过 build_opener()方法使用这些处理器对象，创建自定义opener对象；...
转自 ：https://blog.csdn.net/kissazhu/article/details/80865739 上节课我们学习了中间件，知道了怎么通过中间件执行反反爬策略。本节课主要介绍Scrapy框架的request对象和response对象 通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序 Request类和Response类都有一些子类，子类用来添加基类中不必要的功能。这些在下面的请求子类...
Scrapy框架进阶+Redis入门 1. 设置代理IP1.1 基本概念1.2 设置代理IP 2. scrapy集成selenium2.1 代码需求2.2 案例代码 3. Scrapy框架进阶——Redis数据库3.1 基本概念3.2 redis数据库的使用：1. 设置代理IP 1.1 基本概念 什么是代理IP： 代理IP服务器是在计算机上运行的专用计算机或软件系统，其充当端点设备（例如计算机）与用户或客户端从其请求服务的另一服务器之间的中介。 为什么要设置代理IP： 突破自身的IP访问限制，防止因...
????接《爬虫进阶路程1——开篇》，里面讲到使用selenium进行实现高级别的爬虫，能够绕过那些绞尽脑汁是js复杂化的反爬方式，而selenium是需要配合浏览器来搭配使用的，这里就来讲一下如何在linux安装无头浏览器，window上怎么装就不讲了，直接百度很容易就装上了，但是如果正儿八经做爬虫的肯定不会止步于在自己PC上来爬数据，最终一定是走linux服务器的。 安装 ????这里主要通过yum本地安装rpm包来完成的chrome浏览器安装的，chr...
直接上代码吧 中间件简单使用：# -*- coding: utf-8 -*-# Define here the models for your spider middleware # # See documentation in: # https://docs.scrapy.org/en/latest/topics/spider-middleware.htmlfrom scrapy import signals import randomuser_agent_list = ["Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 ""(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1","Mozilla/5.0 (X11; CrOS i686 2268.11...
selenium基本操作（需要提前下载浏览器driver.exe）from selenium import webdriver from time import sleep bro = webdriver.Chrome(executable_path=chromedriver.exe) bro.get(https://www.jd.com/) sleep(1) #进行标签定位 search_input = bro.find_element_by_id(key) search_input.send_keys(mac pro)btn = bro.find_element_by_xpath(//*[@id="search"]/div/div[2]/button) btn.click() sleep(2)#执行js bro.execute_script...
基于Flask的示例 Server端from flask import Flask,render_template import timeapp = Flask(__name__)@app.route(/bobo) def index_bobo():time.sleep(2)return render_template(test.html)@app.route(/jay) def index_jay():time.sleep(2)return render_template(test.html)@app.route(/tom) def index_tom():time.sleep(2)return render_template(test.html)if __name__ == __main__:app.run(threaded=True)爬虫端（异步爬取）i...