我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list （1）通过标签名查找 print soup.select(title) [The Dormouse's story] print soup.select(a) [, Lacie, Tillie] print soup.select(b) [The Dormouses story] （2）通过类名查找 print soup.select(.sister) [, Lacie, Tillie] （3）通过 id 名查找 print soup.select(#l...
学爬虫我们已经了解了多种请求库，如 Requests、Urllib、Selenium 等。我们接下来首先贴近实战，了解一下代理怎么使用。 下面我们来梳理一下这些库的代理的设置方法。 1.获取代理 在做测试之前，我们需要先获取一个可用代理，搜索引擎搜索“代理”关键字，就可以看到有许多代理服务网站，在网站上会有很多免费代理，比如西刺：http://www.xicidaili.com/，这里列出了很多免费代理，但是这些免费代理大多数情况下都是不好用的，所以...
前言 本人的工程实践为金融文本的数据挖掘，这其中金融文本类的数据的获取就很关键，而这些数据是通过爬虫来获取的。 我们使用了scrapy-redis这个开源的分布式爬虫架构。而scrapy-redis这种框架的搭建恰好是使用了模板方法模式来完成的，真的是无巧不成书。 模板方法模式 《设计模式之禅》中关于模板方法的定义为：定义一个操作中的算法框架，而将一些步骤延迟到子类中。使子类可以不改变一个算法的结构即可重定义该算法的某些步骤...
1. scrapy对request的URL去重 yield scrapy.Request(url, self.parse, dont_filter=False) 注意这个参数：dont_filter=False 2. Jobs: 暂停，恢复爬虫 启用一个爬虫的持久化，运行以下命令: scrapy crawl somespider -s JOBDIR=crawls/somespider-1 然后，你就能在任何时候安全地停止爬虫(按Ctrl-C或者发送一个信号)。 恢复这个爬虫也是同样的命令: scrapy crawl somespider -s JOBDIR=crawls/somespider-1 这样爬虫断掉后，再启动...
爬虫的工作中，我们不可避免地会遇到网页的反爬封锁，因此有了爬虫的攻防，在攻防之间两股力量不断的对抗。下面讲讲使用爬虫时ip限制问题的六种方法！ 方案1： 1、IP必须是必要的。如果条件允许，建议使用代理IP（现在可以免费测试）。 2、在有外部网络IP的机器上部署爬虫代理服务器。 3、您的程序使用轮班训练代理服务器来访问您想收集的网站。 优势：1.程序逻辑变化很小，只需要代理功能。2.根据对方网站的屏蔽规则，您只需要添加...
最近有需求需要爬取抖音的一些数据，网上的一些方法都比较老，由于抖音升级较快已经不太实用了，所以只能自己解决了。 本次是对最新版本抖音app（13.6.0版本）进行的数据的抓取。 主要是通过脱壳、frida的逆向开发，在java层和Native层请求参数逆向还原，以及ida动态调试so文件破解请求参数和加密算法实现的爬取。 目前已经能爬取到抖音的个人中心、首页推荐视频列表、关注视频列表、同城视频列表、视频详情、用户粉丝列表、用户关...
本文主要介绍了移动端爬虫的工具与方法，作为一个入门的大纲。没有详细介绍的也给出了本人学习过程中借鉴的资料的链接，适合对移动端爬虫感兴趣的同学入门。 一、抓包模拟基本原理（中间人***）中间人***：在中间人***中，***主机通常截断客户端和服务器的加密通信。***机以自己的证书替代服务器发给客户端的证书。通常，客户端不会验证该证书，直接接受该证书，从而建立起和***机的安全连接。这样，客户端发送的数据，都会被***机...
爬虫解析数据有很多种，爬取不同的数据，返回的数据类型不一样，有html、json、xml、文本（字符串）等多种格式！ 掌握这四种解析数据的方式，无论什么样的数据格式都可以轻松应对处理。 这四种方式分别是：1.xpath、2.bs4、3.json、4.正则。 下面以实战方式讲解这四种技术如何使用！！！ 1、Xpath 1.请求数据 请求链接如下，以小说网站：新笔趣阁，为案例进行讲解http://www.xbiquge.la/xuanhuanxiaosh导入相应的库 import request...
文章目录 一、寻找代理IP寻找http代理平台神龙http（注册后可在1天内免费得到1000ip）蜻蜓代理免费IP代理网二、设置nginx1.下载nginx2.下载后，解压缩3.打开nginx的conf/nginx.conf文件（可使用记事本），在http{}中加入如下代码：4.打开nginx 三、Chrome设置代理服务器四、requests库使用代理 一、寻找代理IP 寻找http代理平台 神龙http（注册后可在1天内免费得到1000ip） 蜻蜓代理 其余更多的，可以参考这篇博客 免费IP代理网 二...