Cookie的使用为什么要使用Cookie呢？Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他页面就达到目的了。在此之前呢，我们必须先介绍一个opener的概念。 1.Opener 当你获取一个URL你使用一个opener(一个urllib...
# -*- coding: utf-8 -*- import scrapy,re from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from crawlspider.items import CrawlspiderItemclass CrawlspidersSpider(CrawlSpider):name = ‘CrawlSpiders‘allowed_domains = [‘sbiquge.com‘]start_urls = [‘https://www.sbiquge.com/biqukan/‘]rules = (Rule(LinkExtractor(allow="/\d+?_\d+?/",unique=True),callback=‘pa...
多线程爬虫有些时候，比如下载图片，因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载图片。多线程介绍：多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。最简单的比喻多线程就像火车的每一节车厢，而进程则是火车。车厢离开火车是无法跑动的，同理火车也可以有多节车厢。多线...
关于首先，在此附上项目的地址，以及官方文档PySpider官方文档安装1. pip首先确保你已经安装了pip，若没有安装，请参照pip安装2. phantomjsPhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速、原生支持各种Web标准：DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。安装以上附有官方安装方式，如果你是 Ubuntu 或 ...
人生苦短，我用 Python前文传送门：小白学 Python 爬虫（1）：开篇小白学 Python 爬虫（2）：前置准备（一）基本类库的安装小白学 Python 爬虫（3）：前置准备（二）Linux基础入门小白学 Python 爬虫（4）：前置准备（三）Docker基础入门小白学 Python 爬虫（5）：前置准备（四）数据库基础小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装小白学 Python 爬虫（7）：HTTP 基础小白学 Python 爬虫（8）：网页基础小白学 Pyth...
说到爬虫，使用Java本身自带的URLConnection可以实现一些基本的抓取页面的功能，但是对于一些比较高级的功能，比如重定向的处理，HTML标记的去除，仅仅使用URLConnection还是不够的。在这里我们可以使用HttpClient这个第三方jar包。接下来我们使用HttpClient简单的写一个爬去百度的Demo： 1import java.io.FileOutputStream;2import java.io.InputStream;3import java.io.OutputStream;4import org.apache.commons.httpclient.Http...
在之前的文章node入门场景之——爬虫已经介绍过最简单的node爬虫实现，本文在原先的基础上更进一步，探讨一下如何绕过登录，爬取登录区内的数据目录理论基础如何维持登录态浏览器是怎么做的node实现访问http://www.gxlcms.com/php/php-TVOS-denglu.html" target="_blank">登录接口获取cookie请求登录区内接口如果有验证码怎么破延伸总结一、理论基础如何维持登录态http作为一种无状态的协议，客户端和服务器端之间不会保持长连接。...
之前写了个现在看来很不完美的小爬虫，很多地方没有处理好，比如说在知乎点开一个问题的时候，它的所有回答并不是全部加载好了的，当你拉到回答的尾部时，点击加载更多，回答才会再加载一部分，所以说如果直接发送一个问题的请求链接，取得的页面是不完整的。还有就是我们通过发送链接下载图片的时候，是一张一张来下的，如果图片数量太多的话，真的是下到你睡完觉它还在下，而且我们用nodejs写的爬虫，却竟然没有用到nodejs最牛逼...
之前写了个现在看来很不完美的小爬虫，很多地方没有处理好，比如说在知乎点开一个问题的时候，它的所有回答并不是全部加载好了的，当你拉到回答的尾部时，点击加载更多，回答才会再加载一部分，所以说如果直接发送一个问题的请求链接，取得的页面是不完整的。还有就是我们通过发送链接下载图片的时候，是一张一张来下的，如果图片数量太多的话，真的是下到你睡完觉它还在下，而且我们用nodejs写的爬虫，却竟然没有用到nodejs最牛逼...
之前，亦枫写过一篇关于使用 Jsoup 抓取网页内容的文章： 【Jsoup】HTML解析器，轻松获取网页内容 Jsoup提供的api非常便捷，完全的类似JQuery操作，轻松抓取网页数据。但像Jsoup这样普通的爬虫工具不足的地方就是无法处理js生成的内容。 做过Html开发的人都知道，现在很多网站都在大量使用ajax和JavaScript来获取并处理数据，普通的爬虫工具已经无法处理js中的内容。 举例说明，我们在本地新建一个测试网页文件text.html，...
现在是刚Python入门，也编写了一些简单的爬虫代码，如通过正则，多线程的爬虫，爬取贴吧里面的图片，爬取过代理网站的IP，还接触了scrapy方面的知识。想继续深入下去，还需要做哪些方面的工作，另外还需要看那些方面的书，以及一些开源项目，求各位知乎大神指点下。。。谢谢！！！回复内容： 我是来吐槽最高票的@Leaf Mohanson虽然学习的确应该追求本质，但是如果一个学习过程太过冗长又没有实质性进展，很容易让人失去继续学习下去...
这次把咸鱼遇到的 RSA 的案例做了汇总，这个汇总系列会持续更新，攒到一定数量的网站就发一次，关于 RSA 的加解密可以参考之前的文章，这里不做赘述。实战案例浅析JS加密 - 基础总结篇XX 门户aHR0cHM6Ly9sb2dpbi4xMDA4Ni5jbi9odG1sL2xvZ2luL3RvdWNoLmh0bWw=请求分析分析加密参数 password加密定位搜索参数 password通过全局搜索找到一系列有关的文件，向下翻可以看到有类似 encrypt 这里加密的字样，我们追进去看看。打上断点，重新...
抓包分析与加密定位 先来看看加密的内容密文【图1-1】 图1-1 看过前面文章的朋友就会说，这个和 Base64 的加密结果很像，有猜想就直接搞起呗。【图1-2】 图1-2 解密的结果是一串乱码，说明不是 Base64 ，继续找找有没有别的点可以分析。 我们可以看到这里所有的加密字符串都是 autourl 数组的一个元素，那我们搜索 autourl 试试。【图1-3】 图1-3 只有两个搜索结果，和现有的内容比较相像的是第二个结果，我们跟进去继续搜索【图1-...
建议收藏 | 最全的 JS 逆向入门教程合集目标网站aHR0cHM6Ly94aWFwaS54aWFwaWJ1eS5jb20vc2VhcmNoP2tleXdvcmQ9JUU3JTk0JUI3JUU3JUFCJUE1JUU0JUI4JThBJUU4JUExJUEz先来看看这个网站需要分析的加密是什么？这次的网站例子来自「咸鱼的Python交流群」，一个群友遇到之后发到群里的。【图1-1】图1-1在这个网站搜索商品的时候会出现请求头if-none-match，之前咸鱼的很多例子都没有写到如何分析请求头的加密参数应该如何分析，所以拿这个例...
先来讲讲为什么要用到 ReRes ?在爬虫开发的过程中，想要修改网站的 JS 来规避网站的无限 Debugger ，或者想给线上的 JS 加点调试的语句，我们就需要把远程的 JS 映射到本地的文件上，这样就可以通过修改本地的文件进行线上的调试。通常面对这样的需求，我们可以通过一些工具完成：Windows 下可以使用 Fiddler ，Mac 下可以使用 CharlesChrome 开发工具自带的 Override ReRes 和 Resource Override 插件Whistle - 跨平台 web 调试代...