我们直接用 Requests、Selenium 等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。 利用框架我们可以不用再去关心某些功能的具体实现，只需要去关心爬取逻辑即可。有了它们，可以大大简化代码量，而且架构也会变得清晰，爬取效率也会高许多。所以如...
全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。 你第一步找一个爬取种子，算作爬虫入口 https://www.zhihu.com/people/zhang-jia-wei/following 我们需要的信息如下，所有的框图都是我们需要的信息。获取用户关注名单 ...
今天要爬取一个网站叫做酷安，是一个应用商店，大家可以尝试从手机APP爬取，不过爬取APP的博客，我打算在50篇博客之后在写，所以现在就放一放啦~~~酷安网站打开首页之后是一个广告页面，点击头部的应用即可页面分析 分页地址找到，这样就可以构建全部页面信息我们想要保存的数据找到，用来后续的数据分析上述信息都是我们需要的信息，接下来，只需要爬取即可，本篇文章使用的还是scrapy，所有的代码都会在文章中出现，阅读全文之后...
闲暇写一个外包网站的爬虫，万一你从这个外包网站弄点外快呢 数据分析 官方网址为 https://www.clouderwork.com/进入全部项目列表页面，很容易分辨出来项目的分页方式 得到异步请求 Request URL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&sort=1&scope= Request Method:GET Status Code:200 OK 参数如下ts:1546395904852 # 时间戳keyword: ...
1.高考派大学数据----写在前面 写到终于了scrapy爬虫框架了，这个框架可以说是蟒爬虫框架里面出镜率最高的一个了，我们接下来重点研究一下它的使用规则。 安装过程自己百度一下，就能找到3种以上的安装手法，一个哪都可以安装上 可以参考https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html官方说明进行安装。 2.高考派大学数据----创建scrapy项目 通用使用下面的命令，创建即可scrapy startproject mySpider完成之后...
1. 36氪(36kr)数据----写在前面 今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。 网址 https://36kr.com/2. 36氪(36kr)数据----数据分析 36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步的数据，只需要打开开发者工具，就能快速的定位到想要的数据，我们尝试一下！捕...
1. B站博人传评论数据爬取简介 今天想了半天不知道抓啥，去B站看跳舞的小姐姐，忽然看到了评论，那就抓取一下B站的评论数据，视频动画那么多，也不知道抓取哪个，选了一个博人传跟火影相关的，抓取看看。网址： https://www.bilibili.com/bangumi/media/md5978/?from=search&seid=16013388136765436883#short 在这个网页看到了18560条短评，数据量也不大，抓取看看，使用的还是scrapy。2. B站博人传评论数据案例—获取链接 从开发者...
抓取信息内如下：1、资讯标题2、资讯链接3、资讯时间4、资讯来源 二、网站信息 三、数据抓取针对上面的网站信息，来进行抓取1、首先抓取信息列表抓取代码：sels = site.xpath(//div[@class="main_left fl"]/div[2]/ul/li)2、抓取标题抓取代码：title = str(sel.xpath(.//h2/a/text())[0].extract())3、抓取链接抓取代码：url = str(sel.xpath(.//a/@href)[0].extract())4、抓取日期抓取代码：strdates = s...
对于 BOSS 直聘这种网站，当程序请求网页后，服务器响应内容包含了整个页面的 HTML 源代码，这样就可以使用爬虫来爬取数据。但有些网站做了一些“反爬虫”处理，其网页内容不是静态的，而是使用 JavaScript 动态加载的，此时的爬虫程序也需要做相应的改进。 使用 shell 调试工具分析目标站点 本项目爬取的目标站点是 https://unsplash.com/，该网站包含了大量高清、优美的图片。本项目的目标是爬虫程序能自动识别并下载该网站上的所...
爬虫的本质就是“抓取”第二方网站中有价值的数据，因此，每个网站都会或多或少地采用一些反爬虫技术来防范爬虫。比如前面介绍的通过 User-Agent 请求头验证是否为浏览器、使用 JavaScript 动态加载资源等，这些都是常规的反爬虫手段。 下面针对更强的反爬虫技术提供一些解决方案。 IP 地址验证 有些网站会使用 IP 地址验证进行反爬虫处理，程序会检查客户端的 IP 地址，如果发现同一个 IP 地址的客户端频繁地请求数据， 该网站就会...
一、Scrapy框架入门 1.Scrapy框架介绍 Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰，榄块之间的榈合程度低，可扩展性极强，可以灵活完成各种需求。 Engine：引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。Item：项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象。Scheduler：调度器,接受引擎发过来的请求并将其加入队列中, 在引擎再次请求的时候将请求提供给引擎...
python3.7.1安装Scrapy爬虫框架 环境：win7(64位）， Python3.7.1（64位） 一、安装pyhthon 详见Python环境搭建：http://www.runoob.com/python/python-install.html 二、Scrapy安装介绍 1.运行CMD,输入python --version版本； 2.安装Scrapy：运行CMD，输入：pip install Scrapy 安装结果：安装scrapy报错，在Twisted安装部分*提示：如果安装过程中出现报错pip版本太低，即刻升级pip，代码如下 python -m pip install -...
总架构理解Middleware 通过scrapy官网最新的架构图来理解：这个图较之前的图顺序更加清晰，从图中我们可以看出，在spiders和ENGINE提及ENGINE和DOWNLOADER之间都可以设置中间件，两者是双向的，并且是可以设置多层. 关于Downloader Middleware我在http://www.cnblogs.com/zhaof/p/7198407.html 这篇博客中已经写了详细的使用介绍。 如何实现随机更换User-Agent 这里要做的是通过自己在Downlaoder Middleware中定义一个类来实现随...
因为现在很多网站为了限制爬虫，设置了为只有登录才能看更多的内容，不登录只能看到部分内容，这也是一种反爬虫的手段，所以这个文章通过模拟登录知乎来作为例子，演示如何通过scrapy登录知乎 在通过scrapy登录知乎之前，我们先通过requests模块登录知乎，来熟悉这个登录过程 不过在这之前需要了解的知识有： cookie和session关于cookie和session我之前整理了一篇博客供参考：http://www.cnblogs.com/zhaof/p/7211253.htmlrequests...
这篇文章中写了常用的下载中间件的用法和例子。Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spiders的时候，所以从这里我们可以知道下载中间件是介于Scrapy的request/response处理的钩子，用于修改Scrapy request和response。编写自己的下载器中间件 编写下载器中间件，需要定义以下一个或者多个方法的python类 为了演示这里的中间件的使用方法，这里创建一个项目作为学习，这...