最近在学Python，同时也在学如何使用python抓取数据，于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy，下面一起学习下Scrapy的架构，便于更好的使用这个工具。一、概述下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。二、组件1、Scrapy Engine（Scrapy引擎）Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的...
之前用 Django 做过一个小的站点，感觉Django太过笨重，于是就准备换一个比较轻量级的 Web 框架来玩玩。Web.py 作者已经挂掉，项目好久没有更新，所以不准备用它。而 Flask 也是一个成熟的轻量级 Web 框架，在 github 上有众多的 Star 和 Fork，文档和扩展也很丰富，值得学习。学习一个框架最好的方式就是用框架做一个项目，在实战中理解掌握框架。这里我用 Flask 框架，使用 Mysql 数据库做了一个 论坛系统 。麻雀虽小，五脏俱全，...
背景最近公司在做消息推送，那么自然就会产生很多接口，测试的过程中需要调用接口，我就突然觉得是不是可以自己写一个测试框架？说干就干，由于现有的接口测试工具Jmeter、SoupUI等学习周期有点长，干脆自己写一个吧，不求人，所有功能自己都能一清二楚。当然，写工具造轮子只是学习的一种方式，现成成熟的工具肯定比我们自己的写的好用。开发环境-------------------------------------------------------------操作系统：Mac OS ...
Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。本文介绍了使用Python的Scrapy框架十分钟爬取美女图,需要的朋友可以参考下简介scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫，官方给出的一个简单例子足以证明其强大：快速开发下面开始...
铺垫在大量的实践中，似乎我们总是通过类似的方式来使用异步编程：监听事件事件发生执行对应的回调函数回调完成（可能产生新的事件添加进监听队列）回到1，监听事件因此我们将这样的异步模式称为Reactor模式，例如在iOS开发中的Run Loop概念，实际上非常类似于Reactor loop，主线程的Run Loop监听屏幕UI事件，一旦发生UI事件则执行对应的事件处理代码，还可以通过GCD等方式产生事件至主线程执行。上图是boost对Reactor模式的描绘，...
首先抛出我们在讨论使用回调编程时的一些观点：激活errback是非常重要的。由于errback的功能与except块相同，因此用户需要确保它们的存在。他们并不是可选项，而是必选项。不在错误的时间点激活回调与在正确的时间点激活回调同等重要。典型的用法是，callback与errback是互斥的即只能运行其中一个。使用回调函数的代码重构起来有些困难。DeferredTwisted使用Deferred对象来管理回调函数的序列。有些情况下可能要把一系列的函数关联...
第一个twisted支持的诗歌服务器尽管Twisted大多数情况下用来写服务器代码，但为了一开始尽量从简单处着手，我们首先从简单的客户端讲起。让我们来试试使用Twisted的客户端。源码在twisted-client-1/get-poetry.py。首先像前面一样要开启三个服务器：python blocking-server/slowpoetry.py --port 10000 poetry/ecstasy.txt --num-bytes 30 python blocking-server/slowpoetry.py --port 10001 poetry/fascination.txt python block...
由于文件夹可能有多层目录，因此需要对其进行递归遍历。本文采取了简单的协议定制，定义了五条命令，指令Head如下：Sync：标识开始同步文件夹End：标识结束同步File：标识传输的文件名（相对路径）Folder：标志文件夹（相对路径）None：文件内容每条命令以CMB_BEGIN开始，以CMB_END结束。客户端需要对接收缓冲做解析，取出一条一条的指令，然后根据指令的Head做相应的处理，比如创建文件夹、写入文件等。下面是服务端的代码：from ...
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy = Scrach+Python，Scrach这个单词是抓取的意思，暂且可以叫它：小抓抓吧。小抓抓的官网地址：点我点我。那么下面来简单的演示一下小抓抓Scrapy的安装流程。具体流程参照：官网教程友情提醒：一定...
我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline）：设计管道存储爬取内容好的，基本流程既然确定了，那接下来就一步一步的完成就可以了。1.新建项目（Project）在空目录下按住Shift键右击，选择“...
网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：...
之前写了一篇flask开发环境搭建，今天继续，进行一个实战小项目-blog系统。 blog系统很简单，只有一个页面，然后麻雀虽小五脏俱全。这里目的不是为了做项目而做项目，这篇文章本意是通过这次练习传达以下几个知识点： 1、从全局上了解flask项目的目录结构 2、flask项目的运行机制 3、flask框架实现MVC架构 4、flask-sqlalchemy 操作mysql数据库 一、新建项目：blog系统 在pycharm中，新建flask项目，如下图：完成后的目录结构是这样...
Flask简介Flask是一个相对于Django而言轻量级的Web框架。和Django大包大揽不同，Flask建立于一系列的开源软件包之上，这其中 最主要的是WSGI应用开发库Werkzeug和模板引擎Jinja：策略 ：werkzeug和Jinja这两个库和Flask一样，都是pocoo团队开发的。这 或许体现了pocoo与Django竞争时关于生态的一种策略，这种策略的自然 延伸是Flask框架中没有包含数据库方面的构件，无论ORM还是其他。关注点 ：Flask是一个WSGI应用框架，这意味着我...
所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。不过由于一个网站的网页很多，而我们又不可能事先知道所有网页的URL地址，所以，如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。一般的方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再...
Python是一门动态、面向对象语言。其最初就是作为一门面向对象语言设计的，并且在后期又加入了一些更高级的特性。除了语言本身的设计目的之外，Python标准库也是值得大家称赞的，Python甚至还自带服务器。其它方面，Python拥有足够多的免费数据函数库、免费的Web网页模板系统、还有与Web服务器进行交互的库、这些都可以设计到你的Web应用程序里面。 在这篇文章里，我们将为Python Web开发者回顾基于Python的6大Web应用框架。无论...