一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途，从数据挖掘到监测和自动测试，Scrapy完全用Python实现，完全开源，代码托管在Github上，可运行在Linux，Windows，Mac和BSD平台上，基于Twisted的异步网络库来处理网络通讯，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。 二、Scrapy安装指南 我们的安...
本文对Python爬虫常用的模块做了较为深入的分析，并以实例加以深入说明。分享给大家供大家参考之用。具体分析如下： creepy模块 某台湾大神开发的，功能简单，能够自动抓取某个网站的所有内容，当然你也可以设定哪些url需要抓。 地址：https://pypi.python.org/pypi/creepy 功能接口： set_content_type_filter: 设定抓取的content-type（header中的contenttype）。包括text/html add_url_filter： 过滤url，传入的可以是正则表达式...
继续鼓捣爬虫，今天贴出一个代码，爬取点点网「美女」标签下的图片，原图。# -*- coding: utf-8 -*- #--------------------------------------- # 程序：点点美女图片爬虫 # 版本：0.2 # 作者：zippera # 日期：2013-07-26 # 语言：Python 2.7 # 说明：能设置下载的页数 #--------------------------------------- import urllib2 import urllib import repat = re.compile(\n.*?imgsrc="(ht.*?)\".*?) nexturl1 = "h...
写了一个抓taobao图片的爬虫，全是用if，for，while写的，比较简陋，入门作品。 从网页http://mm.taobao.com/json/request_top_list.htm?type=0&page=中提取taobao模特的照片。代码如下: # -*- coding: cp936 -*- import urllib2 import urllib mmurl="http://mm.taobao.com/json/request_top_list.htm?type=0&page=" i=0#第二页有个人的页面没图片,会出现IO错误 while i<15:url=mmurl+str(i)#print url #打印出列表的urlup=urllib...
在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧～！其实你很厉害的，右键查看页面源代码。我们可以通过python 来实现这样一个简单的爬虫功能，把我们想要的代码爬取到...
什么是爬虫 爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。 比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，分分钟爬下来不是事儿。 1.最基本的抓站impor...
安装部署Scrapy 在安装Scrapy前首先需要确定的是已经安装好了Python（目前Scrapy支持Python2.5，Python2.6和Python2.7）。官方文档中介绍了三种方法进行安装，我采用的是使用 easy_install 进行安装，首先是下载Windows版本的setuptools（下载地址：http://pypi.python.org/pypi/setuptools），下载完后一路NEXT就可以了。 安装完setuptool以后。执行CMD，然后运行一下命令：easy_install -U Scrapy 同样的你可以选择使用pip安装，...
1.安装BeautifulSoup4 easy_install安装方式,easy_install需要提前安装easy_install beautifulsoup4 pip安装方式,pip也需要提前安装.此外PyPi中还有一个名字是 BeautifulSoup 的包,那是 Beautiful Soup3 的发布版本.在这里不建议安装.pip install beautifulsoup4 Debain或ubuntu安装方式apt-get install Python-bs4 你也可以通过源码安装,下载BS4源码Python setup.py install2.小试牛刀# coding=utf-8 @通过BeautifulSoup下载百度...
网络爬虫（Web Crawler, Spider）就是一个在网络上乱爬的机器人。当然它通常并不是一个实体的机器人，因为网络本身也是虚拟的东西，所以这个“机器人”其实也就是一段程序，并且它也不是乱爬，而是有一定目的的，并且在爬行的时候会搜集一些信息。例如 Google 就有一大堆爬虫会在 Internet 上搜集网页内容以及它们之间的链接等信息；又比如一些别有用心的爬虫会在 Internet 上搜集诸如 foo@bar.com 或者 foo [at] bar [dot] com 之...
Beautiful Soup使用时，一般可以通过指定对应的name和attrs去搜索，特定的名字和属性，以找到所需要的部分的html代码。 但是，有时候，会遇到，对于要处理的内容中，其name或attr的值，有多种可能，尤其是符合某一规律，此时，就无法写成固定的值了。 所以，就可以借助正则表达式来解决此问题。 比如，crifan对应的BeautifulSoup代码如下：h1userSoup = soup.find(name="h1", attrs={"class":"h1user"}); 而如果html是这种：crifan...
抓取豆瓣电影TOP100 一、分析豆瓣top页面，构建程序结构 1.首先打开网页http://movie.douban.com/top250start，也就是top页面 然后试着点击到top100的页面，注意带top100的链接依次为http://movie.douban.com/top250?start=0 http://movie.douban.com/top250?start=25 http://movie.douban.com/top250?start=50 http://movie.douban.com/top250?start=75 2.然后通过查看源码，发现电影名的代码如下： 肖申克的救赎/ The Shawshank ...
本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理。 1.URLError 首先解释下URLError可能产生的原因： 网络无连接，即本机无法上网连接不到特定的服务器服务器不存在在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子，先感受下它的风骚import urllib2requset = urllib2.Request(http://www.xxxxx.com) try:urllib2.urlopen(requset) except urllib2.URLError, e:print e.reason 我们利用...
之前一篇文章我们学习了爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。 为什么要使用Cookie呢？ Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密） 比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他页面就达到目的了。 在此之前呢，我们必须先介绍一个op...
自上一篇文章 Z Story : Using Django with GAE Python 后台抓取多个网站的页面全文 后，大体的进度如下： 1.增加了Cron： 用来告诉程序每隔30分钟 让一个task 醒来， 跑到指定的那几个博客上去爬取最新的更新 2.用google 的 Datastore 来存贮每次爬虫爬下来的内容。。只存贮新的内容。。 就像上次说的那样，这样以来 性能有了大幅度的提高： 原来的每次请求后， 爬虫才被唤醒 所以要花大约17秒的时间才能从后台输出到前台而现在只...
面对大量杂乱的代码夹杂文字我们怎样把它提取出来整理呢？下面就开始介绍一个十分强大的工具，正则表达式！ 1.了解正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式的概念，Python同样不例外，利用了正则表达...