以前讲过利用phantomjs做爬虫抓网页 www.gxlcms.com/article/55789.htm 是配合选择器做的利用 beautifulSoup(文档 ：www.crummy.com/software/BeautifulSoup/bs4/doc/)这个python模块，可以很轻松的抓取网页内容# coding=utf-8 import urllib from bs4 import BeautifulSoupurl =http://www.baidu.com/s values ={wd:网球} encoded_param = urllib.urlencode(values) full_url = url +?+ encoded_param response = urllib.urlopen(...
除了C/C++以外，我也接触过不少流行的语言，PHP、java、javascript、python，其中python可以说是操作起来最方便，缺点最少的语言了。 前几天想写爬虫，后来跟朋友商量了一下，决定过几天再一起写。爬虫里重要的一部分是抓取页面中的链接，我在这里简单的实现一下。 首先我们需要用到一个开源的模块，requests。这不是python自带的模块，需要从网上下载、解压与安装：代码如下: $ curl -OL https://github.com/kennethreitz/request...
在这篇文章中，我们将分析一个网络爬虫。 网络爬虫是一个扫描网络内容并记录其有用信息的工具。它能打开一大堆网页，分析每个页面的内容以便寻找所有感兴趣的数据，并将这些数据存储在一个数据库中，然后对其他网页进行同样的操作。 如果爬虫正在分析的网页中有一些链接，那么爬虫将会根据这些链接分析更多的页面。 搜索引擎就是基于这样的原理实现的。 这篇文章中，我特别选了一个稳定的、”年轻”的开源项目pyspider，它是由 bin...
使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息# -*- coding: utf-8 -*- import sys reload(sys) import datetime import time sys.setdefaultencoding("utf-8")from ghost import Ghost ghost = Ghost(wait_timeout=20)url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5E3U41T0eFbk" page,resources = ghost.open(url) result, resources = ghost.wait_for_selector("#wxmore a")from bs4 import Beautiful...
本文实例讲述了基于Python实现的百度贴吧网络爬虫。分享给大家供大家参考。具体如下： 完整实例代码点击此处本站下载。 项目内容： 用Python写的百度贴吧的网络爬虫。 使用方法： 新建一个BugBaidu.py文件，然后将代码复制到里面后，双击运行。 程序功能： 将贴吧中楼主发布的内容打包txt存储到本地。 原理解释： 首先，先浏览一下某一条贴吧，点击只看楼主并点击第二页之后url发生了一点变化，变成了： http://tieba.baidu.com/p/...
本次爬取的贴吧是百度的美女吧，给广大男同胞们一些激励 在爬取之前需要在浏览器先登录百度贴吧的帐号，各位也可以在代码中使用post提交或者加入cookie 爬行地址：http://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn=0#-*- coding:utf-8 -*- import urllib2 import re import requests from lxml import etree这些是要导入的库，代码并没有使用正则，使用的是xpath，正则困难的童鞋可以尝试使用下推荐各位先使用基本库来...
一般来说，使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里，让它来执行. 另一种是直接从Thread继承，创建一个新的class，把线程执行的代码放到这个新的class里。 实现多线程网页爬虫，采用了多线程和锁机制，实现了广度优先算法的网页爬虫。 先给大家简单介绍下我的实现思路： 对于一个网络爬虫，如果要按广度遍历的方式下载，它是这样的：1.从给定的入口网址把第一个网页下载下来2.从第一个网页中...
本文主要介绍了数据处理方面的内容，希望大家仔细阅读。 一、数据分析得到了以下列字符串开头的文本数据，我们需要进行处理二、回滚 我们需要对httperror的数据进行再处理 因为代码的原因，具体可见本系列文章（二），会导致文本里面同一个id连续出现几次httperror记录：//httperror265001_266001.txt 265002 httperror 265002 httperror 265002 httperror 265002 httperror 265003 httperror 265003 httperror 265003 httperror 2...
接着第一篇继续学习。 一、数据分类 正确数据：id、性别、活动时间三者都有 放在这个文件里file1 = ruisi\\correct%s-%s.txt % (startNum, endNum) 数据格式为293001 男 2015-5-1 19:17 没有时间：有id、有性别，无活动时间放这个文件里file2 = ruisi\\errTime%s-%s.txt % (startNum, endNum) 数据格式为2566 女 notime 用户不存在：该id没有对应的用户放这个文件里file3 = ruisi\\notexist%s-%s.txt % (startNum, endNum) 数据格式...
一、项目需求 前言：BBS上每个id对应一个用户，他们注册时候会填写性别（男、女、保密三选一）。 经过检查，BBS注册用户的id对应1-300000，大概是30万的用户 笔者想用Python统计BBS上有多少注册用户，以及这些用户的性别分布 顺带可以统计最近活动用户是多少，其中男、女、保密各占多少 活动用户的限定为“上次活动时间”为 2015年 二、最终结果 性别信息保存在文本里，一行表示一个用户的信息，各列分别表示 【行数，id（涂掉了）...
在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧～！其实你很厉害的，右键查看页面源代码。我们可以通过python 来实现这样一个简单的爬虫功能，把我们想要的代码爬取到...
首先，我们来看一个Python抓取网页的库：urllib或urllib2。 那么urllib与urllib2有什么区别呢？ 可以把urllib2当作urllib的扩增，比较明显的优势是urllib2.urlopen()可以接受Request对象作为参数，从而可以控制HTTP Request的header部。 做HTTP Request时应当尽量使用urllib2库，但是urllib.urlretrieve()函数以及urllib.quote等一系列quote和unquote功能没有被加入urllib2中，因此有时也需要urllib的辅助。 urllib.open()这里传入...
安装Tornado 省事点可以直接用grequests库，下面用的是tornado的异步client。 异步用到了tornado，根据官方文档的例子修改得到一个简单的异步爬虫类。可以参考下最新的文档学习下。 pip install tornado 异步爬虫#!/usr/bin/env python # -*- coding:utf-8 -*-import time from datetime import timedelta from tornado import httpclient, gen, ioloop, queues import tracebackclass AsySpider(object):"""A simple class of as...
代码如下:#!/usr/bin/env python# -*- coding: utf-8 -*- from scrapy.contrib.spiders import CrawlSpider, Rulefrom scrapy.contrib.linkextractors.sgml import SgmlLinkExtractorfrom scrapy.selector import Selector from cnbeta.items import CnbetaItemclass CBSpider(CrawlSpider): name = cnbeta allowed_domains = [cnbeta.com] start_urls = [http://www.bitsCN.com]rules = ( Rule(SgmlLinkExtractor...
代码如下:#!/usr/bin/python3.2import os,socketimport urllibimport urllib.request,threading,timeimport re,sysglobal manhuaweb,weburl,floder,chapterbegin,currentthreadnum,threadcount,mutex,mutex2 weburl=floder=chapterbegin=0currentthreadnum=0threadcount=6 if len(sys.argv)>=3: weburl=sys.argv[1] floder=sys.argv[2]else: print("usag: downloadmanhua weburl floder chapterbegin=0 threadnnum=6") sy...