前一段时间一直在研究如何用python抓取搜索引擎结果，在实现的过程中遇到了很多的问题，我把我遇到的问题都记录下来，希望以后遇到同样问题的童鞋不要再走弯路。1. 搜索引擎的选取 选择一个好的搜索引擎意味着你能够得到更准确的搜索结果。我用过的搜索引擎有四种：Google、Bing、Baidu、Yahoo!。 作为程序员，我首选Google。但当我看见我最爱的Google返回给我的全是一堆的js代码，根本没我想要的搜索结果。于是我转而投向了Bin...
一、Cookie原理 HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制 Cookie是http消息头中的一种属性，包括： Cookie名字（Name）Cookie的值（Value）Cookie的过期时间（Expires/Max-Age）Cookie作用路径（Path）Cookie所在域名（Domain），使用Cookie进行安全连接（Secure）前两个参数是Cookie应用的必要条件，另外，还包括Cookie大小（Size，不同浏览器对Cookie个数及大小限制是有差异的）。 二、模拟登陆 这次主...
下面是用python写的，使用lxml来做html分析，从网上看到的，说是分析速度最快的哦，不过没有验证过。好了，上代码。 代码如下: import urllib import urllib2 import urlparse import lxml.html def url_with_query(url, values): parts = urlparse.urlparse(url) rest, (query, frag) = parts[:-2], parts[-2:] return urlparse.urlunparse(rest + (urllib.urlencode(values), None)) def make_open_http(): opener = urllib2.bu...
没有使用队列，也没有线程池还在学习只是多线程 代码如下: #coding:utf8 import urllib2,sys,re import threading,os import time,datetime 这里没有使用队列 只是采用多线程分发对代理量不大的网页还行但是几百几千性能就很差了 def get_proxy_page(url): 解析代理页面 获取所有代理地址 proxy_list = [] p = re.compile(r(.+?).*?(.+?).+?(.+?)(<span.+?)?) try: res = urllib2.urlopen(url) except urllib2.URLError: print ...
1、首先找到一个在线成语网站 2、查看网页结构，定义正则式看一下要抓的成语的标签有什么特点，查看源码，可以发现要抓的成语都在标签中，如:安如磐石，成语事实上就是一个瞄文本，不同成语指向的链接不同，其实也就"/cy0/93.html"中的数字不同，所以正则式里匹配两次数字就行了，定义正则式 reg = "(.*?)"。3、上代码吧代码如下:#anthor jiqunpeng#time 20121124import urllibimport re def getHtml(url): #从URL中读取html内容...
代码如下:#-*- coding: UTF-8 -*-Created on 2013-12-5 @author: good-temper import urllib2import bs4import time def getPage(urlStr): 获取页面内容 content = urllib2.urlopen(urlStr).read() return content def getNextPageUrl(currPageNum): #http://list.jd.com/9987-653-655-0-0-0-0-0-0-0-1-1-页码-1-1-72-4137-33.html url = uhttp://list.jd.com/9987-653-655-0-0-0-0-0-0-0-1-1...
一、功能说明：1. 多线程方式抓取代理服务器，并多线程验证代理服务器ps 代理服务器是从http://www.cnproxy.com/ （测试只选择了8个页面）抓取2. 抓取一个网站的图片地址，多线程随机取一个代理服务器下载图片二、实现代码 代码如下:#!/usr/bin/env python#coding:utf-8 import urllib2import reimport threadingimport timeimport random rawProxyList = []checkedProxyList = []imgurl_list = [] #抓取代理网站portdicts ={v:"3"...
代码如下:#coding:utf8import reimport urllibdef getHTML(url): page = urllib.urlopen(url) html = page.read() return html def getImg(html,imgType): reg = rsrc="(.*?\.++imgType+!slider)" imgre = re.compile(reg) imgList = re.findall(imgre, html) x=0 for imgurl in imgList: print imgurl urllib.urlretrieve(imgurl, %s.%s % (x, imgType)) x =x+1 html= getHTML("ht...
python抓取网站图片并放到指定文件夹代码如下:# -*- coding=utf-8 -*-import urllib2import urllibimport socketimport osimport redef Docment(): print u把文件存在E:\Python\图（请输入数字或字母） h=raw_input() path=uE:\Python\图+str(h) if not os.path.exists(path): os.makedirs(path) return pathdef getallurl(html): reg=r"a href=(.*?\.htm)" allurl= re.compile(reg) allList = re....
问题提出：有时候我们采集网页，处理完毕后将字符串保存到文件或者写入数据库，这时候需要制定字符串的编码，如果采集网页的编码是gb2312，而我们的数据库是utf-8的，这样不做任何处理直接插入数据库可能会乱码(没测试过，不知道数据库会不会自动转码)，我们需要手动将gb2312转换成utf-8。 首先我们知道，python里的字符默认是ascii码，英文当然没问题啦，碰到中文的时候立马给跪。 不知道你还记不记得，python里打印中文汉字的时候...
如果你还在为python的各种urllib和urlibs，cookielib 头疼，或者还还在为python模拟登录和抓取数据而抓狂，那么来看看我们推荐的requests，python采集数据模拟登录必备利器！ 这也是python推荐的HTTP客户端库： 本文就以一个模拟登录的例子来加以说明，至于采集大家就请自行发挥吧。 代码很简单，主要是展现python的requests库的简单至极，代码如下：s = requests.session() data = {user:用户名,passdw:密码} #post 换成登录的地址...
本文实例讲述了Python实现从Web的一个URL中抓取文档的方法，分享给大家供大家参考。具体方法分析如下： 实例代码如下：import urllib doc = urllib.urlopen("http://www.python.org").read() print doc#直接打印出网页 def reporthook(*a): print a #将http://www.renren.com网页保存到renre.html中， #每读取一个块调用一字reporthook函数 urllib.urlretrieve("http://www.renren.com",renren.html,reporthook) #将http://ww...
写了一个抓taobao图片的爬虫，全是用if，for，while写的，比较简陋，入门作品。 从网页http://mm.taobao.com/json/request_top_list.htm?type=0&page=中提取taobao模特的照片。代码如下: # -*- coding: cp936 -*- import urllib2 import urllib mmurl="http://mm.taobao.com/json/request_top_list.htm?type=0&page=" i=0#第二页有个人的页面没图片,会出现IO错误 while i<15:url=mmurl+str(i)#print url #打印出列表的urlup=urllib...
除了C/C++以外，我也接触过不少流行的语言，PHP、java、javascript、python，其中python可以说是操作起来最方便，缺点最少的语言了。 前几天想写爬虫，后来跟朋友商量了一下，决定过几天再一起写。爬虫里重要的一部分是抓取页面中的链接，我在这里简单的实现一下。 首先我们需要用到一个开源的模块，requests。这不是python自带的模块，需要从网上下载、解压与安装：代码如下: $ curl -OL https://github.com/kennethreitz/request...
比如，你想采集标题中包含“58同城”的SERP结果，并过滤包含有“北京”或“厦门”等结果数据。 该Python脚本主要是实现以上功能。 其中，使用BeautifulSoup来解析HTML，可以参考我的另外一篇文章：Windows8下安装BeautifulSoup 代码如下：代码如下: __author__ = 曾是土木人 # -*- coding: utf-8 -*- #采集SERP搜索结果标题 import urllib2 from bs4 import BeautifulSoup import time #写文件 def WriteFile(fileName,content):tr...