代码如下: # -*- coding: utf8 -*- #! python print(repr("测试报警，xxxx是大猪头".decode("UTF8").encode("GBK")).replace("\\x","%")) 注意第一个 decode("UTF8") 要与文件声明的编码一样。 最开始对这个问题的接触，来自于一个Javascript解谜闯关的小游戏，某一关的提示如下： 刚开始的几关都是很简单很简单的哦～～这一关只是简单的字符串变形而已….. 后面是一大长串开头是%5Cu4e0b%5Cu4e00%5Cu5173%5Cu7684这样的字符串。...
Gravatar注册地址: https://en.gravatar.com/代码如下:"""`Gravatar <https://en.gravatar.com/site/implement/>`_""" # import code for encoding urls and generating md5 hashesimport urllib2, hashlib # Make response slow if verify whether default avatar or not.# So let js do it, see `/static/js/article.js`.def gravatar_url(email, size=40, verify_default=False): """Construct the gravatar url.""" grav...
Proxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境变量的影响，可以使用下面的方式代码如下:import urllib2 enable_proxy = Trueproxy_handler = urllib2.ProxyHandler({"http" : http://some-proxy.com:8080})null_proxy_handler = urllib2.ProxyHandler({}) if enable_proxy: opener = urllib2.build_opener(proxy_handler)else: opener = urllib2.build_o...
代码如下:#-*- coding: UTF-8 -*-Created on 2013-12-5 @author: good-temper import urllib2import bs4import time def getPage(urlStr): 获取页面内容 content = urllib2.urlopen(urlStr).read() return content def getNextPageUrl(currPageNum): #http://list.jd.com/9987-653-655-0-0-0-0-0-0-0-1-1-页码-1-1-72-4137-33.html url = uhttp://list.jd.com/9987-653-655-0-0-0-0-0-0-0-1-1...
代码如下:#!/usr/bin/env python3# -*- coding: utf-8 -*-# File Name : gt1.py# Purpose :# Creation Date : 1390366260# Last Modified : Wed 22 Jan 2014 06:14:11 PM CST# Release By : Doom.zhou import urllib.requestimport sys typ = sys.getfilesystemencoding() def translate(querystr, to_l="zh", from_l="en"): for google tranlate by doom C_agent = {User-Agent: "Mozilla/5.0 (X11; Linux x86_64) Appl...
urllib基础模块的应用，通过该类获取到url中的html文档信息，内部可以重写代理的获取方法代码如下:class ProxyScrapy(object): def __init__(self): self.proxy_robot = ProxyRobot() self.current_proxy = None self.cookie = cookielib.CookieJar() def __builder_proxy_cookie_opener(self): cookie_handler = urllib2.HTTPCookieProcessor(self.cookie) handlers = ...
代码如下: def report_hook(count, block_size, total_size):... print %02d%%%(100.0 * count * block_size/ total_size)... urllib.urlretrieve("http://sports.sina.com.cn/", reporthook= report_hook)00%01%03%...
通过urllib2、re模块抓种子 思路 1.用程序登录论坛(如果需要登录才能访问的版块) 2.访问指定版块 3.遍历帖子（先取指定页，再遍历页面所有帖子的url） 4.循环访问所有帖子url，从帖子页面代码中取种子下载地址（通过正则表达式或第三方页面解析库） 5.访问种子页面下载种子代码如下:import urllibimport urllib2import cookielibimport reimport sysimport os # site is website address | fid is part idsite = "http://xxx.yyy.z...
urllib2.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能，必须使用build_opener()函数创建自定义Opener对象。代码如下:build_opener([handler1 [ handler2, ... ]]) 参数handler是Handler实例，常用的有HTTPBasicAuthHandler、HTTPCookieProcessor、ProxyHandler等。 build_opener ()返回的对象具有open()方法，与urlopen()函数的功能相同。 如果要修改http报头，可以用：代码如下:import urllib2opener = ...
对python网页请求模块urllib2进行简单的封装。 例子：代码如下:#!/usr/bin/python#coding: utf-8import base64import urllibimport urllib2import time class SendRequest: This class use to set and request the http, and get the info of response. e.g. set Authorization Type, request tyep.. e.g. get html content, state code, cookie.. SendRequest(http://10.75.0.103:8850/2/photos/square/type.json, ...
不过，status中包含了一个mid字段，通过mid，我们实际上是可以通过计算得到url的。 在开始计算之前有必要说明一下，什么是base62编码。它实际上就是十进制和62位进制的互换。对于62进制，从0数到9以后，10用小写字母a表示，接着数完26个字母，到z为35，然后36为大写字母A，一直到61为大写字母Z。所以，我们可以实现十进制数字base62编码的encode和decode。下面的代码实际上来自stackoverflow：代码如下:ALPHABET = "0123456789abcd...
在Linux上有个常用的命令 curl（非常好用），支持curl的就是大名鼎鼎的libcurl库；libcurl是功能强大的，而且是非常高效的函数库。libcurl除了提供本身的C API之外，还有多达40种编程语言的Binding，这里介绍的PycURL就是libcurl的Python binding。在Python中对网页进行GET/POST等请求，当需要考虑高性能的时候，libcurl是非常不错的选择，一般来说会比liburl、liburl2快不少，可能也会比Requests的效率更高。特别是使用PycURL的多...
URL提交是百度提供的一个站长工具，用于给站长提供手工收录某些URL的接口，但是该接口有验证码识别部分，比较难弄。所以编写了如下程序进行验证码自动识别：主要思路获取多个验证码，提交到 http://lab.ocrking.com/ 进行多次识别，然后计算每个验证码图片识别出来的 字母或数字 进行统计，得出统计率最高的 即为验证码。代码如下: #!/usr/bin/env python # -*- coding: utf-8 -*- import requests import time import json import...
好了，废话少说，我们先看看几个示例吧 一、打开一个网页获取所有的内容代码如下:from urllib import urlopendoc = urlopen("http://www.baidu.com").read()print doc 二、获取Http头代码如下:from urllib import urlopendoc = urlopen("http://www.baidu.com")print doc.info()print doc.info().getheader(Content-Type) 三、使用代理 1. 查看环境变量代码如下:print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()...
说明：python的urllib2获取网页(urlopen)会自动重定向（301,302）。但是，有时候我们需要获取302,301页面的状态信息。就必须获取到转向前的调试信息。 下面代码将可以做到避免302重定向到新的网页#!/usr/bin/python # -*- coding: utf-8 -*- #encoding=utf-8 #Filename:states_code.pyimport urllib2class RedirctHandler(urllib2.HTTPRedirectHandler):"""docstring for RedirctHandler"""def http_error_301(self, req, fp, code...