Python 标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 的使用细节。 Proxy 的设置Timeout 设置在 HTTP Request 中加入特定的 HeaderRedirectCookie使用 HTTP 的 PUT 和 DELETE 方法得到 HTTP 的返回码Debug LogProxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境...
XML.DOM 需求 有一个表，里面数据量比较大，每天一更新，其字段可以通过xml配置文件进行配置，即，可能每次建表的字段不一样。 上游跑时会根据配置从源文件中提取，到入库这一步需要根据配置进行建表。 解决 写了一个简单的xml，配置需要字段及类型 上游读取到对应的数据 入库这一步，先把原表删除，根据配置建新表 XML文件<?xml version="1.0" encoding="UTF-8"?>idquery varchar(200) false querypv integer false pvavg_money i...
对象 对象, 在C语言是如何实现的 Python中对象分为两类: 定长(int等), 非定长(list/dict等) 所有对象都有一些相同的东西, 源码中定义为PyObject和PyVarObject, 两个定义都有一个共同的头部定义PyObject_HEAD(其实PyVarObject有自己的头部定义PyObject_VAR_HEAD, 但其实际上用的也是PyObject_HEAD). 源码位置: Include/object.h PyObject_HEAD Python 内部, 每个对象拥有相同的头部. 定义/* PyObject_HEAD defines the initial segm...
python中time模块其实不难,就是关系转换有点老记不住,先看下图可以说明几个时间对象的的关系.供参考理解. 黑色细箭头表示输入值,参数深黄色的粗箭头表示返回值,输出格式绿色圆圈表示各类对象蓝色方框表示具体的方法 (先import time,在使用time模块中的方法)time.time():获取当前时间的时间戳 time.localtime():接受一个时间戳，并把它转化为一个当前时间的元组。不给参数的话就会默认将time.time()作为参数传入，localtime返回tupl...
在XML解析方面，Python贯彻了自己“开箱即用”（batteries included）的原则。在自带的标准库中，Python提供了大量可以用于处理XML语言的包和工具，数量之多，甚至让Python编程新手无从选择。 本文将介绍深入解读利用Python语言解析XML文件的几种方式，并以笔者推荐使用的ElementTree模块为例，演示具体使用方法和场景。文中所使用的Python版本为2.7。 一、什么是XML? XML是可扩展标记语言（Extensible Markup Language）的缩写，其...
过年回家，都会约上亲朋好友聚聚会，会上经常会打麻将，斗地主，斗牛。在这些游戏中，斗牛是最受欢迎的，因为可以很多人一起玩，而且没有技术含量，都是看运气（专业术语是概率）。 斗牛的玩法是： 1、把牌中的JQK都拿出来2、每个人发5张牌3、如果5张牌中任意三张加在一起是10的 倍数，就是有牛。剩下两张牌的和的10的余数就是牛数。牌的大小： 4条 > 3条 > 牛十 > 牛九 > …… > 牛一 >没有牛而这些牌出现的概率是有多少呢？ 由于...
有序列表list>>> listTest = [ha,test,yes] >>> listTest [ha, test, yes] len()获取list元素个数。>>> len(listTest) 3 可以用索引来访问每一个元素，0表示第一个，-1还可以表示最后一个，即倒数第一个，依此类推-2表示倒数第二个，超过了也会报越界错误。>>> listTest[0] ha >>> listTest[1] test >>> listTest[3] Traceback (most recent call last):File "", line 1, in IndexError: list index out of range >>> listTest[-1...
切片原型 strs = ‘abcdefg' Strs[start: end:step] 切片的三个参数分别表开始，结束，步长 第一位下标为0，end位不取，如strs[1:3] = ‘bc 如果start，end超出现有数组范围，按实际范围截断strs[-100:100]=abcdefg Step为空时，缺省值为1 Strs[1:5] = ‘bcde strs[1:5:2] = ‘bd Step为正时，start<end，否则为空 Strs[5:1] = ‘ Start为空，默认为负无穷 strs[:4] = ‘abcd End为空，默认为正无穷 strs[2:] = ‘cdefg Strs[:] = ...
传递参数 函数传递参数时的一些简要的关键点: 参数的传递是通过自动将对象赋值给本地变量名来实现的。所有的参数实际上都是通过指针进行传递的，作为参数被传递的对象从来不自动拷贝。在函数内部的参数名的赋值不会影响调用者。改变函数的可变对象参数的值会对调用者有影响。实际上，Python的参数传递模型和C语言的相当相似: 不可变参数”通过值”进行传递。像整数和字符串这样的对象是通过对象引用而不是拷贝进行的，但是因为不论...
绝大多数情况下，遍历一个集合都是为了对元素应用某个动作或是进行筛选。如果看过本文的第二部分，你应该还记得有内建函数map和filter提供了这些功能，但Python仍然为这些操作提供了语言级的支持。(x+1 for x in lst) #生成器表达式，返回迭代器。外部的括号可在用于参数时省略。 [x+1 for x in lst] #列表解析，返回list 如你所见，生成器表达式和列表解析（注：这里的翻译有很多种，比如列表展开、列表推导等等，指的是同一个意...
BeautifulSoup是Python的一个第三方库，可用于帮助解析html/XML等内容，以抓取特定的网页信息。目前最新的是v4版本，这里主要总结一下我使用的v3版本解析html的一些常用方法。 准备 1.Beautiful Soup安装 为了能够对页面中的内容进行解析，本文使用Beautiful Soup。当然，本文的例子需求较简单，完全可以使用分析字符串的方式。 执行sudo easy_install beautifulsoup4即可安装。 2.requests模块的安装 requests模块用于加载要请求的...
1，Json模块介绍 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C, C++, C#, Java, JavaScript, Perl, Python等）。这些特性使JSON成为理想的数据交换语言。 2，Json的格式 2.1,对象:...
迭代器:初探 上一章曾经提到过，其实for循环是可用于任何可迭代的对象上的。实际上，对Python中所有会从左至右扫描对象的迭代工具而言都是如此，这些迭代工具包括了for循环、列表解析、in成员关系测试以及map内置函数等。 “可迭代对象”的概念在Python中是相当新颖的，基本这就是序列观念的通用化:如果对象时实际保存的序列，或者可以再迭代工具环境中一次产生一个结果的对象,那就看做是可迭代的。 >>文件迭代器 作为内置数据类型...
mechanize是对urllib2的部分功能的替换，能够更好的模拟浏览器行为，在web访问控制方面做得更全面。结合beautifulsoup和re模块，可以有效的解析web页面，我比较喜欢这种方法。下面主要总结了使用mechanize模拟浏览器的行为和几个例子（谷歌搜索，百度搜索和人人网登录等） 1.初始化并建立一个浏览器对象如果没有mechanize需要easy_install安装，以下代码建立浏览器对象并作了一些初始化设置，实际使用过程可以按需开关。其实只用默...
在最初学习PYTHON的时候，只知道有DOM和SAX两种解析方法，但是其效率都不够理想，由于需要处理的文件数量太大，这两种方式耗时太高无法接受。 在网络搜索后发现，目前应用比较广泛，且效率相对较高的ElementTree也是一个比较多人推荐的算法，于是拿这个算法来实测对比，ElementTree也包括两种实现，一个是普通ElementTree（ET），一个是ElementTree.iterparse（ET_iter）。 本文将对DOM、SAX、ET、ET_iter四种方式进行横向对比，通...