BeautifulSoup是Python的一个第三方库，可用于帮助解析html/XML等内容，以抓取特定的网页信息。目前最新的是v4版本，这里主要总结一下我使用的v3版本解析html的一些常用方法。 准备 1.Beautiful Soup安装 为了能够对页面中的内容进行解析，本文使用Beautiful Soup。当然，本文的例子需求较简单，完全可以使用分析字符串的方式。 执行sudo easy_install beautifulsoup4即可安装。 2.requests模块的安装 requests模块用于加载要请求的...
1.简介 celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。 celery用于生产系统每天处理数以百万计的任务。 celery是用Python编写的，但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。 建议的消息代理RabbitMQ的，但提供有限支持Redis, Beanstalk, MongoDB, CouchDB, ，和数据库（使用SQLAlchemy的或Django的 ORM） 。 celery是易于集成Django, Pylons and ...
一、安装pip2pi工具:pip install pip2pi 或:git clone https://github.com/wolever/pip2pi cd pip2pi python setup.py install二、创建存放软件包的仓库:mkdir /opt/python/soft/pypi.jb51.net三、下载软件包并建立索引: 单独下载某个软件包pip2tgz /opt/python/soft/pypi.jb51.net/ routes==1.12.3 批量下载软件包：pip2tgz /opt/python/soft/pypi.jb51.net/ -r list/requirements.txt 建立索引:dir2pi /opt/python/soft/pypi.jb5...
Web抓取 Web站点使用HTML描述，这意味着每个web页面是一个结构化的文档。有时从中 获取数据同时保持它的结构是有用的。web站点不总是以容易处理的格式， 如 csv 或者 json 提供它们的数据。 这正是web抓取出场的时机。Web抓取是使用计算机程序将web页面数据进行收集 并整理成所需格式,同时保存其结构的实践。 lxml和Requests lxml（http://lxml.de/）是一个优美的扩展库，用来快速解析XML以及HTML文档 即使所处理的标签非常混乱。我...
一、安装 1、安装easy_install工具wget http://peak.telecommunity.com/dist/ez_setup.py python ez_setup.py 安装easy_install工具（这个脚本会自动去官网搜索下载并安装）python ez_setup.py -U setuptools升级easy_install工具 2、安装pexpecteasy_install Pexpect 测试一下:[root@OMS python]# python Python 2.7.3rc1 (default, Nov 7 2012, 15:03:45) [GCC 4.1.2 20080704 (Red Hat 4.1.2-48)] on linux2 Type "help", "copy...
慕课网的教程看完了，上面的习题也都能写出来，但是让我自己做个什么东西，还是毫无头绪，听说学习编程的唯一方法就是编程，那我现在编不出来，抄人家博客上的代码能不能学会点？ps：现在正在抄一个百度贴吧爬虫的代码。回复内容： 做了一桌子菜，但都是买现成的熟食，你所做的工作只是切切装到盘子里。每一个import模块都相当于一块熟牛肉，但真不能当成我们自己做的。先声明，我也是刚接触不久，以下仅是根据个人经验提出的看法学...
从来没学过编程，读教材读到一头雾水、不知所云，突然很有挫败感。我不靠 IT业谋生赚钱，也已错过专业培训的机会，但不想放弃曾经的理想，编程零基础应如何补救？谢谢！回复内容： 看了题主的描述我大致能够理解题主现在的状态了。记得我刚开始接触编程是在高考结束因为被「软件工程」专业录取所以在假期里自学Java。当时的状态和题主差不多，不知道为什么代码究竟是怎么执行的（记得当时还去百度知道上问程序语句的执行顺序=_=），...
回复内容： 不知道你的具体需求是什么，如果只是入门，我的经历或许对你有益。我刚好自学过，就在前些天。我用7天时间自学了Python，教材是：http://learnpythonthehardway.org/book/ 中文版：http://readthedocs.org/docs/learn-python-the-hard-way-zh_cn-translation/en/latest/index.html然后用6天时间自学了Django，教材是：http://www.djangobook.com/en/2.0/ 中文版：http://djangobook.py3k.cn/2.0/然后用14天时间开发出了...
我们之前看到了函数和对象。从本质上来说，它们都是为了更好的组织已经有的程序，以方便重复利用。 模块(module)也是为了同样的目的。在Python中，一个.py文件就构成一个模块。通过模块，你可以调用其它文件中的程序。 引入模块 我们先写一个first.py文件，内容如下：代码如下: def laugh():print HaHaHaHa再写一个second.py，并引入first中的程序：代码如下: import first for i in range(10):first.laugh()在second.py中，我们使...
本文以实例形式较为详尽的讲述了Python中optionParser模块的使用方法，对于深入学习Python有很好的借鉴价值。分享给大家供大家参考之用。具体分析如下： 一般来说，Python中有两个内建的模块用于处理命令行参数： 一个是 getopt，《Deep in python》一书中也有提到，只能简单处理 命令行参数； 另一个是 optparse，它功能强大，而且易于使用，可以方便地生成标准的、符合Unix/Posix 规范的命令行说明。 示例如下：from optparse im...
本文以实例形式讲述了python3编写C/S网络程序的实现方法。具体方法如下： 本文所述实例是根据wingIDE的提示编写的一个C/S小程序，具体代码如下： client端myclient.py代码如下：#!/bin/env python #-*- coding:gb18030 -*- # import socket import timei=1 while i<10:address=("127.0.0.1",3138)s=socket.socket(socket.AF_INET, socket.SOCK_STREAM)s.connect(address)buf=N:%d % is.send(buf.encode()) #注意，在python3.0中，...
在项目开发中，异常处理是不可或缺的。异常处理帮助人们debug，通过更加丰富的信息，让人们更容易找到bug的所在。异常处理还可以提高程序的容错性。 我们之前在讲循环对象的时候，曾提到一个StopIteration的异常，该异常是在循环对象穷尽所有元素时的报错。 我们以它为例，来说明基本的异常处理。 一个包含异常的程序:代码如下: re = iter(range(5)) for i in range(100):print re.next() print HaHaHaHa首先，我们定义了一个循环对...
本文以实例形式较为详细的讲解了Python的多线程，是Python程序设计中非常重要的知识点。分享给大家供大家参考之用。具体方法如下： 用过Python的人都会觉得Python的多线程很类似于Java的多线程机制，但是比JAVA的多线程更灵活。在早期的Python多线程实现中，采用了thread模块。例如: from time import ctime,sleep from thread import start_new_thread def loop1(): print "enter loop1:",ctime(); sleep(3); print "leave loo...
学习python少不了写爬虫，不仅能以点带面地学习、练习使用python，爬虫本身也是有用且有趣的，大量重复性的下载、统计工作完全可以写一个爬虫程序完成。 用python写爬虫需要python的基础知识、涉及网络的几个模块、正则表达式、文件操作等知识。昨天在网上学习了一下，写了一个爬虫自动下载「糗事百科」里面的图片。源代码如下：代码如下: # -*- coding: utf-8 -*- # 上面那句让代码里支持中文 #--------------------------------...
本文实例展示了Python Tkinter实现简单布局的方法，示例中备有较为详尽的注释，便于读者理解。分享给大家供大家参考之用。具体如下：# -*- coding: utf-8 -*- from Tkinter import *root = Tk() # 80x80代表了初始化时主窗口的大小，0，0代表了初始化时窗口所在的位置 root.geometry(80x80+10+10)# 填充方向 Label(root, text = l1, bg = red).pack(fill = Y) Label(root, text = l2, bg = green).pack(fill = BOTH) Label(root, ...