现在，ORM框架、Web框架和配置都已就绪，我们可以开始编写一个最简单的MVC，把它们全部启动起来。 通过Web框架的@decorator和ORM框架的Model支持，可以很容易地编写一个处理首页URL的函数：# urls.py from transwarp.web import get, view from models import User, Blog, Comment@view(test_users.html) @get(/) def test_users():users = User.find_all()return dict(users=users)@view指定的模板文件是test_users.html，所以我们...
Web框架把我们从WSGI中拯救出来了。现在，我们只需要不断地编写函数，带上URL，就可以继续Web App的开发了。 但是，Web App不仅仅是处理逻辑，展示给用户的页面也非常重要。在函数中返回一个包含HTML的字符串，简单的页面还可以，但是，想想新浪首页的6000多行的HTML，你确信能在Python的字符串中正确地写出来么？反正我是做不到。 俗话说得好，不懂前端的Python工程师不是好的产品经理。有Web开发经验的同学都明白，Web App最复杂...
有了Web框架和ORM框架，我们就可以开始装配App了。 通常，一个Web App在运行时都需要读取配置文件，比如数据库的用户名、口令等，在不同的环境中运行时，Web App可以通过读取不同的配置文件来获得正确的配置。 由于Python本身语法简单，完全可以直接用Python源代码来实现配置，而不需要再解析一个单独的.properties或者.yaml等配置文件。 默认的配置文件应该完全符合本地开发环境，这样，无需任何设置，就可以立刻启动服务器。 我们...
Socket是网络编程的一个抽象概念。通常我们用一个Socket表示“打开了一个网络链接”，而打开一个Socket需要知道目标计算机的IP地址和端口号，再指定协议类型即可。 客户端 大多数连接都是可靠的TCP连接。创建TCP连接时，主动发起连接的叫客户端，被动响应连接的叫服务器。 举个例子，当我们在浏览器中访问新浪时，我们自己的计算机就是客户端，浏览器会主动向新浪的服务器发起连接。如果一切顺利，新浪的服务器接受了我们的连接，一...
大家好哈，上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。 为什么要使用Cookie呢？ Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密） 比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他页面就达到目的了。 在此之前呢，我们必须先介...
用户管理是绝大部分Web网站都需要解决的问题。用户管理涉及到用户注册和登录。 用户注册相对简单，我们可以先通过API把用户注册这个功能实现了：_RE_MD5 = re.compile(r^[0-9a-f]{32}$)@api @post(/api/users) def register_user():i = ctx.request.input(name=, email=, password=)name = i.name.strip()email = i.email.strip().lower()password = i.passwordif not name:raise APIValueError(name)if not email or not _RE_EMAI...
在Django里，流式响应StreamingHttpResponse是个好东西,可以快速、节省内存地产生一个大型文件。 目前项目里用于流式响应的一个是Eventsource，用于改善跨系统通讯时用户产生的慢速的感觉。这个不细说了。 还有一个就是生成一个大的csv文件。 当Django进程处于gunicorn或者uwsgi等web容器中时，如果响应超过一定时间没有返回，就会被web容器终止掉，虽然我们可以通过加长web容器的超时时间来绕过这个问题，但是毕竟还是治标不治本。...
SMTP用于发送邮件，如果要收取邮件呢？ 收取邮件就是编写一个MUA作为客户端，从MDA把邮件获取到用户的电脑或者手机上。收取邮件最常用的协议是POP协议，目前版本号是3，俗称POP3。 Python内置一个poplib模块，实现了POP3协议，可以直接用来收邮件。 注意到POP3协议收取的不是一个已经可以阅读的邮件本身，而是邮件的原始文本，这和SMTP协议很像，SMTP发送的也是经过编码后的一大段文本。 要把POP3收取的文本变成可以阅读的邮件，还...
MySQL是Web世界中使用最广泛的数据库服务器。SQLite的特点是轻量级、可嵌入，但不能承受高并发访问，适合桌面和移动应用。而MySQL是为服务器端设计的数据库，能承受高并发访问，同时占用的内存也远远大于SQLite。 此外，MySQL内部有多种数据库引擎，最常用的引擎是支持数据库事务的InnoDB。 安装MySQL 可以直接从MySQL官方网站下载最新的Community Server 5.6.x版本。MySQL是跨平台的，选择对应的平台下载安装文件，安装即可。 安装...
1.分分钟扒一个网页下来 怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它 是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我 们就写个例子来扒一个网页下来。import urllib2response = urllib2.urlopen("http://www.baidu.com") ...
1.了解正则表达式正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式的概念，Python同样不例外，利用了正则表达式，我们想要从返回的页面内容提取出我们想要的内容就易如反掌了。正则表达式的大致匹配过程是：1.依次拿出表...
所用拓展模块xlrd:Python语言中，读取Excel的扩展工具。可以实现指定表单、指定单元格的读取。使用前须安装。下载地址：https://pypi.python.org/pypi/xlrd解压后cd到解压目录，执行 python setup.py install 即可datetime:Python内置用于操作日期时间的模块 拟实现功能模块读xls文件并录入数据库根据年、月、日三个参数获取当天的值班情况饼状图（当天完成值班任务人数/当天未完成值班任务人数）瀑布图（当天所有值班人员的值班情...
1、GET方式：# -*- coding: utf-8 -*- #!/usr/bin/python # filename: GETPOST_test.py # codedtime: 2014-9-20 19:07:04import bottledef check_login(username, password):if username == 123 and password == 234:return Trueelse:return False@bottle.route(/login) def login():if bottle.request.GET.get(do_submit,).strip(): #点击登录按钮# 第一种方式(latin1编码) ## username = bottle.request.GET.get(username,).s...
访问FTP，无非两件事情：upload和download，最近在项目中需要从ftp下载大量文件，然后我就试着去实验自己的ftp操作类，如下（PS：此段有问题，别复制使用，可以参考去试验自己的ftp类！）import os from ftplib import FTPclass FTPSync():def __init__(self, host, usr, psw, log_file):self.host = hostself.usr = usrself.psw = pswself.log_file = log_filedef __ConnectServer(self):try:self.ftp = FTP(self.host)self.ftp.l...
1. Beautiful Soup的简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除...