python web编程-web客户端编程
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python web编程-web客户端编程，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4567字，纯文字阅读大概需要7分钟。
内容图文
web应用也遵循客户服务器架构
浏览器就是一个基本的web客户端，她实现两个基本功能，一个是从web服务器下载文件，另一个是渲染文件
同浏览器具有类似功能以实现简单的web客户端的模块式urllib以及urllib2（可以打开需要登录的网页）等模块
另外还有一些负载的web客户端，它不仅下载web文件，还执行其它复杂的任务，一个典型的例子就是爬虫
python实现爬虫也有一些框架模块：如Scrapy
使用python创建一个简单web客户端
你要弄清楚浏览器只是web客户端的一种，而且功能有限，任何通过web的请求的应用程序都是web客户端
比如curl以及python的urllib
为什么是urllib呢而不是httplib呢？往下阅读
什么是URL？？？构成很重要
URL用来在Web 上定位一个文档，或者调用一个CGI 程序来为你的客户端产生一个文档。
CGI产生文档就是像一些web框架吧，特别是python的
web客户端其实也算是文件传输，最为直接方式就是直接使用url来定位和获得文件了，其实大部分客户端都是靠这个
所以应该首先了解一下url的构成
python的URL模块介绍：urllib及urlparse
Python 支持两种不同的模块，分别以不同的功能和兼容性来处理URL。一种是urlparse，一种
是urllib。
其中urlparse就是用来进行url解析与合成的。利用它你也可以学习url的构成哦，关于它的用法你可以help一下
urllib是一个高层次的模块，urllib 模块提供了所有你需要的功能，除非你计划写一个更加低层的网络客户端。urllib 提供
了了一个高级的Web 交流库，支持Web 协议，HTTP， FTP 和Gopher 协议，同时也支持对本地文件的
访问。urllib 模块的特殊功能是利用上述协议下载数据(从因特网、局域网、主机上下载)。使用这
个模块可以避免使用httplib， ftplib 和gopherlib 这些模块，除非你想用更低层的功能
urllib的主要功能就是从url来下载文件，想要了解这个模块的功能可以从下面几个函数入手
urlopen()
urllib.urlretrieve()
urllib.quote() and urllib.quote_plus()
urllib.unquote() 和 urllib.unquote_plus()
urllib.urlencode()
urllib2
如果你打算访问更加复杂的URL 或者想要处理更复杂的情况如基于数字的权限验证，重定位，
coockie 等问题，我们建议你使用urllib2 模块
这对于登陆来抓取数据是特别有用的
高级web客户端
浏览器实现的其实是一个简单的web客户端，基本的web客户端从服务器下载文件，urllib以及urllib2以及上面介绍的这些模块就是实现类似的功能
那么高级的web客户端就不只是下载那么简单
高级Web 客户端的一个例子就是网络爬虫（aka 蜘蛛和机器人）。这些程序可以基于不同目的在
因特网上探索和下载页面，其中包括：
- 为 Google 和Yahoo 这类大型的搜索引擎建索引
- 脱机浏览—将文档下载到本地，重新设定超链接，为本地浏览器创建镜像。（这个需求就是通常所说的下载整个在线的帮助文档）
- 下载并保存历史记录或框架
- Web 页的缓存，节省再次访问Web 站点的下载时间。
这里给出一个爬虫的实现
1
#
!/usr/bin/env python
2
3
from sys import argv
4from os import makedirs, unlink, sep
5from os.path import isdir, exists, dirname, splitext
6from string import replace, find, lower
7from htmllib import HTMLParser
8from urllib import urlretrieve
9from urlparse import urlparse, urljoin
10from formatter import DumbWriter, AbstractFormatter
11from cStringIO import StringIO
12 13class Retriever(object): # download Web pages 14 15def__init__(self, url):
16 self.url = url
17 self.file = self.filename(url)
18 19def filename(self, url, deffile=‘index.htm‘):
20 parsedurl = urlparse(url, ‘http:‘, 0) # parse path 21 path = parsedurl[1] + parsedurl[2]
22 ext = splitext(path)
23if ext[1] == ‘‘:
24if path[-1] == ‘/‘:
25 path += deffile
26else:
27 path += ‘/‘ + deffile
28 ldir = dirname(path) # local directory 29if sep != ‘/‘: # os-indep. path separator 30 ldir = replace(ldir, ‘,‘, sep)
31ifnot isdir(ldir): # create archive dir if nec. 32if exists(ldir): unlink(ldir)
33 makedirs(ldir)
34return path
35 36def download(self): # download Web page 37try:
38 retval = urllib.urlretrieve(self.url, self.file)
39except IOError:
40 retval = (‘*** ERROR: invalid URL "%s"‘ % 41 self.url, )
42return retval
43 44def parseAndGetLinks(self): # pars HTML, save links 45 self.parser = HTMLParser(AbstractFormatter( 46 DumbWriter(StringIO())))
47 self.parser.feed(open(self.file).read())
48 self.parser.close()
49return self.parse.anchorlist
50 51class Crawler(object): # manage entire crawling process 52 53 count = 0 # static downloaded page counter 54 55def__init__(self, url):
56 self.q = [url]
57 self.seen = []
58 self.dom = urlparse(url)[1]
59 60def getPage(self, url):
61 r = Retriever(url)
62 retval = r.download()
63if retval[0] == ‘*‘: # error situation, do not parse 64print retval, ‘... skipping parse‘ 65return 66 Crawler.count = Crawler.count + 1
67print‘\n(‘, Crawler.count, ‘)‘ 68print‘URL:‘, url
69print‘FILE:‘, retval[0]
70 self.seen.append(url)
71 72 links = r.parseAndGetLinks() # get and process links 73for eachLink in links:
74if eachLink[:4] != ‘http‘and 75 find(eachLink, ‘://‘) == -1:
76 eachLink = urljoin(url, eachLink)
77print‘* ‘, eachLink,
78 79if find(lower(eachLink), ‘mailto:‘) != -1:
80print‘... discarded, mailto link‘ 81continue 82 83if eachLink notin self.seen:
84if find(eachLink, self.dom) == -1:
85print‘... discarded, not in domain‘ 86else:
87if eachLink notin self.q:
88 self.q.append(eachLink)
89print‘... new, added to Q‘ 90else:
91print‘... discarded, already in Q‘ 92else:
93print‘... discarded, already processed‘ 94 95def go(self): # process links in queue 96while self.q:
97 url = self.q.pop()
98 self.getPage(url)
99100def main():
101if len(argv) > 1:
102 url = argv[1]
103else:
104try:
105 url = raw_input(‘Enter starting URL: ‘)
106except (KeyboardInterrupt, EOFError):
107 url = ‘‘108109ifnot url: return110 robot = Crawler(url)
111 robot.go()
112113if__name__ == ‘__main__‘:
114 main()
实际上这里也有一些爬虫的库，不多介绍
原文：http://www.cnblogs.com/wybert/p/4077230.html
内容总结
以上是互联网集市为您收集整理的python web编程-web客户端编程全部内容，希望文章能够帮你解决python web编程-web客户端编程所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。
来源：【匿名】