首页 / PYTHON / Python下的twisted框架入门指引

Python下的twisted框架入门指引

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python下的twisted框架入门指引，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9442字，纯文字阅读大概需要14分钟。

内容图文

什么是twisted？

twisted是一个用python语言写的事件驱动的网络框架，他支持很多种协议，包括UDP,TCP,TLS和其他应用层协议，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。非常好的一点是twisted实现和很多应用层的协议，开发人员可以直接只用这些协议的实现。其实要修改Twisted的SSH服务器端实现非常简单。很多时候，开发人员需要实现protocol类。

一个Twisted程序由reactor发起的主循环和一些回调函数组成。当事件发生了，比如一个client连接到了server，这时候服务器端的事件会被触发执行。
用Twisted写一个简单的TCP服务器

下面的代码是一个TCPServer，这个server记录客户端发来的数据信息。

==== code1.py ====
import sys
from twisted.internet.protocol import ServerFactory
from twisted.protocols.basic import LineReceiver
from twisted.python import log
from twisted.internet import reactor

class CmdProtocol(LineReceiver):

  delimiter = ‘\n‘

  def connectionMade(self):
    self.client_ip = self.transport.getPeer()[1]
    log.msg("Client connection from %s" % self.client_ip)
    if len(self.factory.clients) >= self.factory.clients_max:
      log.msg("Too many connections. bye !")
      self.client_ip = None
      self.transport.loseConnection()
    else:
      self.factory.clients.append(self.client_ip)

  def connectionLost(self, reason):
    log.msg(‘Lost client connection. Reason: %s‘ % reason)
    if self.client_ip:
      self.factory.clients.remove(self.client_ip)

  def lineReceived(self, line):
    log.msg(‘Cmd received from %s : %s‘ % (self.client_ip, line))

class MyFactory(ServerFactory):

  protocol = CmdProtocol

  def __init__(self, clients_max=10):
    self.clients_max = clients_max
    self.clients = []

log.startLogging(sys.stdout)
reactor.listenTCP(9999, MyFactory(2))
reactor.run()

下面的代码至关重要：

from twisted.internet import reactor
reactor.run()

这两行代码会启动reator的主循环。

在上面的代码中我们创建了"ServerFactory"类，这个工厂类负责返回“CmdProtocol”的实例。每一个连接都由实例化的“CmdProtocol”实例来做处理。 Twisted的reactor会在TCP连接上后自动创建CmdProtocol的实例。如你所见，protocol类的方法都对应着一种事件处理。

当client连上server之后会触发“connectionMade"方法，在这个方法中你可以做一些鉴权之类的操作，也可以限制客户端的连接总数。每一个protocol的实例都有一个工厂的引用，使用self.factory可以访问所在的工厂实例。

上面实现的”CmdProtocol“是twisted.protocols.basic.LineReceiver的子类，LineReceiver类会将客户端发送的数据按照换行符分隔，每到一个换行符都会触发lineReceived方法。稍后我们可以增强LineReceived来解析命令。

Twisted实现了自己的日志系统，这里我们配置将日志输出到stdout

当执行reactor.listenTCP时我们将工厂绑定到了9999端口开始监听。

user@lab:~/TMP$ python code1.py
2011-08-29 13:32:32+0200 [-] Log opened.
2011-08-29 13:32:32+0200 [-] __main__.MyFactory starting on 9999
2011-08-29 13:32:32+0200 [-] Starting factory <__main__.MyFactory instance at 0x227e320
2011-08-29 13:32:35+0200 [__main__.MyFactory] Client connection from 127.0.0.1
2011-08-29 13:32:38+0200 [CmdProtocol,0,127.0.0.1] Cmd received from 127.0.0.1 : hello server

使用Twisted来调用外部进程

下面我们给前面的server添加一个命令，通过这个命令可以读取/var/log/syslog的内容

import sys
import os

from twisted.internet.protocol import ServerFactory, ProcessProtocol
from twisted.protocols.basic import LineReceiver
from twisted.python import log
from twisted.internet import reactor

class TailProtocol(ProcessProtocol):
  def __init__(self, write_callback):
    self.write = write_callback

  def outReceived(self, data):
    self.write("Begin lastlog\n")
    data = [line for line in data.split(‘\n‘) if not line.startswith(‘==‘)]
    for d in data:
      self.write(d + ‘\n‘)
    self.write("End lastlog\n")

  def processEnded(self, reason):
    if reason.value.exitCode != 0:
      log.msg(reason)

class CmdProtocol(LineReceiver):

  delimiter = ‘\n‘

  def processCmd(self, line):
    if line.startswith(‘lastlog‘):
      tailProtocol = TailProtocol(self.transport.write)
      reactor.spawnProcess(tailProtocol, ‘/usr/bin/tail‘, args=[‘/usr/bin/tail‘, ‘-10‘, ‘/var/log/syslog‘])
    elif line.startswith(‘exit‘):
      self.transport.loseConnection()
    else:
      self.transport.write(‘Command not found.\n‘)

  def connectionMade(self):
    self.client_ip = self.transport.getPeer()[1]
    log.msg("Client connection from %s" % self.client_ip)
    if len(self.factory.clients) >= self.factory.clients_max:
      log.msg("Too many connections. bye !")
      self.client_ip = None
      self.transport.loseConnection()
    else:
      self.factory.clients.append(self.client_ip)

  def connectionLost(self, reason):
    log.msg(‘Lost client connection. Reason: %s‘ % reason)
    if self.client_ip:
      self.factory.clients.remove(self.client_ip)

  def lineReceived(self, line):
    log.msg(‘Cmd received from %s : %s‘ % (self.client_ip, line))
    self.processCmd(line)

class MyFactory(ServerFactory):

  protocol = CmdProtocol

  def __init__(self, clients_max=10):
    self.clients_max = clients_max
    self.clients = []

log.startLogging(sys.stdout)
reactor.listenTCP(9999, MyFactory(2))
reactor.run()

在上面的代码中，没从客户端接收到一行内容后会执行processCmd方法，如果收到的一行内容是exit命令，那么服务器端会断开连接，如果收到的是lastlog，我们要吐出一个子进程来执行tail命令，并将tail命令的输出重定向到客户端。这里我们需要实现ProcessProtocol类，需要重写该类的processEnded方法和outReceived方法。在tail命令有输出时会执行outReceived方法，当进程退出时会执行processEnded方法。

如下是执行结果样例：

user@lab:~/TMP$ python code2.py
2011-08-29 15:13:38+0200 [-] Log opened.
2011-08-29 15:13:38+0200 [-] __main__.MyFactory starting on 9999
2011-08-29 15:13:38+0200 [-] Starting factory <__main__.MyFactory instance at 0x1a5a3f8>
2011-08-29 15:13:47+0200 [__main__.MyFactory] Client connection from 127.0.0.1
2011-08-29 15:13:58+0200 [CmdProtocol,0,127.0.0.1] Cmd received from 127.0.0.1 : test
2011-08-29 15:14:02+0200 [CmdProtocol,0,127.0.0.1] Cmd received from 127.0.0.1 : lastlog
2011-08-29 15:14:05+0200 [CmdProtocol,0,127.0.0.1] Cmd received from 127.0.0.1 : exit
2011-08-29 15:14:05+0200 [CmdProtocol,0,127.0.0.1] Lost client connection. Reason: [Failure instance: Traceback (failure with no frames): <class ‘twisted.internet.error.ConnectionDone‘>: Connection was closed cleanly.

可以使用下面的命令作为客户端发起命令：

user@lab:~$ netcat 127.0.0.1 9999
test
Command not found.
lastlog
Begin lastlog
Aug 29 15:02:03 lab sSMTP[5919]: Unable to locate mail
Aug 29 15:02:03 lab sSMTP[5919]: Cannot open mail:25
Aug 29 15:02:03 lab CRON[4945]: (CRON) error (grandchild #4947 failed with exit status 1)
Aug 29 15:02:03 lab sSMTP[5922]: Unable to locate mail
Aug 29 15:02:03 lab sSMTP[5922]: Cannot open mail:25
Aug 29 15:02:03 lab CRON[4945]: (logcheck) MAIL (mailed 1 byte of output; but got status 0x0001, #012)
Aug 29 15:05:01 lab CRON[5925]: (root) CMD (command -v debian-sa1 > /dev/null && debian-sa1 1 1)
Aug 29 15:10:01 lab CRON[5930]: (root) CMD (test -x /usr/lib/atsar/atsa1 && /usr/lib/atsar/atsa1)
Aug 29 15:10:01 lab CRON[5928]: (CRON) error (grandchild #5930 failed with exit status 1)
Aug 29 15:13:21 lab pulseaudio[3361]: ratelimit.c: 387 events suppressed

 
End lastlog
exit

使用Deferred对象

reactor是一个循环，这个循环在等待事件的发生。这里的事件可以是数据库操作，也可以是长时间的计算操作。只要这些操作可以返回一个Deferred对象。Deferred对象可以自动得在事件发生时触发回调函数。reactor会block当前代码的执行。

现在我们要使用Defferred对象来计算SHA1哈希。

import sys
import os
import hashlib

from twisted.internet.protocol import ServerFactory, ProcessProtocol
from twisted.protocols.basic import LineReceiver
from twisted.python import log
from twisted.internet import reactor, threads

class TailProtocol(ProcessProtocol):
  def __init__(self, write_callback):
    self.write = write_callback

  def outReceived(self, data):
    self.write("Begin lastlog\n")
    data = [line for line in data.split(‘\n‘) if not line.startswith(‘==‘)]
    for d in data:
      self.write(d + ‘\n‘)
    self.write("End lastlog\n")

  def processEnded(self, reason):
    if reason.value.exitCode != 0:
      log.msg(reason)

class HashCompute(object):
  def __init__(self, path, write_callback):
    self.path = path
    self.write = write_callback

  def blockingMethod(self):
    os.path.isfile(self.path)
    data = file(self.path).read()
    # uncomment to add more delay
    # import time
    # time.sleep(10)
    return hashlib.sha1(data).hexdigest()

  def compute(self):
    d = threads.deferToThread(self.blockingMethod)
    d.addCallback(self.ret)
    d.addErrback(self.err)

  def ret(self, hdata):
    self.write("File hash is : %s\n" % hdata)

  def err(self, failure):
    self.write("An error occured : %s\n" % failure.getErrorMessage())

class CmdProtocol(LineReceiver):

  delimiter = ‘\n‘

  def processCmd(self, line):
    if line.startswith(‘lastlog‘):
      tailProtocol = TailProtocol(self.transport.write)
      reactor.spawnProcess(tailProtocol, ‘/usr/bin/tail‘, args=[‘/usr/bin/tail‘, ‘-10‘, ‘/var/log/syslog‘])
    elif line.startswith(‘comphash‘):
      try:
        useless, path = line.split(‘ ‘)
      except:
        self.transport.write(‘Please provide a path.\n‘)
        return
      hc = HashCompute(path, self.transport.write)
      hc.compute()
    elif line.startswith(‘exit‘):
      self.transport.loseConnection()
    else:
      self.transport.write(‘Command not found.\n‘)

  def connectionMade(self):
    self.client_ip = self.transport.getPeer()[1]
    log.msg("Client connection from %s" % self.client_ip)
    if len(self.factory.clients) >= self.factory.clients_max:
      log.msg("Too many connections. bye !")
      self.client_ip = None
      self.transport.loseConnection()
    else:
      self.factory.clients.append(self.client_ip)

  def connectionLost(self, reason):
    log.msg(‘Lost client connection. Reason: %s‘ % reason)
    if self.client_ip:
      self.factory.clients.remove(self.client_ip)

  def lineReceived(self, line):
    log.msg(‘Cmd received from %s : %s‘ % (self.client_ip, line))
    self.processCmd(line)

class MyFactory(ServerFactory):

  protocol = CmdProtocol

  def __init__(self, clients_max=10):
    self.clients_max = clients_max
    self.clients = []

log.startLogging(sys.stdout)
reactor.listenTCP(9999, MyFactory(2))
reactor.run()

blockingMethod从文件系统读取一个文件计算SHA1，这里我们使用twisted的deferToThread方法，这个方法返回一个Deferred对象。这里的Deferred对象是调用后马上就返回了，这样主进程就可以继续执行处理其他的事件。当传给deferToThread的方法执行完毕后会马上触发其回调函数。如果执行中出错，blockingMethod方法会抛出异常。如果成功执行会通过hdata的ret返回计算的结果。
推荐的twisted阅读资料

http://twistedmatrix.com/documents/current/core/howto/defer.html http://twistedmatrix.com/documents/current/core/howto/process.html http://twistedmatrix.com/documents/current/core/howto/servers.html

API文档：

http://twistedmatrix.com/documents/current/api/twisted.html

原文：http://www.jb51.net/article/64182.htm

内容总结

以上是互联网集市为您收集整理的Python下的twisted框架入门指引全部内容，希望文章能够帮你解决Python下的twisted框架入门指引所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1297413.html

来源：【匿名】

【上一篇】Python笔记——函数【下一篇】浅谈PHP运行Python脚本的方法

更多 ►

【Python下的twisted框架入门指引】教程文章相关的互联网学习教程文章

Python下的twisted框架入门指引【代码】

什么是twisted？twisted是一个用python语言写的事件驱动的网络框架，他支持很多种协议，包括UDP,TCP,TLS和其他应用层协议，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。非常好的一点是twisted实现和很多应用层的协议，开发人员可以直接只用这些协议的实现。其实要修改Twisted的SSH服务器端实现非常简单。很多时候，开发人员需要实现protocol类。一个Twisted程序由reactor发起的主循环和一些回调函数组成。当事件发生了，比如一个cli...

【第三天】Python学习：初学scrapy框架【代码】【图】

------------恢复内容开始------------ 大家好，我这段时间有点忙，没有时间更新博客，这几天在学习这个scrapy的框架，学习这个新的框架，我主要是分两部分去学习，第一步通过百度搜索Scrapy框架的入门知识，第二步通过github去搜索scrapy项目，看看别人对于需求如何去做的。　　第一步：掌握scrapy框架的运行原理这张是原理图，是我在网上抓取下来的，谈谈我的理解。爬虫抓取网页前提是跟我们平常访问网页...

吴裕雄--天生自然python Google深度学习框架：Tensorflow基础应用【代码】【图】

import tensorflow as tfa = tf.constant([1.0, 2.0], name="a") b = tf.constant([2.0, 3.0], name="b") result = a + b print(result) import tensorflow as tfg1 = tf.Graph() with g1.as_default():v = tf.get_variable("v", [1], initializer = tf.zeros_initializer()) # 设置初始值为0 g2 = tf.Graph() with g2.as_default():v = tf.get_variable("v", [1], initializer = tf.ones_initializer()) # 设置初始值为...

Python爬虫框架Scrapy安装使用步骤

一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途，从数据挖掘到监测和自动测试，Scrapy完全用Python实现，完全开源，代码托管在Github上，可运行在Linux，Windows，Mac和BSD平台上，基于Twisted的异步网络库来处理网络通讯，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。二、Scrapy安装指南我们的安装...

Python四大主流网络编程框架【图】

目前Python的网络编程框架已经多达几十个，逐个学习它们显然不现实。但这些框架在系统架构和运行环境中有很多共通之处，本文带领读者学习基于Python网络框架开发的常用知识,及目前的4种主流Python网络框架：Django、Tornado、Flask、Twisted。网络框架及MVC架构所谓网络框架是指这样的一组Python包，它能够使开发者专注于网站应用业务逻辑的开发，而无须处理网络应用底层的协议、线程、进程等方面。这样能大大提高开发者的工作效率...

Python单元测试框架unittest简明使用实例

测试步骤 1. 导入unittest模块 import unittest2. 编写测试的类继承unittest.TestCase class Tester(unittest.TestCase)3. 编写测试的方法必须以test开头 def test_add(self) def test_sub(self)4.使用TestCase class提供的方法测试功能点5.调用unittest.main()方法运行所有以test开头的方法复制代码代码如下: if __name__ == ‘__main__‘: unittest.main()实例如下被测试类复制代码代码如下: #!/usr/bin/python #coding=utf-8...

基于PO和单例设计模式用python+selenium进行ui自动化框架设计

一）框架目录的结构二）config包当中的config.ini文件主要是用来存项目的绝对路径，是为了后续跑用例和生成测试报告做准备然后目前的配置文件大都会用yaml，ini，excel，还有.py也就是python文件来进行管理这里用的是ini文件。三）config包当中的globalconfig文件主要是用来生成项目的路径，测试用例，测试报告的路径其中调用了ReadConfigIni这个类来读取ini格式的文件。四）Data.xlsx主要是用来存放项目的url，账号和密码的通过ex...

python框架之 Tornado 学习笔记（一）【代码】

tornado 一个简单的服务器的例子：首先，我们需要安装 tornado ，安装比较简单： pip install tornado 测试安装是否成功，可以打开python 终端，输入： import tornado.httpserver 若无报错，则证明安装成功接下来就可以写一个简单的服务器了，如下：import tornado.httpserver import tornado.ioloop import tornado.options import tornado.web from tornado.options import define, options‘...

python web 框架的本质【代码】【图】

WSGI（Web Server Gateway Interface）是一种规范，它定义了使用python编写的web app与web server之间接口格式，实现web app与web server间的解耦。python标准库提供的独立WSGI服务器称为wsgiref。 1from wsgiref.simple_server import make_server2 3 4def RunServer(environ, start_response):5 start_response(‘200 OK‘, [(‘Content-Type‘, ‘text/html‘)])6return [bytes(‘<h1>Hello, web!</h1>‘, encoding=‘utf-8...

Python四大主流网络编程框架【图】

python和web框架面试题目整理（2）【图】

1、在一个列表中，统计每个元素的出现次数？如果有100万个元素，如何统计？答：（1）利用列表的count方法，通过集合或者字典都能实现。方法一：def list_set(lst): myset = set(lst) for item in myset: print ‘the item %s has found %d time‘ %(item,lst.count(item))lst = [5,4,1,3,2,2,6,5,4,3,2,1,4,3]list_set(lst)方法二：def list_dict(lst): d = {} for item in lst: d[item] = lst.count(it...

Python爬虫框架Pyspider安装及问题【代码】

目录Windows下安装Anaconda,问题及解决1.wsgidav版本问题2.wsgidav版本问题3.webui显示不全，或者说相关的css和js加载不出来运行后的webUI和网页上看到的不一样，查看http://127.0.0.1:5000的源码, 发现是cdnjs.cloudflare.com无法响应4.运行pyspider all命令后一直停留在 result_worker starting...参考：Windows下安装Anaconda,开一个Python3.6的虚拟环境(直接创环境无法设置Python版本，新建环境后使用命令conda install python...

Python的Django框架安装全攻略【代码】

Python 安装Django本身是纯Python编写的，所以安装框架的第一步是确保你已经安装了Python。 Python版本核心Django框架可以工作在2.3至2.6（包括2.3和2.6）之间的任何Python版本。 Django的可选GIS（地理信息系统）支持需要Python 2.4到2.6。如果你不确定要安装Python的什么版本，并且你完全拿不定主意的话,那就选2.x系列的最新版本吧。版本2.6。虽然Django在2.3至2.6版之间的任意Python版本下都一样运行得很好，但是新版本的Pyth...

利用Python的Django框架中的ORM建立查询API【代码】

摘要在这篇文章里，我将以反模式的角度来直接讨论Django的低级ORM查询方法的使用。作为一种替代方式，我们需要在包含业务逻辑的模型层建立与特定领域相关的查询API，这些在Django中做起来不是非常容易，但通过深入地了解ORM的内容原理，我将告诉你一些简捷的方式来达到这个目的。概览当编写Django应用程序时，我们已经习惯通过添加方法到模型里以此达到封装业务逻辑并隐藏实现细节。这种方法看起来是非常的自然，而且实际上它也用在...

使用Python-Flask框架开发接口应用实例【图】

开发环境Python版本：3.x包：flask工具：1.Pycharm2.Postman实现目标：开发一个只接受get方法的接口，接受参数为name和age，并返回相应内容。实现代码from flask import Flask,requestimport jsonapp=Flask(__name__)# 只接受get方法访问@app.route("/test_1.0",methods=["GET"])def check(): # 默认返回内容 return_dict= {‘return_code‘: ‘200‘, ‘return_info‘: ‘处理成功‘, ‘result‘: False} # 判断入参是否...

首页 / PYTHON / Python下的twisted框架入门指引

Python下的twisted框架入门指引

内容导读

内容图文

内容总结

内容备注

内容手机端

【Python下的twisted框架入门指引】教程文章相关的互联网学习教程文章

框架 - 相关标签

入门 - 相关标签

PYTHON - 技术教程分类

PYTHON - 最新教程

PYTHON - 最热教程