Python多线程ZeroMQ REQ-REP
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python多线程ZeroMQ REQ-REP,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含4618字,纯文字阅读大概需要7分钟。
内容图文
![Python多线程ZeroMQ REQ-REP](/upload/InfoBanner/zyjiaocheng/680/da1d319ed1184f92b4aec712d9fd800e.jpg)
我正在寻找使用多线程的Python和ZeroMQ实现REQ-REP模式.
使用Python,当新客户端连接到服务器时,我可以创建一个新线程.该线程将处理与该特定客户端的所有通信,直到关闭套接字:
# Thread that will handle client's requests
class ClientThread(threading.Thread):
# Implementation...
def __init__(self, socket):
threading.Thread.__init__(self)
self.socket = socket
def run(self):
while keep_alive:
# Thread can receive from client
data = self.socket.recv(1024)
# Processing...
# And send back a reply
self.socket.send(reply)
while True:
# The server accepts an incoming connection
conn, addr = sock.accept()
# And creates a new thread to handle the client's requests
newthread = ClientThread(conn)
# Starting the thread
newthread.start()
是否可以使用ZeroMQ进行相同[*]?我已经看到了使用ZeroMQ和Python进行多线程处理的一些示例,但是在所有这些示例中,创建的线程池在开始时都具有固定数量的线程,并且似乎更倾向于负载平衡.
[*]注意我想要的是保持客户端与其线程之间的连接处于活动状态,因为线程期望来自客户端的多个REQ消息,并且它将存储必须在消息之间保留的信息(即:递增的变量计数器)它在新的REQ消息上的值;因此每个线程都有其自己的变量,并且其他任何客户端都不能访问该线程).新客户端=新线程.
解决方法:
是的,ZeroMQ是功能强大的Can-Do工具箱
然而,主要的惊奇将是,ZeroMQ< socket> -s比您在样本中使用的普通的-sockets-结构化得多.
{aZmqContext-> aZmqSocket-> aBehavioralPrimitive}
ZeroMQ在“单个” ZMQ-Context的框架下构建了一个出色的,丰富的抽象框架,ZMQ-Context是(并且将保留)唯一用作“共享”的东西.
线程不应“共享”任何其他“派生”对象,无论它们的状态如何,因为出于简洁设计和高性能及高性能的考虑,已实现了强大的分布式责任框架体系结构.低延迟.
对于所有ZMQ-Socket-,应该宁愿想象一个更加智能的分层子结构,其中的子结构将减轻对I / O活动的担忧(在ZMQ-Context责任内部进行管理-从而保持活动,计时问题公平队列缓冲/选择轮询问题对您来说不再是可见的……),其中一种形式为正式的通信模式行为(由选定的ZMQ-Socket类型原型提供).
最后
ZeroMQ和类似的nanomsg库都是类似LEGO的项目,它们使您成为建筑师和工程师.设计师比起初通常意识到的更多.
因此,人们可以专注于分布式系统的行为,而不是将时间和精力浪费在解决另一种套接字消息[噩梦]上.
(绝对值得一看ZeroMQ的共同父亲Pieter Hintjens的两本书.在这个很棒的主题上,您会发现很多Aha!时刻.)
…以及作为蛋糕上的樱桃-无论是在inproc://上传递某些消息,还是在ipc://上传递某些消息,以及同时在ipc://上传递消息,您都可以在不依赖于传输的通用环境中获得所有这些tcp://图层.
EDIT#12014-08-19 17:00 [UTC 0000]
请检查下面的评论,并进一步审查您的-基本的和高级的-设计选项,以进行<琐碎的故障-容易发生-分拆处理,<负载平衡的-REP工人队列,可缩放的分布式处理和_faul-resilient_mode_-REP-worker二进制开始阴影处理. 没有大量的模拟SLOC,没有任何代码样本可以完成“一码通”. 在设计分布式消息传递系统时,这是指数有效的. 不好意思这么说. 受伤,但事实如此.
"""REQ/REP modified with QUEUE/ROUTER/DEALER add-on ---------------------------
Multithreaded Hello World server
Author: Guillaume Aubert (gaubert) <guillaume(dot)aubert(at)gmail(dot)com>
"""
import time
import threading
import zmq
print "ZeroMQ version sanity-check: ", zmq.__version__
def aWorker_asRoutine( aWorker_URL, aContext = None ):
"""Worker routine"""
#Context to get inherited or create a new one trick------------------------------
aContext = aContext or zmq.Context.instance()
# Socket to talk to dispatcher --------------------------------------------------
socket = aContext.socket( zmq.REP )
socket.connect( aWorker_URL )
while True:
string = socket.recv()
print( "Received request: [ %s ]" % ( string ) )
# do some 'work' -----------------------------------------------------------
time.sleep(1)
#send reply back to client, who asked --------------------------------------
socket.send( b"World" )
def main():
"""Server routine"""
url_worker = "inproc://workers"
url_client = "tcp://*:5555"
# Prepare our context and sockets ------------------------------------------------
aLocalhostCentralContext = zmq.Context.instance()
# Socket to talk to clients ------------------------------------------------------
clients = aLocalhostCentralContext.socket( zmq.ROUTER )
clients.bind( url_client )
# Socket to talk to workers ------------------------------------------------------
workers = aLocalhostCentralContext.socket( zmq.DEALER )
workers.bind( url_worker )
# --------------------------------------------------------------------||||||||||||--
# Launch pool of worker threads --------------< or spin-off by one in OnDemandMODE >
for i in range(5):
thread = threading.Thread( target = aWorker_asRoutine, args = ( url_worker, ) )
thread.start()
zmq.device( zmq.QUEUE, clients, workers )
# ----------------------|||||||||||||||------------------------< a fair practice >--
# We never get here but clean up anyhow
clients.close()
workers.close()
aLocalhostCentralContext.term()
if __name__ == "__main__":
main()
内容总结
以上是互联网集市为您收集整理的Python多线程ZeroMQ REQ-REP全部内容,希望文章能够帮你解决Python多线程ZeroMQ REQ-REP所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。