python twisted代理超时
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python twisted代理超时，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3538字，纯文字阅读大概需要6分钟。
内容图文
我很擅长扭曲,我正在尝试创建一个异步客户端来获取一些URL并将结果保存到每个URL的不同文件中.当我使用有限数量的服务器运行程序时,假设10,反应器循环正确结束并且程序终止.但是当我用例如Alexa top 2500运行程序时,程序开始获取URL但是然后没有终止.我已设置超时但它不起作用,我相信必须有一些打开的套接字不会因错误或成功而触发任何回调.我的目标是,一旦程序获取了页面,或者每个连接超时已到期,程序必须终止并关闭所有活动的文件描述符.
我很抱歉,但复制和粘贴时没有保留代码缩进,现在我已经检查过并且已经修复了.代码是最小的例子,请注意,我的问题是当我启动程序时,反应堆没有停止,需要抓取大量站点.
#!/usr/bin/env python
from pprint import pformat
from twisted.internet import reactor
import twisted.internet.defer
import sys
from twisted.internet.protocol import Protocol
from twisted.web.client import Agent
from twisted.web.http_headers import Headers
class PrinterClient(Protocol):
def __init__(self, whenFinished, output):
self.whenFinished = whenFinished
self.output = output
def dataReceived(self, bytes):
#print '##### Received #####\n%s' % (bytes,)
self.output.write('%s' % (bytes,))
def connectionLost(self, reason):
print 'Finished:', reason.getErrorMessage()
self.output.write('Finished: %s \n'%(reason.getErrorMessage()))
self.output.write('#########end########%s\n'%(reason.getErrorMessage()))
self.whenFinished.callback(None)
def handleResponse(r, output, url):
output.write('############start############\n')
output.write('%s\n'%(url))
#print "version=%s\ncode=%s\nphrase='%s'" % (r.version, r.code, r.phrase)
output.write("version=%s\ncode=%s\nphrase='%s'" %(r.version, r.code, r.phrase))
for k, v in r.headers.getAllRawHeaders():
#print "%s: %s" % (k, '\n '.join(v))
output.write("%s: %s\n" % (k, '\n '.join(v)))
whenFinished = twisted.internet.defer.Deferred()
r.deliverBody(PrinterClient(whenFinished, output))
return whenFinished
def handleError(reason):
print reason
#reason.printTraceback()
#reactor.stop()
def getPage(url, output):
print "Requesting %s" % (url,)
d = Agent(reactor).request('GET',
url,
Headers({'User-Agent': ['Mozilla/4.0 (Windows XP 5.1) Java/1.6.0_26']}),
None)
d._connectTimeout = 10
d.addCallback(handleResponse, output, url)
d.addErrback(handleError)
return d
if __name__ == '__main__':
semaphore = twisted.internet.defer.DeferredSemaphore(500)
dl = list()
ipset = set()
queryset = set(['http://www.google.com','http://www.google1.com','http://www.google2.com', "up to 2500 sites"])
filemap = {}
for q in queryset:
fpos = q.split('http://')[1].split(':')[0]
dl.append(semaphore.run(getPage, q, filemap[fpos]))
dl = twisted.internet.defer.DeferredList(dl)
dl.addCallbacks(lambda x: reactor.stop(), handleError)
reactor.run()
for k in filemap:
filemap[k].close()
谢谢.
Jeppo
解决方法:
您的超时代码至少有两个问题.
首先,您设置的唯一超时是_connectTimeout,并将其设置为从Agent.request返回的Deferred.这是一个毫无意义的属性,Agent实现中的任何内容或Twisted的任何部分都不会尊重它.我认为你的意思是在Agent实例上设置这个属性,它会产生一些影响.但是,它是一个私有属性,不适合您直接进行交互.相反,您应该将connectTimeout = 10传递给代理初始化程序.
其次,此超时仅影响TCP连接设置超时.将其设置为10意味着如果在不到10秒的时间内无法建立到特定URL的HTTP服务器的TCP连接,则请求尝试将因超时错误而失败.但是,如果在不到10秒的时间内成功建立连接,则超时没有其他意义.如果服务器需要10个小时向您发送响应,则代理将坐在那里等待10个小时.您需要额外的超时,整个请求超时.
这是使用reactor.callLater和可能的Deferred.cancel单独实现的.例如,
...
d = agent.request(...)
timeoutCall = reactor.callLater(60, d.cancel)
def completed(passthrough):
if timeoutCall.active():
timeoutCall.cancel()
return passthrough
d.addBoth(completed)
...
内容总结
以上是互联网集市为您收集整理的python twisted代理超时全部内容，希望文章能够帮你解决python twisted代理超时所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。