python基于queue和threading实现多线程下载实例
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python基于queue和threading实现多线程下载实例，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1632字，纯文字阅读大概需要3分钟。
内容图文
本文实例讲述了python基于queue和threading实现多线程下载的方法，分享给大家供大家参考。具体方法如下：
主代码如下：
#download worker
queue_download = Queue.Queue(0)
DOWNLOAD_WORKERS = 20
for i in range(DOWNLOAD_WORKERS):
DownloadWorker(queue_download).start() #start a download worker
for md5 in MD5S:
queue_download.put(md5)
for i in range(DOWNLOAD_WORKERS):
queue_download.put(None)
其中downloadworkers.py
类继承 threading.Thread,重载run方法..在__init__中调用threading.Thread.__init__(self),
在run方法中实现耗时的操作
import threading
import Queue
import md5query
import DOM
import os,sys
class DownloadWorker(threading.Thread):
""""""
def __init__(self, queue):
"""Constructor"""
self.__queue = queue
threading.Thread.__init__(self)
def run(self):
while 1:
md5 = self.__queue.get()
if md5 is None:
break #reached end of queue
#this is a time-cost produce
self._down(md5)
print "task:", md5, "finished"
def _down(self, md5):
config = {
‘input‘:sys.stdin,
‘output‘:‘./samples‘,
‘location‘:‘xxx‘,
‘has-fn‘:False,
‘options‘:{‘connect.timeout‘:60, ‘timeout‘:3600},
‘log‘:file(‘logs.txt‘, ‘w‘),
}
print ‘download %s...‘ % (md5)
try:
data = downloadproc(config[‘location‘], config[‘options‘])#我的下载过程
if data:
dom, fileData = md5query.splited(data)
filename = md5
if config[‘has-fn‘]:
filename = ‘%s_%s‘ % (md5, dom.nodeValue2(‘xxxxxxx‘, ‘‘).encode(‘utf-8‘))#这是我的下载的方法
f = file(os.path.join(config[‘output‘], filename), ‘w‘)
f.write(fileData)
f.close()
print ‘%s\tok‘ % (md5)
else:
print>>config[‘log‘], ‘%s\t%s‘ % (md5, ‘failed‘)
except Exception, e:
print>>config[‘log‘], ‘%s\t%s‘ % (md5, str(e))
希望本文所述对大家的Python程序设计有所帮助。
原文：http://www.jb51.net/article/55935.htm
内容总结
以上是互联网集市为您收集整理的python基于queue和threading实现多线程下载实例全部内容，希望文章能够帮你解决python基于queue和threading实现多线程下载实例所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。