首页 / PYTHON / 使用python多线程下载循环

使用python多线程下载循环

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用python多线程下载循环，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1034字，纯文字阅读大概需要2分钟。

内容图文

我有一个清单.

symbols = ('GGP', 'JPM', 'AIG', 'AMZN','GGP', 'rx', 'jnj', 'osip')

URL = "http://www.Xxxx_symbol=%s"

def fetch(symbols):
    try:
        url = URL % '+'.join(symbols)
        fp = urllib2.urlopen(url)
        try:
            data = fp.read()

        finally:
            fp.close()
        return data
    except Exception as e:
        print "No Internet Access"

我正在尝试使用多线程(具有4个线程)来获取进程,而不是多进程并且不使用Twisted. Url fetch的输出文件是csv,其中包含我要删除的7行标题信息.我想循环每个符号在它自己的文件中.我以前使用过此提取代码.我可以获得包含一个元素的符号列表.

解决方法:

这应该使您开始：

from threading import Thread, Lock

data = {}
data_lock = Lock()

class Fetcher(Thread):
    def __init__(self, symbol):
        super(Thread, self).__init__()
        Thread.__init__(self)
        self.symbol = symbol

    def run(self):
        # put the code from fetch() here
        # replace 'data = fp.read()' with the following
        tmp = fp.read()
        data_lock.acquire()
        data[self.symbol] = tmp
        data_lock.release()

# Start a new Fetcher thread like this:
fetcher = Fetcher(symbol)
fetcher.start()
# To wait for the thread to finish, use Thread.join():
fetcher.join()

内容总结

以上是互联网集市为您收集整理的使用python多线程下载循环全部内容，希望文章能够帮你解决使用python多线程下载循环所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/671482.html

来源：【匿名】