python多线程任务分发的问题

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python多线程任务分发的问题，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1050字，纯文字阅读大概需要2分钟。

内容图文

我现在要多线程抓取一个网站内容，假设这个网站内容有105页，但是由于机器限制只能开启十个线程抓取，那么我如何做到第一个线程负责抓1-10页，第二个线程11-20页以此类推，直到最后第十个线程负责抓取91-105页，这个思路该怎么写成python代码啊？

回复内容：

我现在要多线程抓取一个网站内容，假设这个网站内容有105页，但是由于机器限制只能开启十个线程抓取，那么我如何做到第一个线程负责抓1-10页，第二个线程11-20页以此类推，直到最后第十个线程负责抓取91-105页，这个思路该怎么写成python代码啊？

python3

import urllib
import queue
import threading

def download(queue,lck):
    """
    工作者，当队列中没有任务的时候就执行退出。
    """
    while not queue.empty():
        pg = queue.get()
        
        #在此写 抓取网页的代码
        #然后把抓到的内容写入文件
        
        lck.acquire()
        print ('第 %d 页已完成'%pg) 
        lck.release()
        queue.task_done()


def main():
    """
    主线程， 
    """
    print ('开始下载……')
    lck = threading.Lock()
    q = queue.Queue()
    for pg in range(1,106): #网站内容有105页
        q.put(pg)
        
    for i in range(10):#十个线程
        t = threading.Thread(target=download, args=(q,lck))
        t.start()
    q.join()       # 等待所以任务完成
    print ('结束')

if __name__ == '__main__':
    main()

内容总结

以上是互联网集市为您收集整理的python多线程任务分发的问题全部内容，希望文章能够帮你解决python多线程任务分发的问题所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---