借助Python多处理实现更慢的执行

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了借助Python多处理实现更慢的执行，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1462字，纯文字阅读大概需要3分钟。

内容图文

我可能在这里有些烦恼,但是我正在使用python进行一个小生物信息学项目.我正在尝试并行化一个程序,该程序分析大型字符串集字典(RAM中约为2-3GB).我发现当我使用较小的字典时,多处理版本速度更快,但是受益不多,而大型字典则更慢.我的第一个理论是,内存不足只会减慢所有操作,而瓶颈是从交换到虚拟内存.但是,我在具有4 * 48GB RAM的群集上运行该程序,并且发生了相同的速度下降.我的第二个理论是锁定对某些数据的访问.如果一个线程正在尝试访问另一个线程中当前正在访问的引用,那么该线程是否需要等待？我曾尝试创建要操作的词典的副本,但这似乎效率很低.还有什么可能导致我的问题？

我的多重处理方法如下：

def worker(seqDict, oQueue):
     #do stuff with the given partial dictionary
     oQueue.put(seqDict)
oQueue = multiprocessing.Queue()
chunksize = int(math.ceil(len(sdict)/4)) # 4 cores
inDict = {}
i=0
dicts = list() 
for key in sdict.keys():
    i+=1
    if len(sdict[key]) > 0:
        inDict[key] = sdict[key]
    if i%chunksize==0 or i==len(sdict.keys()):
        print(str(len(inDict.keys())) + ", size")
        dicts.append(copy(inDict))
        inDict.clear()

for pdict in dicts:
    p =multiprocessing.Process(target = worker,args = (pdict, oQueue)) 
    p.start()
finalDict = {}

for i in range(4):
    finalDict.update(oQueue.get())
return finalDict

解决方法:

好像“大型字符串集字典”中的数据可以重新格式化为可以存储在文件或字符串中的格式,从而允许您使用mmap模块在所有进程之间共享它.如果每个进程需要将数据转换回其他更可取的形式,则可能会产生一些启动开销,但是可以通过向每个进程传递一些指示它们应该在共享内存中整个数据集的哪个子集进行处理的方式来将其最小化.重构该过程所需的零件.

内容总结

以上是互联网集市为您收集整理的借助Python多处理实现更慢的执行全部内容，希望文章能够帮你解决借助Python多处理实现更慢的执行所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端