如何在Python中正确使用多处理模块？
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了如何在Python中正确使用多处理模块？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3542字，纯文字阅读大概需要6分钟。
内容图文
我有110个PDF,我正在尝试从中提取图像.提取图像后,我想删除任何重复项并删除小于4KB的图像.我这样做的代码如下：
def extract_images_from_file(pdf_file):
file_name = os.path.splitext(os.path.basename(pdf_file))[0]
call(["pdfimages", "-png", pdf_file, file_name])
os.remove(pdf_file)
def dedup_images():
os.mkdir("unique_images")
md5_library = []
images = glob("*.png")
print "Deleting images smaller than 4KB and generating the MD5 hash values for all other images..."
for image in images:
if os.path.getsize(image) <= 4000:
os.remove(image)
else:
m = md5.new()
image_data = list(Image.open(image).getdata())
image_string = "".join(["".join([str(tpl[0]), str(tpl[1]), str(tpl[2])]) for tpl in image_data])
m.update(image_string)
md5_library.append([image, m.digest()])
headers = ['image_file', 'md5']
dat = pd.DataFrame(md5_library, columns=headers).sort(['md5'])
dat.drop_duplicates(subset="md5", inplace=True)
print "Extracting the unique images."
unique_images = dat.image_file.tolist()
for image in unique_images:
old_file = image
new_file = "unique_images\\" + image
shutil.copy(old_file, new_file)
这个过程可能需要一段时间,所以我开始涉足多线程.随意解释,因为我说我不知道??我在做什么.我认为这个过程在提取图像方面很容易并行,但不能重复删除,因为有很多I / O正在进行一个文件,我不知道如何做到这一点.所以这是我对并行过程的尝试：
if __name__ == '__main__':
filepath = sys.argv[1]
folder_name = os.getcwd() + "\\all_images\\"
if not os.path.exists(folder_name):
os.mkdir(folder_name)
pdfs = glob("*.pdf")
print "Copying all PDFs to the images folder..."
for pdf in pdfs:
shutil.copy(pdf, ".\\all_images\\")
os.chdir("all_images")
pool = Pool(processes=8)
print "Extracting images from PDFs..."
pool.map(extract_images_from_file, pdfs)
print "Extracting unique images into a new folder..."
dedup_images()
print "All images have been extracted and deduped."
在提取图像时,一切似乎都运行良好,但随后一切都变得混乱.所以这是我的问题：
1)我是否正确设置了并行处理？
2)它是否继续尝试在dedup_images()上使用所有8个处理器？
3)我有什么遗漏和/或没有做得正确吗？
提前致谢！
编辑这就是我所说的“haywire”.这些错误始于一堆这样的行：
I/O Error: Couldn't open image If/iOl eE r'rSourb:p oICe/onOua l EdNrner'wot r Y:oo prCekon u Cliodmunan'gttey of1pi0e
l2ne1 1i'4mS auogbiepl o2fefinrlaee e N@'egSwmu abYipolor ekcn oaCm o Nupentwt y1Y -o18r16k11 8.C1po4nu gn3't4
y7 5160120821143 3p4t7I 9/49O-8 88E78r81r.3op rnp:gt ' C
3o-u3l6d0n.'ptn go'p
en image file 'Ia/ ON eEwr rYoorr:k CCIoo/uuOln dtEnyr' rt1o 0ro2:p1 e1Cn4o uiolmidalng2'eft r m '
ai gpceoo emfn iapl teN e1'w-S 8uY6bo2pr.okpe nnCgao' u
Nnetwy Y1o0r2k8 1C4o u3n4t7y9 918181881134 3p4t7 536-1306211.3p npgt'
4-879.png'
I/O Error: CoulId/nO' tE rorpoern: iCmoaugled nf'itl eo p'eub piomeangae fNielwe Y'oSrukb pCooeunnat yN e1w0 2Y8o1r
4k 3C4o7u9n9t8y8 811032 1p1t4 3o-i3l622f pt 1-863.png'
然后用这样的多行来获得更多可读性：
I/O Error: Couldn't open image file 'pt 1-864.png'
I/O Error: Couldn't open image file 'pt 1-865.png'
I/O Error: Couldn't open image file 'pt 1-866.png'
I/O Error: Couldn't open image file 'pt 1-867.png'
这会重复一段时间,在乱码错误文本和可读文本之间来回传递.
最后,它到达这里：
Deleting images smaller than 4KB and generating the MD5 hash values for all other images...
Extracting unique images into a new folder...
这意味着代码会重新启动并继续执行该过程.怎么可能出错？
解决方法:
你的代码基本上没问题.
乱码文本是尝试将不同版本的I / O错误消息交错到控制台的所有进程. pdfimages命令正在生成错误消息,可能是因为当您同时运行两个时它们冲突,可能是临时文件冲突,或者两者都使用相同的文件名或类似的东西.
尝试为每个单独的pdf文件使用不同的映像根.
内容总结
以上是互联网集市为您收集整理的如何在Python中正确使用多处理模块？全部内容，希望文章能够帮你解决如何在Python中正确使用多处理模块？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。