多任务-python实现-多进程文件拷贝器(2.1.10)
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了多任务-python实现-多进程文件拷贝器(2.1.10),小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1646字,纯文字阅读大概需要3分钟。
内容图文
![多任务-python实现-多进程文件拷贝器(2.1.10)](/upload/InfoBanner/zyjiaocheng/957/0fe276996eba4d21b2cf212c1d5607b0.jpg)
目录
@(多进程文件拷贝器)
1.需求
当去拷贝一个文件夹的所有文件时,使用多任务拷贝
假如一个文件使用一个进程处理
10000个文件就额可以使用最大值为10的进程池处理(当然max取值看具体主机性能)
提高工作效率
2.代码
import multiprocessing
import os
import time
import random
def copy_file(queue, file_name,source_folder_name, dest_folder_name):
"""copy文件到指定的路径"""
f_read = open(source_folder_name + "/" + file_name, "rb")
f_write = open(dest_folder_name + "/" + file_name, "wb")
while True:
time.sleep(random.random())
content = f_read.read(1024)
if content:
f_write.write(content)
else:
break
f_read.close()
f_write.close()
# 发送已经拷贝完毕的文件名字
queue.put(file_name)
def main():
# 获取要复制的文件夹
source_folder_name = input("请输入要复制文件夹名字:")
# 整理目标文件夹
dest_folder_name = source_folder_name + "[副本]"
# 创建目标文件夹
try:
os.mkdir(dest_folder_name)
except:
pass # 如果文件夹已经存在,那么创建会失败
# 获取这个文件夹中所有的普通文件名
file_names = os.listdir(source_folder_name)
# 创建Queue
queue = multiprocessing.Manager().Queue()
# 创建进程池
pool = multiprocessing.Pool(3)
for file_name in file_names:
# 向进程池中添加任务
pool.apply_async(copy_file, args=(queue, file_name, source_folder_name, dest_folder_name))
# 主进程显示进度
pool.close()
all_file_num = len(file_names)
while True:
file_name = queue.get()
if file_name in file_names:
file_names.remove(file_name)
copy_rate = (all_file_num-len(file_names))*100/all_file_num
print("\r%.2f...(%s)" % (copy_rate, file_name) + " "*50, end="")
if copy_rate >= 100:
break
print()
if __name__ == "__main__":
main()
注意
引入queue的原因是,主进程和子进程有通信的需求,需要查看还有文件拷入与否
引入进度条概念
内容总结
以上是互联网集市为您收集整理的多任务-python实现-多进程文件拷贝器(2.1.10)全部内容,希望文章能够帮你解决多任务-python实现-多进程文件拷贝器(2.1.10)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。