linux – 并行且高效地运行多个作业

互联网集市收集整理的这篇技术教程文章主要介绍了linux – 并行且高效地运行多个作业，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含727字，纯文字阅读大概需要2分钟。

操作系统：Cent-OS

我有大约30,000个工作(或脚本)来运行.每份工作需要3-5分钟.我有48个CPU(nproc = 48).我可以使用40个CPU并行运行40个作业.请建议一些脚本或工具可以通过并行运行每个40个作业来处理30,000个作业.

我做了什么：

>我创建了40个不同的文件夹,并通过为每个目录创建一个shell脚本来并行执行这些作业.
>我想知道下次处理这类工作的更好方法.

解决方法:

正如Mark Setchell所说：GNU Parallel.

find scripts/ -type f | parallel

如果你坚持要保留8个CPU：

find scripts/ -type f | parallel -j-8

但通常使用nice会更有效率,因为当没有其他人需要它时,它将为您提供所有48个核心：

find scripts/ -type f | nice -n 15 parallel

了解更多：

>观看介绍视频以获得快速介绍：
https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
>浏览教程(man parallel_tutorial).你命令行
爱你吧.

以上是互联网集市为您收集整理的linux – 并行且高效地运行多个作业全部内容，希望文章能够帮你解决linux – 并行且高效地运行多个作业所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

扫描二维码推送至手机访问。

来源：【匿名】