在SLURM中使用sbatch命令时如何导入本地python模块

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了在SLURM中使用sbatch命令时如何导入本地python模块，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1322字，纯文字阅读大概需要2分钟。

内容图文

我使用的是集群管理器slurm,并且正在运行带有sbatch(带有python插入器)的提交脚本. sbatch提交导入了我的一个名为main_nn.py的模块.该模块与我的提交目录位于同一位置,但是,即使文件存在,python也无法找到它.我很难弄清楚为什么会这样.我的python文件如下所示：

#!/usr/bin/env python
#SBATCH --job-name=Python

print('hi')

import main_nn

但是我的Slurm转储文件的输出是：

hi
Traceback (most recent call last):
    File "/home/slurm/slurmd/job3223398/slurm_script", line6, in <module>
        import main_nn
ImportError: No module named main_nn

我尝试检查模块main_nn是否在当前目录中,并且确实存在.因此,对我来说可疑的第一件事是slurm文件中的错误表明我的脚本的位置位于“ / home / slurm / slurmd / job3223398 / slurm_script”,而不是path_to_project.因此,我继续增加了一行

os.system('pwd')

看看我的脚本是从哪里执行的,令我惊讶的是它是在path_to_project而不是在“ / home / slurm / slurmd / job3223398 / slurm_script”处执行的,这必须意味着sbatch正在执行某些操作,以在一个位置执行脚本,但是它认为它是另一个.如果是这种情况,我应该如何在python中与模块的提交脚本位于同一位置的位置进行导入？我是否被迫将其放在软件包中并欺骗python以使其在软件包/库中？

解决方法:

当Slurm将提交脚本复制到计算节点上的特定位置以运行它时,您的Python脚本将找不到提交目录中的模块.

但是Slurm正确设置了当前工作目录,因此您可以使用类似以下内容的方法将其显式添加到python路径：

sys.path.append(os.getcwd()) 

在脚本开头附近.

内容总结

以上是互联网集市为您收集整理的在SLURM中使用sbatch命令时如何导入本地python模块全部内容，希望文章能够帮你解决在SLURM中使用sbatch命令时如何导入本地python模块所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端