如何在python / numpy中自动化BLAS的环境变量依赖基准？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了如何在python / numpy中自动化BLAS的环境变量依赖基准？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2891字，纯文字阅读大概需要5分钟。

内容图文

我需要一些帮助来弄清楚如何在python中自动化基准测试工作.

我正在通过python中的numpy测试线程对BLAS库调用的影响.在Linux环境中,OpenBLAS中的线程通过环境变量OMP_NUM_THREADS进行控制.我想做一个测试,我将OMP_NUM_THREADS从1增加到最大值,在每个线程计数时计算一个例程,然后最终操作所有线程计数的聚合时间.

问题如下.环境变量可以在python中设置,但它们只影响子进程或子shell.所以我可以使用以下驱动程序代码正确运行我的基准测试：

#!/usr/bin/env python                                                                                                     # driver script for thread test
import os

thread_set =[1,2,4,8,16]
for thread in thread_set:

    os.environ['OMP_NUM_THREADS']='{:d}'.format(thread)
    os.system("echo $OMP_NUM_THREADS")
    os.system("numpy_test")

和numpy_test脚本：

#!/usr/bin/env python
#timing test for numpy dot product (using OpenBLAS)                                                      
#based on https://stackoverflow.com/questions/11443302/compiling-numpy-with-openblas-integration
import sys
import timeit

setup = "import numpy; x = numpy.random.random((1000,1000))"
count = 5

t = timeit.Timer("numpy.dot(x, x.T)", setup=setup)
dot_time = t.timeit(count)/count
print("dot: {:7.3g} sec".format(dot_time))

但分析这是一个非常手动的过程.

特别是,我无法将numpy_test的值dot_time返回到我的外包装程序,因此我无法以任何自动方式分析测试结果.作为一个例子,我想绘制dot_time与线程数,或者评估dot_time /线程数是否恒定.

如果我尝试通过定义python测试函数(避免上面的os.system()方法)完全在python实例中进行类似的测试,然后在thread_set循环中的线程内运行测试函数,那么测试的所有实例函数为OMP_NUM_THREADS(父python shell的值)继承相同的值.所以这个测试失败了：

#!/usr/bin/env python
#attempt at testing threads that doesn't work
#(always uses inherited value of OMP_NUM_THREADS)
import os

import sys
import timeit

def test_numpy():
    setup = "import numpy; x = numpy.random.random((1000,1000))"
    count = 5

    t = timeit.Timer("numpy.dot(x, x.T)", setup=setup)
    dot_time = t.timeit(count)/count
    print("dot: {:7.3g} sec".format(dot_time))
    return dot_time

thread_set =[1,2,4,8,16]
for thread in thread_set:
    os.environ['OMP_NUM_THREADS']='{:d}'.format(thread)
    os.system("echo $OMP_NUM_THREADS")
    time_to_run = test_numpy()
    print(time_to_run)

这失败了因为每个线程实例都花费相同的时间,因为test_numpy()总是在父环境中继承OMP_NUM_THREADS的值,而不是通过os.environ()设置的值.如果这样的事情有效,那么做我需要做的分析是微不足道的.

在真正的测试中,我将运行几千个排列,因此自动化是关键.鉴于此,我很感激这些问题的答案：

>您将如何从像这样的子流程返回值(dot_time)？有没有比读/写文件更优雅的解决方案？
>有没有更好的方法来构建这种(依赖于环境变量)测试？

先感谢您.

解决方法:

你可以这样做：

import subprocess

os.environ['OMP_NUM_THREADS'] = '{:d}'.format(thread)
proc = subprocess.Popen(["numpy_test"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
stdout, stderr = proc.communicate()

然后你将在stdout中获得numpy_test脚本的输出.一般来说,我认为subprocess.call和subprocess.Popen优先于os.system.

内容总结

以上是互联网集市为您收集整理的如何在python / numpy中自动化BLAS的环境变量依赖基准？全部内容，希望文章能够帮你解决如何在python / numpy中自动化BLAS的环境变量依赖基准？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端