python – 做列表外部产品的numpy方式

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 做列表外部产品的numpy方式，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1298字，纯文字阅读大概需要2分钟。

内容图文

我正在尝试对60000×100矩阵的外积进行归一化求和.我想用numpy方式来做,因为我的解决方案受到列表解析中的python for循环的约束：

def covariance_over_time(X):
    B = np.sum(np.array([np.outer(x, x) for x in X]),axis=0)              
    B = np.true_divide(B, len(X))
    return B 

请注意,即使这个解决方案有效,它也是单线程的,因此当X有60000行和100列时非常慢.

我尝试了其他方法,例如on stackoverflow中描述的方法.
链接中发布的答案适用于小矩阵,在几秒钟后出现错误.你知道为什么吗？ (注意：我有6个TeraByte的RAM,因此我不太可能遇到内存问题,因为我根本没有看到内存使用量增长！)

解决方法:

您可以使用np.dot简单地使用矩阵乘法 –

B = X.T.dot(X)

然后,使用np.true_divide(B,len(X))进行标准化.

内存优化解决方案

如果您仍然遇到内存错误,我们还有两个选项/方法.

I.完整的循环解决方案

我们可以循环遍历X的第二个轴(列),并使用两个循环对每列执行每列之间的矩阵乘法.现在,X只有100列,因此,一个完整的循环解决方案只会迭代100X100 = 10000次,并且在每次迭代时执行60000(X中的行数)和减少.

n = X.shape[1]
out = np.empty((n,n),dtype=X.dtype)
for i in range(n):
    for j in range(n):
        out[i,j] = X[:,i].dot(X[:,j])

II.混合解决方案

在完整循环解决方案和在开始时列出的完全矢量化解决方案之间的A将包括一个循环,其将在每个列与整个阵列之间执行矩阵乘法.这将在每次迭代时进行60000X100 = 6000000总和减少.

n = X.shape[1]
out = np.empty((n,n),dtype=X.dtype)
for i in range(n):
    out[i] = X[:,i].dot(X)

内容总结

以上是互联网集市为您收集整理的python – 做列表外部产品的numpy方式全部内容，希望文章能够帮你解决python – 做列表外部产品的numpy方式所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端