python – 在Apache Spark中使用pyspark进行数据帧转置

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 在Apache Spark中使用pyspark进行数据帧转置，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1100字，纯文字阅读大概需要2分钟。

内容图文

我有一个具有以下结构的数据帧df：

+-----+-----+-----+-------+
|  s  |col_1|col_2|col_...|
+-----+-------------------+
| f1  |  0.0|  0.6|  ...  |
| f2  |  0.6|  0.7|  ...  |
| f3  |  0.5|  0.9|  ...  |
|  ...|  ...|  ...|  ...  |

我想计算这个数据帧的转置,所以它看起来像

+-------+-----+-----+-------+------+
|  s    | f1  | f2  | f3    |   ...|
+-------+-------------------+------+
|col_1  |  0.0|  0.6|  0.5  |   ...|
|col_2  |  0.6|  0.7|  0.9  |   ...|
|col_...|  ...|  ...|  ...  |   ...|

我绑定了这两个解决方案,但它返回的数据帧没有指定的used方法：

方法1：

 for x in df.columns:
    df = df.pivot(x)

方法2：

df = sc.parallelize([ (k,) + tuple(v[0:]) for k,v in df.items()]).toDF()

我怎样才能解决这个问题.

解决方法:

如果数据足够小以进行转置(不使用聚合转动),您只需将其转换为Pandas DataFrame即可：

df = sc.parallelize([
    ("f1", 0.0, 0.6, 0.5),
    ("f2", 0.6, 0.7, 0.9)]).toDF(["s", "col_1", "col_2", "col_3"])

df.toPandas().set_index("s").transpose()
s       f1   f2
col_1  0.0  0.6
col_2  0.6  0.7
col_3  0.5  0.9

如果它为此大,Spark将无济于事. Spark DataFrame按行分配数据(尽管本地使用柱状存储),因此单个行的大小仅限于本地内存.

内容总结

以上是互联网集市为您收集整理的python – 在Apache Spark中使用pyspark进行数据帧转置全部内容，希望文章能够帮你解决python – 在Apache Spark中使用pyspark进行数据帧转置所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端