python-PySpark中的高效列处理

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python-PySpark中的高效列处理，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含789字，纯文字阅读大概需要2分钟。

内容图文

我有一个数据列,其中的列数非常多(> 30000).

我根据这样的第一列用1和0填充它：

for column in list_of_column_names:
  df = df.withColumn(column, when(array_contains(df['list_column'], column), 1).otherwise(0))

但是,此过程需要很多时间.有办法更有效地做到这一点吗？告诉我列处理可以并行化.

编辑：

样本输入数据

+----------------+-----+-----+-----+
|  list_column   | Foo | Bar | Baz |
+----------------+-----+-----+-----+
| ['Foo', 'Bak'] |     |     |     |
| ['Bar', Baz']  |     |     |     |
| ['Foo']        |     |     |     |
+----------------+-----+-----+-----+

解决方法:

您可能会这样,

import pyspark.sql.functions as F

exprs = [F.when(F.array_contains(F.col('list_column'), column), 1).otherwise(0).alias(column)                  for column in list_column_names]

df = df.select(['list_column']+exprs)

内容总结

以上是互联网集市为您收集整理的python-PySpark中的高效列处理全部内容，希望文章能够帮你解决python-PySpark中的高效列处理所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端