首页 / PYTHON / python – 向Spark DataFrame添加一个空列

python – 向Spark DataFrame添加一个空列

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 向Spark DataFrame添加一个空列，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1238字，纯文字阅读大概需要2分钟。

内容图文

如在Web上的many other locations中所述,向现有DataFrame添加新列并不简单.不幸的是,拥有此功能非常重要(即使它在分布式环境中效率低下),尤其是在尝试使用unionAll连接两个DataFrame时.

将空列添加到DataFrame以便于unionAll的最优雅的解决方法是什么？

我的版本是这样的：

from pyspark.sql.types import StringType
from pyspark.sql.functions import UserDefinedFunction
to_none = UserDefinedFunction(lambda x: None, StringType())
new_df = old_df.withColumn('new_column', to_none(df_old['any_col_from_old']))

解决方法:

你需要的只是文字和演员：

from pyspark.sql.functions import lit

new_df = old_df.withColumn('new_column', lit(None).cast(StringType()))

一个完整的例子：

df = sc.parallelize([row(1, "2"), row(2, "3")]).toDF()
df.printSchema()

## root
##  |-- foo: long (nullable = true)
##  |-- bar: string (nullable = true)

new_df = df.withColumn('new_column', lit(None).cast(StringType()))
new_df.printSchema()

## root
##  |-- foo: long (nullable = true)
##  |-- bar: string (nullable = true)
##  |-- new_column: string (nullable = true)

new_df.show()

## +---+---+----------+
## |foo|bar|new_column|
## +---+---+----------+
## |  1|  2|      null|
## |  2|  3|      null|
## +---+---+----------+

可以在此处找到Scala等效项：Create new Dataframe with empty/null field values

内容总结

以上是互联网集市为您收集整理的python – 向Spark DataFrame添加一个空列全部内容，希望文章能够帮你解决python – 向Spark DataFrame添加一个空列所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/701619.html

来源：【匿名】