python – 如何合并pyspark和pandas数据帧

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 如何合并pyspark和pandas数据帧，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1193字，纯文字阅读大概需要2分钟。

内容图文

我有一个非常大的pyspark数据帧和一个较小的pandas数据帧,我读如下：

df1 = spark.read.csv("/user/me/data1/")
df2 = pd.read_csv("data2.csv")

两个数据帧都包括标记为“A”和“B”的列.我想创建另一个pyspark数据帧,只包含来自df1的那些行,其中“A”和“B”列中的条目出现在df2中具有相同名称的那些列中.即使用df2的列“A”和“B”过滤df1.

Normally I think this would be a join (implemented with merge) but
how do you join a pandas dataframe with a pyspark one?

我无法将df1转换为pandas数据帧.

解决方法:

您可以在从pandas dataframe转换为pyspark数据帧时传递架构,如下所示：

from pyspark.sql.types import *
schema = StructType([
StructField("name", StringType(), True),
StructField("age", IntegerType(), True)])
df = sqlContext.createDataFrame(pandas_dataframe, schema)

或者您可以使用我在此功能中使用的hack：

def create_spark_dataframe(file_name):
    """
    will return the spark dataframe input pandas dataframe
    """
    pandas_data_frame = pd.read_csv(file_name)
    for col in pandas_data_frame.columns:
      if ((pandas_data_frame[col].dtypes != np.int64) & (pandas_data_frame[col].dtypes != np.float64)):
        pandas_data_frame[col] = pandas_data_frame[col].fillna('')

    spark_data_frame = sqlContext.createDataFrame(pandas_data_frame)
    return spark_data_frame

内容总结

以上是互联网集市为您收集整理的python – 如何合并pyspark和pandas数据帧全部内容，希望文章能够帮你解决python – 如何合并pyspark和pandas数据帧所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端