python – 将数据帧保存到pyspark中本地驱动器上的JSON文件
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python – 将数据帧保存到pyspark中本地驱动器上的JSON文件,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含720字,纯文字阅读大概需要2分钟。
内容图文
![python – 将数据帧保存到pyspark中本地驱动器上的JSON文件](/upload/InfoBanner/zyjiaocheng/795/27fd0321985a4bb7bbcd151980b2d3fd.jpg)
我有一个数据帧,我试图使用pyspark 1.4保存为JSON文件,但它似乎没有工作.当我给它指向目录的路径时,它返回一个错误,表明它已经存在.我基于documentation的假设是它会在你给它的路径中保存一个json文件.
df.write.json("C:\Users\username")
指定一个带有名称的目录不会产生任何文件,并给出错误“java.io.IOException:Mkdirs无法创建文件:/ C:Users / username / test / _temporary / …. etc.创建名称test的目录,其中包含几个带有空白crc文件的子目录.
df.write.json("C:\Users\username\test")
并添加JSON的文件扩展名,会产生相同的错误
df.write.json("C:\Users\username\test.JSON")
解决方法:
你可以不只是使用
df.toJSON()
如图here所示?
如果没有,那么首先转换为pandas DataFrame,然后写入json.
pandas_df = df.toPandas()
pandas_df.to_json("C:\Users\username\test.JSON")
内容总结
以上是互联网集市为您收集整理的python – 将数据帧保存到pyspark中本地驱动器上的JSON文件全部内容,希望文章能够帮你解决python – 将数据帧保存到pyspark中本地驱动器上的JSON文件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。