首页 / SCALA / Spark:scala集合转化为DS/DF

Spark:scala集合转化为DS/DF

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Spark:scala集合转化为DS/DF，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1073字，纯文字阅读大概需要2分钟。

内容图文

scala集合转化为DS/DF

             1
            case
            class
             TestPerson(name: String, age: Long, salary: Double)

             2 val tom = TestPerson("Tom Hanks",37,35.5)
 3 val sam = TestPerson("Sam Smith",40,40.5)
 4 val PersonList = mutable.MutableList[TestPerson]()
 5 PersonList += tom
 6 PersonList += sam
 7 8 val personDS = PersonList.toDS()
 9println(personDS.getClass)
10personDS.show()
1112 val personDF = PersonList.toDF()
13println(personDF.getClass)
14personDF.show()
15 personDF.select("name", "age").show()

输出结果：

            class
             org.apache.spark.sql.Dataset

+---------+---+------+
|     name|age|salary|
+---------+---+------+
|Tom Hanks| 37|  35.5|
|Sam Smith| 40|  40.5|
+---------+---+------+

class org.apache.spark.sql.DataFrame

+---------+---+------+
|     name|age|salary|
+---------+---+------+
|Tom Hanks| 37|  35.5|
|Sam Smith| 40|  40.5|
+---------+---+------+

+---------+---+
|     name|age|
+---------+---+
|Tom Hanks| 37|
|Sam Smith| 40|
+---------+---+

参考资料：

https://stackoverflow.com/questions/39397652/convert-scala-list-to-dataframe-or-dataset

原文：http://www.cnblogs.com/yy3b2007com/p/7381005.html

内容总结

以上是互联网集市为您收集整理的Spark:scala集合转化为DS/DF全部内容，希望文章能够帮你解决Spark:scala集合转化为DS/DF所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1285625.html

来源：【匿名】