Spark操作外部数据源--MySQL

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Spark操作外部数据源--MySQL，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1191字，纯文字阅读大概需要2分钟。

内容图文

package com.imooc.spark 2 3 import org.apache.spark.sql.SparkSession 4 5 /** 6 * 使用外部数据源综合查询Hive和MySQL的表数据 7 */ 8 object HiveMySQLApp { 9 10 def main(args: Array[String]) { 11 val spark = SparkSession.builder().appName("HiveMySQLApp") 12 .master("local[2]").getOrCreate() 13 14 // 加载Hive表数据 15 val hiveDF = spark.table("emp") 16 17 // 加载MySQL表数据 18 val mysqlDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306").option("dbtable", "spark.DEPT").option("user", "root").option("password", "root").option("driver", "com.mysql.jdbc.Driver").load() 19 20 // JOIN 21 val resultDF = hiveDF.join(mysqlDF, hiveDF.col("deptno") === mysqlDF.col("DEPTNO")) 22 resultDF.show 23 24 25 resultDF.select(hiveDF.col("empno"),hiveDF.col("ename"), 26 mysqlDF.col("deptno"), mysqlDF.col("dname")).show 27 28 spark.stop() 29 } 30 31 }

 

Spark操作外部数据源--MySQL

标签：tab   rar   package   options   prope   word   top   build   dep   

本文系统来源：https://www.cnblogs.com/arthurLance/p/10628375.html

内容总结

以上是互联网集市为您收集整理的Spark操作外部数据源--MySQL全部内容，希望文章能够帮你解决Spark操作外部数据源--MySQL所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---