spark 插入数据到mysql时遇到的问题 org.apache.spark.SparkException: Task not serializable

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了spark 插入数据到mysql时遇到的问题 org.apache.spark.SparkException: Task not serializable，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1307字，纯文字阅读大概需要2分钟。

内容图文

Exception in thread "main" org.apache.spark.SparkException: Task not serializable
Caused by: java.io.NotSerializableException: org.apache.commons.dbcp2.PoolingDataSource$PoolGuardConnectionWrapper

出错的代码：

def saveMonthToMysql(everymonth_avg:RDD[(String, Float, String)])={
  DBs.setup()
  DB.localTx(implicit session =>{
    everymonth_avg.foreach(r=>{
      SQL("insert into price_month(name, avgprice, uploaddate) values(?,?,?)")
        .bind(r._1,r._2,r._3)
        .update()
        .apply()
    })
  }
  )
}

猜测原因可能是传入RDD了
解决方法：

新建一个scala class  saveMonthToMysql放到里面并且将传入的参数改成

(String, Float, String)
而不是

RDD[(String, Float, String)])

object Save {
  DBs.setup()
def saveMonthToMysql(everymonth_avg:(String, Float, String))={
    DB.localTx(implicit session =>{
      SQL("insert into price_month_copy1(name, avgprice, uploaddate) values(?,?,?)")
        .bind(everymonth_avg._1,everymonth_avg._2,everymonth_avg._3)
        .update()
        .apply()
    }
    )
  }
  }

使用的时候用rdd调用就可以

everymonth_avg.foreach(x=>{
      Save.saveMonthToMysql(x)
    })

 

spark 插入数据到mysql时遇到的问题 org.apache.spark.SparkException: Task not serializable

标签：setup   sed   app   exce   并且   apache   问题   font   connect   

本文系统来源：https://www.cnblogs.com/lq0310/p/10880691.html

内容总结

以上是互联网集市为您收集整理的spark 插入数据到mysql时遇到的问题 org.apache.spark.SparkException: Task not serializable全部内容，希望文章能够帮你解决spark 插入数据到mysql时遇到的问题 org.apache.spark.SparkException: Task not serializable所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---