如何使用Spark将数据插入RDB(MySQL)？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了如何使用Spark将数据插入RDB(MySQL)？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含973字，纯文字阅读大概需要2分钟。

内容图文

我正在尝试通过Spark SQL将数据插入MySQL表.

这是我的表：

CREATE TABLE images (
  id    INT          NOT NULL AUTO_INCREMENT,
  name  VARCHAR(100) NOT NULL,
  data  LONGBLOB     NOT NULL
);

和我的Spark代码：

case class Image(name: String, data: Array[Byte])

def saveImage(image: Image): Unit = {
  sqlContext.sql(s"""INSERT INTO images (name, data) VALUES ('${image.name}', ${image.data});""".stripMargin)
}

但是我收到一个错误：

java.lang.RuntimeException: [1.13] failure: ``table'' expected but identifier images found
INSERT INTO images (name, data)
            ^

我的代码出了什么问题？

解决方法:

最后,我找到了解决方案.我可以使用技巧使用Spark SQL将数据保存到MySQL中.诀窍是创建一个新的DataFrame,然后继续它.这是一个例子：

def saveImage(image: Image): Unit = {
  val df = sqlContext.createDataFrame {
    sc.parallelize(
      Image(
        name = image.name,
        data = image.data
      ) :: Nil
    )
  }

  JdbcUtils.saveTable(df, url, "images", props)      
}

而模型将是这样的：

case class Image(
  id   : Option[Int] = None,
  name : String,
  data : Array[Byte]
)

内容总结

以上是互联网集市为您收集整理的如何使用Spark将数据插入RDB(MySQL)？全部内容，希望文章能够帮你解决如何使用Spark将数据插入RDB(MySQL)？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端