nifi 从mysql数据中读取数存入hive中

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了nifi 从mysql数据中读取数存入hive中，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含949字，纯文字阅读大概需要2分钟。

内容图文

1、在hive中创建一张外部表

create external table news2(id string,title string,url string,content string) row format delimited fields terminated by '\t';

之前的想法是从mysql读取数据，将数据转为json，再用ConvertJSONToSQL 转为hive sql 存入hive中，结果发现ConvertJSONToSQL 不支持hive 这是nifi的一个bug 如下图

作为替代方案，只能是用replaceText自己生成插入的sql语句。

在做的过程中发现，之前用的hive2.3.4 ，nifi并不支持hive2.x.x,随后把hive的版本降为1.22

整体流程图如下:

从mysql中读取数据，用 ExecuteSQL处理器，sql语句为select * from news

配置如下：

ConvertAvroToJSON 将二进制流转为json，

SplitJson  分割json对象

EvaluateJsonPath 获取json对象里面的属性

ReplaceText 替换成sql， Replacement Value  INSERT INTO TABLE news2(id,title,url,content) VALUES ('${id}','${title}','${url}','${content}')

最后丢入到 PutHiveQL

总结

基本实现了从mysql关系型数据库查询数据转移到hive，但是速度非常慢，这种一条条数据插入到hive可能不太适合。现在只是验证hive的这种能力，后续再做优化。

内容总结

以上是互联网集市为您收集整理的nifi 从mysql数据中读取数存入hive中全部内容，希望文章能够帮你解决nifi 从mysql数据中读取数存入hive中所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端