SQOOP增量抽取时，在HIVE中实现类似Oracle的merge操作

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了SQOOP增量抽取时，在HIVE中实现类似Oracle的merge操作，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1431字，纯文字阅读大概需要3分钟。

内容图文

数据仓库建设中的数据抽取环节，常常需要增量抽取业务库数据。但业务库数据不是一层不变的，会根据时间发生状态变更，那么就需要同步更新变化数据到HIVE中。过去在Oracle上做数据仓库时，可以使用merge的方法合并新老数据。但hive中没有该功能，本文旨在通过sqoop抽取后，自动实现数据合并。

表设计

将抽取表分为三张，

1. 一张_arc表，保存每日合并后的快照，根据pt字段分区
2. 一张_inc表，用于保存当日抽取的增量数据，根据pt字段分区
3. 一张不带后缀的表，指向最终表给后续ETL任务使用。

步骤

1. 使用sqoop进行hive import，将数据导入_inc表
2. 核心，使用full join、coalesce、if组合的SQL合并将inc表当日分区数据与arc更前一日分区数据合并到_arc表当日分区中。
3. 最终表通过hive命令set location指向_arc当日分区。

代码要点：

merge SQL

use ods; 
insert overwrite table mytable_arc partition (pt=‘20200407‘) 
select coalesce(a.id,b.id), if(a.id is null, b.type, a.type), if(a.id is null, b.amt, a.amt) from (
  select id, type, amt
  from mytable_inc where pt=‘20200407‘
) a full join (
  select id, type, amt
  from mytable_arc where pt=‘20200406‘
) b on a.%s = b.%s" 

hive set location

use ods; 
alter table mytable set location ‘hdfs://hadoop01:9000/user/hive/warehouse/ods.db/mytable_arc/pt=20200407‘"

SQOOP增量抽取时，在HIVE中实现类似Oracle的merge操作

标签：oca   oracl   需要   分区   partition   sql   hive   更新   合并   

本文系统来源：https://www.cnblogs.com/hupingzhi/p/12654898.html

内容总结

以上是互联网集市为您收集整理的SQOOP增量抽取时，在HIVE中实现类似Oracle的merge操作全部内容，希望文章能够帮你解决SQOOP增量抽取时，在HIVE中实现类似Oracle的merge操作所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---