首页 / ORACLE / sqoop oracle到hive，动态分区一次操作记录

sqoop oracle到hive，动态分区一次操作记录

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了sqoop oracle到hive，动态分区一次操作记录，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1120字，纯文字阅读大概需要2分钟。

内容图文

sqoop，将oracle数据传递到hive，可以直接将表数据覆盖传递，也可以按select传递，这里我用的是select查询的

脚本如下：

1、创建分区表，按c1分区 

            
                 CREATE TABLE `xx.cc`(
  `c1` 
                string
                )  
PARTITIONED BY(`c2` 
                string);

2、通过sqoop将数据导入临时表中 

            sqoop import -D oraoop.jdbc.url.verbatim=true--hive-import --hive-overwrite  --connect jdbc:oracle:thin:@ip:port:实例名 --username xx_name --password xx_password --query "select c1,c2  from table_name where c1=1 and \$CONDITIONS" \--hive-database hive_database_name --hive-table cc_temp --target-dir /user/hive/warehouse/xx.db/cc_temp_target --delete-target-dir --num-mappers 1 --fetch-size 5000 --hive-drop-import-delims --null-string‘\\N‘ --null-non-string‘\\N‘

sqoop说明：

  • query里面，必须有where条件，同时必须添加 \$CONDITIONS， \$CONDITIONS在执行时会自动替换位 （1= 0）,但是不影响查询
  • target-dir 对应的目录，需要当前用户有操作权限，同时，target-dir对应的目录，不可存在，或者对应即将生成的表文件；原因如下
    • target-dir是sqoop将oracle导入数据生成的临时文件（是文件，不是目录）,如果已存在，则会报错
    • sqoop将oracle导入到hive后，会将target-dir删除，如果target-dir对应的是即将生成的表文件，则数据会删除

3、将临时表，导入分区表 

            set hive.exec.dynamic.partition.mode=nonstrict
insert overwrite table xx.cc partition(c1) select * from xx.cc_temp;

 

原文：https://www.cnblogs.com/jaxlove-it/p/12581141.html

内容总结

以上是互联网集市为您收集整理的sqoop oracle到hive，动态分区一次操作记录全部内容，希望文章能够帮你解决sqoop oracle到hive，动态分区一次操作记录所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1186038.html

来源：【匿名】