首页 / ORACLE / 关于sqoop增量导入oracle的数据到HDFS的出现的错误总结

关于sqoop增量导入oracle的数据到HDFS的出现的错误总结

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了关于sqoop增量导入oracle的数据到HDFS的出现的错误总结，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4631字，纯文字阅读大概需要7分钟。

内容图文

今天在将公司的oracle的数据抽取到hive当中，根据时间字段做增量插入，然后合并采用按照id唯一主键的方式进行合并操作。

下面的代码是增量导入的操作shell脚本

#!/bin/bash
datenow=$(date -d 'last day' -I)
databases=("FRONTBANK")

sqoop import \
--connect jdbc:oracle:thin:自己的数据库ip:1521:zdxdb \
--username frontbank \
--password sdff23s \
--table FRONTBANK.INCREAT_TABLE \
--fields-terminated-by "\t" \
--incremental lastmodified \   #这个配置项是对导入的数据做插入和更新操作
--check-column MODIFY_TIME \   #这个配置项是按照数据表中的某个字段定位要读取的数据的位置
--last-value ${datenow} \     #这个配置项是加载最后一个导入数据到现在这段时间新增的数据，然后进行导入操作
--merge-key ID \             #这个配置项是对导入进来的数据进行合并的操作，这里是采用唯一主键的方式对数据进行合并操作
--hive-drop-import-delims \
-m 1 \
--target-dir /user/gxg/increment

在导入数据的过程中遇到的问题如下:
第一次在shell脚本当中执行的时候，出现了下面的问题

ERROR tool.ImportTool: Import failed: java.io.IOException: Could not load jar /tmp/sqoop-root/compile/42f2af520ed13e2dc948a98222d69466/FRONTBANK.INCREAT_TABLE.jar into JVM. (Could not find class FRONTBANK.INCREAT_TABLE.)
at org.apache.sqoop.util.ClassLoaderStack.addJarFile(ClassLoaderStack.java:92)
at com.cloudera.sqoop.util.ClassLoaderStack.addJarFile(ClassLoaderStack.java:36)
at org.apache.sqoop.tool.ImportTool.loadJars(ImportTool.java:120)
at org.apache.sqoop.tool.ImportTool.lastModifiedMerge(ImportTool.java:456)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:522)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.lang.ClassNotFoundException: FRONTBANK.INCREAT_TABLE
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.net.FactoryURLClassLoader.loadClass(URLClassLoader.java:789)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.sqoop.util.ClassLoaderStack.addJarFile(ClassLoaderStack.java:88)

这里显示在merger的时候找不到类，而且没这个jar包，但是在启动日志中明明有加载这个包和这个类的操作。然后找资料说采用codegen的方式。但是各种报错。

然后在想是不是数据包不共享造成的，于是我将脚本部署在oozie的工作流调度当中。居然可以可以运行，这个问题的原因应该是上传的包在本地，然而其他的机器加载不到这个包所以类不存在了。

说到这里多提一句，在我们提交sqooop脚本的时候，会在本地产生一个jar包

关于sqoop增量导入oracle的数据到HDFS的出现的错误总结 - 文章图片

当我们在集群上执行sqoop脚本的的时候，相当于数据目录共享。所以不存在数据加载不到的问题。

第二个问题：

2019-01-08 17:03:35,929 INFO [IPC Server handler 2 on 37215] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Diagnostics report from attempt_1546053074766_0184_m_000001_0: 
Error: java.io.IOException: Cannot join values on null key. Did you specify a key column that exists?
	at org.apache.sqoop.mapreduce.MergeMapperBase.processRecord(MergeMapperBase.java:79)
	at org.apache.sqoop.mapreduce.MergeTextMapper.map(MergeTextMapper.java:58)
	at org.apache.sqoop.mapreduce.MergeTextMapper.map(MergeTextMapper.java:34)
	at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:793)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

出现这个问题的主要原因有两点
（1）你设置合并的字段不是主键的形式，一定要设置成为主键
（2）第二点注意大小写的问题。我的问题就是我的主键的字段是大写的ID，我写成了这样 --merge-key id \

下面总结一下对于sqoop增量导入的总结：
在整个的sqooop导入操作中需要注意两个东西，第一个就是我们的需要准备一个更新的字段（时间日期字段），第二个就是合并的字段负责更新数据的更新操作。其他的应该就没有问题了

这里补充一点，我们只能定义数据目录，不能直接将数据导入到hive当中否则会报下面的错：

--incremental lastmodified option for hive imports is not supported. Please remove the parameter --incremental lastmodified.

内容总结

以上是互联网集市为您收集整理的关于sqoop增量导入oracle的数据到HDFS的出现的错误总结全部内容，希望文章能够帮你解决关于sqoop增量导入oracle的数据到HDFS的出现的错误总结所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/916991.html

来源：【匿名】

【上一篇】JDBC连接ORACLE的三种URL格式【下一篇】Oracle Faq(Oracle TAF的配置)

更多 ►

【关于sqoop增量导入oracle的数据到HDFS的出现的错误总结】教程文章相关的互联网学习教程文章

Oracle查询总结【代码】

-------------------------------多表查询----------------------------------------笛卡尔积查询.select*from emp,dept;--结果为64条,emp表有14条,dept表有4条 --别名查询 --改变查询后的结果显示的列名,在字段后面写要显示的列名(注意一定要用双引号括起来,oracle查询中之后这里用到双引号!)select ename "name" ,loc "地点" from emp e ,dept d where e.deptno = d.deptno;--查询出雇员的编号,姓名,部门的编号和名称,地址select...

Oracle SQL操作计划基线总结（SQL Plan Baseline）

一、基础概念Oracle 11g開始，提供了一种新的固定运行计划的方法，即SQL plan baseline，中文名SQL运行计划基线（简称基线），能够觉得是OUTLINE（大纲）或者SQL PROFILE的改进版本号。基本上它的主要作用能够归纳为例如以下两个：1、稳定给定SQL语句的运行计划。防止运行环境或对象统计信息等等因子的改变对SQL语句的运行计划产生影响！2、降低数据库中出现SQL语句性能退化的概率。理论上不同意一条语句切换到一个比已经运行过的运...

Oracle 与 SqlServer 的区别浅析总结

我主要用过的数据库为Oracle10g和SqlServer2008，通过实际运用和查阅资料整理如下：主题Oracle 10gSQLServer 2008存储过程格式Create Or Replace Procedure 存储过程名 (参数列表)ISBegin ---存储过程内容End 存储过程名;Create Procedure 存储过程名 (参数列表)ASBegin --存储过程内容End 存储过程参数1、指定参数类型，但不指定长度;2、在参数及类型间要加入输入输出标识(in 、out);eg: param in int1、指定参数类型，...

Python中通过cx_Oracle访问数据库遇到的问题总结【代码】【图】

以下是Python中通过cx_Oracle操作数据库的过程中我所遇到的问题总结，感谢我们测试组的前辈朱勃给予的帮助最终解决了下列两个问题： 1）安装cx_Oracle会遇到的问题：在Windows下安装cx_Oracle不要尝试用pip install的方式了！下载官网的对应版本的msi安装文件，我的python2.7是32位的，oracle的instantClient也是32位的，这个cx_Oracle也选择32位的下载，安装成功后进入python模式下import cx_Oracle没问题，安装成功。 2）使...

详细总结使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出【图】

一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL2.3 HBase中的数据导出到mysql目前没有直接的命令将HBase中的数据导出到MySQL，但可以先将HBase中的数据导出到HDFS中，再将数据导出到MySQL。三、使用Sqoop将Oracle中的数据导入到HDFS/Hive/HBase 下面只给出将Oracle中的数据导入HBase，其他情况下的命令行选项与MySQL的操作相似 OK！最好的文档尽在：http://sqoop.apach...

Oracle 行转列(pivot、wm_concat、decode)使用总结

CREATE TABLE CC (Student NVARCHAR2(2),Course NVARCHAR2(2),Score INT ); INSERT into CC select N‘张三‘,N‘语文‘,78 from dual union all select N‘张三‘,N‘数学‘,87 from dual union all select N‘张三‘,N‘英语‘,82 from dual union all select N‘张三‘,N‘物理‘,90 from dual union all select N‘李四‘,N‘语文‘,65 from dual union all select N‘李四‘,N‘数学‘,77 from dual union all ...

Oracle数据库异机恢复报错吐血总结（待完善）

一、数据库nomount失败1.参数文件参数不正确2.参数文件对应的目录不存在/无权限3.数据库状态异常导致二、恢复控制文件失败1.恢复脚本字符不正确，语法错误2.网络不通或hosts解析不正确3.参数文件对应的目录不存在/无权限三、恢复数据文件四、RECOVERY数据库失败五、OPEN数据库失败原文：https://www.cnblogs.com/yihr/p/13045734.html

Oracle 行列转换总结 (转)

行列转换包括以下六种情况：　　1. 列转行　　2. 行转列　　3. 多列转换成字符串　　4. 多行转换成字符串　　5. 字符串转换成多列　　6. 字符串转换成多行首先声明，有些例子需要如下10g及以后才有的知识：　　A. 掌握model子句，　　B. 正则表达式　　C. 加强的层次查询1、列转行CREATE TABLE t_col_row(　　ID INT,　　c1 VARCHAR2(10),　　c2 VARCHAR2(10),　　c3 VARCHAR2(10)); INSERT INTO t_col_row VALUES (1, ‘v11‘, ‘...

[转帖]超详细的Oracle数据库在不同损坏级别的恢复总结【代码】

超详细的Oracle数据库在不同损坏级别的恢复总结原创波波说运维 2019-07-20 00:02:00概述在 DBA 的日常工作中不可避免存在着数据库的损坏，今天主要介绍 Oracle 数据库遇到不同损坏级别下的应该采用的恢复方法，当然最好是实践一下。数据块损坏的恢复当数据文件中仅有少量的数据块发生了介质损坏时，我们可以利用RMAN对其进行数据块一级的恢复。数据块级的局部恢复可以大大缩短恢复时间，甚至缩短到其他恢复方式的千分之几。此外，...

oracle优化技巧及实例（总结）

1.关于exists和inin是循环的方式，在内存中处理，exists是执行数据库查询， select tpd.personaccountid,sum(nvl(tpd.CREDIT_SUM, 0)) as bjsr, sum(nvl(tpd.INTEREST_INCOME, 0)) as bjsr, sum(nvl(tpd.DEBIT_SUM, 0)) as bjzc from TGP_PERSON_DETAIL tpd left join TAP_FUNDBUSINESS tfb on tpd.FUNDBUSINESS_ID = tfb.FUNDBUSINESS_IDwhere tpd.PERSONACCOUNTID in (select personaccountid from TGP_PERSONACCOUNT pa left jo...

用java调用oracle存储过程总结(转别人的。。。)

//1、call＋包名＋存储过程名（传入、传出值用？） String str="{call SMSBUSINESS.deleteZhZMember(?,?,?)}"; //2、建立连接 Connection conn=null; conn=DriverManager.getConnection(); //3、使用java.sql.*类 CallableStatement cs=conn.prepareCall(str); //4、传入in值 cs.setInt(1,id); cs.setInt(2,-2); //5、设置out值 cs.registerOutParameter(3,Types.NUMERIC); //6、执行 cs.excuse(); //7、取出out...

JDBC oracle 错误总结

ORA-28040: No matching authentication protocoljdk：1.8oracle：12c使用ojdbc14.jar 报错：ORA-28040: No matching authentication protocol；解决办法：　　使用oracle自带的ojdbc6.jar 解决ORA-00900: invalid SQL statement恩，暴露智商了，select关键字写错了。。。（selec）原文：http://www.cnblogs.com/Springmoon-venn/p/5476000.html

oracle cursor 用法总结

PL sql中cursor用法是非常广泛的，常常用于存储过程和函数的返回值，其中用于函数的返回值变相的解决了pl sql 没有表值函数的问题，一般的，在java 调用存储过程，所返回的结果集也是用游标去存储的。游标分为动态游标和静态游标1，动态游标定义分两种方式一种是先定义自定义类型如 Type my_cursor is ref cursor .这样就可以定义了一个游标类型，然后我们自己的变量就可以用这个自定义类型去定义了，如 cursorDemo my_cursor （直...

asp.net连接oracle的问题及方法总结

.net连oracle数据库的两个方法介绍1. 安装oracle客户端，连接oracle 需要在客户端%oracle_client_home%network/admin/配置tnsnames.ora，以服务名aa为例，客户端和服务器服务名及连接串需要保持一致。服务名的配置实例如：代码如下复制代码 a = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = helen)(PORT = 1521)) ) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAM...

[转] Oracle analyze table 使用总结

转自：http://www.cnblogs.com/einyboy/archive/2012/08/09/2630321.htmlanalyze table 一般可以指定分析：表，所有字段，所有索引字段，所有索引。若不指定则全部都分析。 SQL> analyze table my_table compute statistics; SQL> analyze table my_table compute statistics for table for all indexes for all columns; SQL> analyze table my_table compute statistics for table for all indexes for all indexed columns...

错误 - 相关标签

错误代码118 错误的网关

ORACLE - 最热教程

Oracle11g 创建数据库中问题处理（必须...Oracle 查看索引表空间 Navicat报错-ORA-28547：connection to...oracle 查看最大连接数 Oracle中合并数据集(多行变一行)Navicat如何添加oracle的oci.dll插件，...oracle如何将am,pm时间字符串改为时间格...for update造成的Oracle锁表与解锁 phppdooracle中文乱码的快速解决方法_P...Oracle分区表新增主分区及子分区语句

首页 / ORACLE / 关于sqoop增量导入oracle的数据到HDFS的出现的错误总结

关于sqoop增量导入oracle的数据到HDFS的出现的错误总结

内容导读

内容图文

内容总结

内容备注

内容手机端

【关于sqoop增量导入oracle的数据到HDFS的出现的错误总结】教程文章相关的互联网学习教程文章

Oracle查询总结【代码】

Oracle SQL操作计划基线总结（SQL Plan Baseline）

Oracle 与 SqlServer 的区别浅析总结

Python中通过cx_Oracle访问数据库遇到的问题总结【代码】【图】

详细总结使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出【图】

Oracle 行转列(pivot、wm_concat、decode)使用总结

Oracle数据库异机恢复报错吐血总结（待完善）

Oracle 行列转换总结 (转)

[转帖]超详细的Oracle数据库在不同损坏级别的恢复总结【代码】

oracle优化技巧及实例（总结）

用java调用oracle存储过程总结(转别人的。。。)

JDBC oracle 错误总结

oracle cursor 用法总结

asp.net连接oracle的问题及方法总结

[转] Oracle analyze table 使用总结

ORACLE - 相关标签

错误 - 相关标签

数据 - 相关标签

ORACLE - 最新教程

ORACLE - 最热教程