一、sqoop 在同步mysql表结构到hive sqoop create-hive-table --connect jdbc:mysql://ip:3306/sampledata --table t1--username dev --password 1234 --hive-table t1; 执行到这一步就退出了，但是在hadoop的hdfs上的/hive/warehouse/的目录下是找不到t1表的目录,但是正常执行完成是下面这样的： 错误就是hive的jar包有缺失全部的jar包该是这样的：这是hadoop-2.2.0和hbase-0.96.2和hive-0.13.1整合的全部jar包还有就是sqoop-1....
hive默认使用的是Derby数据库，Derby是一个嵌入式数据库，数据库一般创建在运行hive命令的目录，如果切换目录运行，则找不到数据库 hive mysql配置：官网地址：https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin hive配置文件目录下创建文件：hive-site.xml，配置如下<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost/hive?createDatabaseIfNotEx...
首先检验Hive元数据是否正常，如果Hive元数据正常使用，请在oozie配置文件workflow.xml中增加配置：<property><name>hive.metastore.uris</name><value>thrift://192.168.2.21:9083</value></property>具体原因需要再排查，可能是由于环境变量导致参考：cdh5版本中的oozie hive action使用及踩坑集锦Oozie调度hive报错The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check you...
运行环境 centos 5.6 hadoop hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具。上海尚学堂hadoop大数据培训组原创，陆续有hadoop大数据技术相关文章奉上，请多关注！ 在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar，所以你需要下载hadoop-0.20.2-CDH3B4.tar.gz，解...
问题： spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFO MetaStoreDirectSql: MySQL check failed, assuming we are notonmysql: Lexical error atline1, column 5. Encountered: "@" (64), after : "".环境： spark-1.4 hive-1.2.1 mysql-5.1 jdbc驱动原因： 查看hive的源码MetaStoreDirectSql的构造方法：publicMetaStoreDirectSql(PersistenceManager pm) {this.pm = pm;Transaction tx = pm.currentTr...
max 函数 在hive中max函数是一个聚合函数,所以,而且返回值是double ,而且后面必须跟group by ,这个和mysql差异很大Built-in Aggregate Functions (UDAF)DOUBLEmax(col)Returns the maximum value of the column in the group.mysql 中Returns the maximum value of expr. MAX() may take a string argument; insuch cases, it returns the maximum string value. Seehttp://dev.mysql.com/doc/refman/5.1/en/mysql-indexes.html. T...
一、引言 Hive元数据存储可以放到RDBMS数据库中，本文以Hive与MySQL数据库的整合为目标，详细说明Hive与MySQL的整合方法。二、安装驱动MySQL最新的Java驱动版本为：mysql-connector-java-5.1.28-bin.jar，下载后拷贝到：Hive/Lib目录。三、安装MySQL 3.1 版本 RHEL5+mysql-5.5.35-1.i386.rpm 3.2 顺序 MySQL-shared-compat-5.5.35-1.rhel15.i386.rpm MySQL-server-5.5.35-1.rhel5.i386.rpm MySQL-clien...
一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL2.3 HBase中的数据导出到mysql目前没有直接的命令将HBase中的数据导出到MySQL，但可以先将HBase中的数据导出到HDFS中，再将数据导出到MySQL。三、使用Sqoop将Oracle中的数据导入到HDFS/Hive/HBase 下面只给出将Oracle中的数据导入HBase，其他情况下的命令行选项与MySQL的操作相似 OK！ 最好的文档尽在：http://sqoop.apach...
安装Hive(独立模式 使用mysql连接)1.默认安装了java+hadoop 2.下载对应hadoop版本的安装包 3.解压安装包tar zxvf apache-hive-1.2.1-bin.tar.gz 4.安装mysqlyum -y install mysql-server mysql mysqldev //需要以root身份运行 另外可能需要配置yum源mysql常用命令:service mysqld start/stopchkconfig mysqld on //加入开机启动 以系统root用户操作 5.授权mysql(以系统hadoop身份 数据库root身份进行操作)mysqladmin -u root pa...
总结 1. Hive数据表分区、分桶的作用分区表产生不同的目录： 避免全表扫描分桶表产生不同的文件： jion 速度快 和 桶抽样2. Hive常用的3复合数据类型及访问方式select * from emp_partitioninner join salariesonsalaries.emp_no is not null andemp_partition.emp_no is not null andemp_partition.emp_no = salaries.emp_no select * from emp_partition --emp_partition 表小 放到左侧inner join salariesonsalaries.emp_no is ...
安装Hive && mysql(1)安装HiveHive安装所需要的依赖（安装Hive前必须先安装jdk、hadoop） 1）jdk1.6以上 2）Hadoop要启动 未安装jdk、hadoop可参考文章：https://www.cnblogs.com/wendyw/p/11317021.htmlHive下载、解压 下载路径：http://apache.cs.utah.edu/hive/hive-0.11.0/ 将hive-0.11.0.tar.gz解压到/usr/local中 tar -zxvf hive-0.11.0.tar.gz 产生hive的安装目...
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引的，但是mysql的表一般在创建时就会指定主键，所以在把hive表中的数据导入mysql表的时候通常会使用...
1.Mysql中可用存储过程和函数来实现复杂逻辑处理，两者的对比如下：存储过程作为可执行文件，编译一次放在数据库中，函数又返回值。可设定使用权限。 存储过程中可使用游标，声明变量。用call调用。 2.Hive可用udf（user defined function）来实现复杂逻辑处理 编辑Python脚本 常用的Python字符串分割处理函数有：split 等等 加载udf 调用udf HQL语法 可将返回结果重新写入其他表内，此时 as后字段和插入表字段一致。 原文：h...
驱动拷贝1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz2．拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/配置Metas...
作业任务：安装Hive，有条件的同学可考虑用mysql作为元数据库安装（有一定难度，可以获得老师极度赞赏），安装完成后做简单SQL操作测试。将安装过程和最后测试成功的界面抓图提交 . 已有的当前虚拟机： 总共三台虚拟机，使用CentOS。一台是NameNode，另两台为DataNode，由于搭载虚拟机的内存不是很足，所以不打算再新增一台虚拟机来另外安装mysql，所以选择其中一台datanode虚拟机来安装mysql，由于很早时候已经安装布署了hadoop...