一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL2.3 HBase中的数据导出到mysql目前没有直接的命令将HBase中的数据导出到MySQL,但可以先将HBase中的数据导出到HDFS中,再将数据导出到MySQL。三、使用Sqoop将Oracle中的数据导入到HDFS/Hive/HBase
下面只给出将Oracle中的数据导入HBase,其他情况下的命令行选项与MySQL的操作相似
OK! 最好的文档尽在:http://sqoop.apach...
安装Hive(独立模式 使用mysql连接)1.默认安装了java+hadoop
2.下载对应hadoop版本的安装包
3.解压安装包tar zxvf apache-hive-1.2.1-bin.tar.gz
4.安装mysqlyum -y install mysql-server mysql mysqldev //需要以root身份运行 另外可能需要配置yum源mysql常用命令:service mysqld start/stopchkconfig mysqld on //加入开机启动 以系统root用户操作
5.授权mysql(以系统hadoop身份 数据库root身份进行操作)mysqladmin -u root pa...
总结 1. Hive数据表分区、分桶的作用分区表产生不同的目录: 避免全表扫描分桶表产生不同的文件: jion 速度快 和 桶抽样2. Hive常用的3复合数据类型及访问方式select * from emp_partitioninner join salariesonsalaries.emp_no is not null andemp_partition.emp_no is not null andemp_partition.emp_no = salaries.emp_no select * from emp_partition --emp_partition 表小 放到左侧inner join salariesonsalaries.emp_no is ...
安装Hive && mysql(1)安装HiveHive安装所需要的依赖(安装Hive前必须先安装jdk、hadoop) 1)jdk1.6以上 2)Hadoop要启动 未安装jdk、hadoop可参考文章:https://www.cnblogs.com/wendyw/p/11317021.htmlHive下载、解压 下载路径:http://apache.cs.utah.edu/hive/hive-0.11.0/ 将hive-0.11.0.tar.gz解压到/usr/local中 tar -zxvf hive-0.11.0.tar.gz 产生hive的安装目...
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引的,但是mysql的表一般在创建时就会指定主键,所以在把hive表中的数据导入mysql表的时候通常会使用...
1.Mysql中可用存储过程和函数来实现复杂逻辑处理,两者的对比如下:存储过程作为可执行文件,编译一次放在数据库中,函数又返回值。可设定使用权限。
存储过程中可使用游标,声明变量。用call调用。 2.Hive可用udf(user defined function)来实现复杂逻辑处理
编辑Python脚本
常用的Python字符串分割处理函数有:split 等等 加载udf 调用udf
HQL语法
可将返回结果重新写入其他表内,此时 as后字段和插入表字段一致。
原文:h...
驱动拷贝1.在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz2.拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/配置Metas...
作业任务:安装Hive,有条件的同学可考虑用mysql作为元数据库安装(有一定难度,可以获得老师极度赞赏),安装完成后做简单SQL操作测试。将安装过程和最后测试成功的界面抓图提交 . 已有的当前虚拟机: 总共三台虚拟机,使用CentOS。一台是NameNode,另两台为DataNode,由于搭载虚拟机的内存不是很足,所以不打算再新增一台虚拟机来另外安装mysql,所以选择其中一台datanode虚拟机来安装mysql,由于很早时候已经安装布署了hadoop...
一、Mysql中别名的使用位置select子句中的别名的使用,在group by及后面可使用。from子句中的表别名的使用,在where及后面可使用。 二、hive sql中别名的使用位置在having及后面可以使用。在order by排序时,必须使用别名,不能使用表达式。原文:https://www.cnblogs.com/dw-date/p/13705291.html
安装包准备1.查看mysql是否安装,如果安装了,卸载mysql (1)查看[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64 (2)卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64 在CentOS中默认安装有MariaDB,这个是MySQL的分支,但为了需要,还是要在系统中安装MySQL,而且安装完成之后可以直接覆盖掉MariaDB。1 下载并安装MySQL官方的 Yum Repository[root@localh...
1 驱动拷贝1.在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz2.拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar/opt/module/hive/lib/2 配置Me...
安装mysql (1)执行命令 rpm -qa |grep mysql 查看mysql是否安装 删除linux上已经安装的mysql相关库信息。 rpm -e xxxxxxx(查看的库名,可使用右键复制) --nodeps 执行命令 rpm -qa |grep mysql 检查是否删除干净 (2)执行命令 rpm -i mysql-server-******** 安装mysql服务端 (3)启动mysql 服务端,执行命令 后台运行 mysqld_safe & (4)执行命令 rpm -i mysql-client-******** 安装mysql客户端 (5)执行...
有些命令工作中经常用到,记录在一个文章里用于查阅,本文经常更新。 shell命令 linux统计某个目录下所有文件的行数的命令 find /home/crazyant -type f -name "*" | xargs cat | wc -l 用find查找crazyant目录下所有文本文件的行数之和。不过该命令执行挺慢有些命令工作中经常用到,记录在一个文章里用于查阅,本文经常更新。
shell命令
linux统计某个目录下所有文件的行数的命令
find /home/crazyant -type f -name "*" | xargs ...
下载地址:http://mirrors.hust.edu.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-src.tar.gz 执行编译命令 mvn clean package 编译会出现如下错误 > hive/common/src/java/org/apache/hadoop/hive/conf/HiveConf.java:[44,30] > package org.apache.hado下载地址:http://mirrors.hust.edu.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-src.tar.gz
执行编译命令
mvn clean package
编译会出现如下错误
> hive/common/src/j...
目录结构 Hadoop集群(CDH4)实践之 (0) 前言 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)实践之 (2) HBaseZookeeper搭建 Hadoop集群(CDH4)实践之 (3) Hive搭建 Hadoop集群(CHD4)实践之 (4) Oozie搭建 Hadoop集群(CHD4)实践之 (5) Sqoop安目录结构
Hadoop集群(CDH4)实践之 (0) 前言
Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建
Hadoop集群(CDH4)实践之 (2) HBase&Zookeeper搭建
Hadoop集群(CDH4)实践之 (3) Hiv...