一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL2.3 HBase中的数据导出到mysql目前没有直接的命令将HBase中的数据导出到MySQL，但可以先将HBase中的数据导出到HDFS中，再将数据导出到MySQL。三、使用Sqoop将Oracle中的数据导入到HDFS/Hive/HBase
下面只给出将Oracle中的数据导入HBase，其他情况下的命令行选项与MySQL的操作相似
OK！ 最好的文档尽在：http://sqoop.apach...
安装Hive(独立模式 使用mysql连接)1.默认安装了java+hadoop
2.下载对应hadoop版本的安装包
3.解压安装包tar zxvf apache-hive-1.2.1-bin.tar.gz
4.安装mysqlyum -y install mysql-server mysql mysqldev //需要以root身份运行 另外可能需要配置yum源mysql常用命令:service mysqld start/stopchkconfig mysqld on //加入开机启动 以系统root用户操作
5.授权mysql(以系统hadoop身份 数据库root身份进行操作)mysqladmin -u root pa...
总结 1. Hive数据表分区、分桶的作用分区表产生不同的目录： 避免全表扫描分桶表产生不同的文件： jion 速度快 和 桶抽样2. Hive常用的3复合数据类型及访问方式select * from emp_partitioninner join salariesonsalaries.emp_no is not null andemp_partition.emp_no is not null andemp_partition.emp_no = salaries.emp_no select * from emp_partition --emp_partition 表小 放到左侧inner join salariesonsalaries.emp_no is ...
安装Hive && mysql(1)安装HiveHive安装所需要的依赖（安装Hive前必须先安装jdk、hadoop） 1）jdk1.6以上 2）Hadoop要启动 未安装jdk、hadoop可参考文章：https://www.cnblogs.com/wendyw/p/11317021.htmlHive下载、解压 下载路径：http://apache.cs.utah.edu/hive/hive-0.11.0/ 将hive-0.11.0.tar.gz解压到/usr/local中 tar -zxvf hive-0.11.0.tar.gz 产生hive的安装目...
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引的，但是mysql的表一般在创建时就会指定主键，所以在把hive表中的数据导入mysql表的时候通常会使用...
1.Mysql中可用存储过程和函数来实现复杂逻辑处理，两者的对比如下：存储过程作为可执行文件，编译一次放在数据库中，函数又返回值。可设定使用权限。
存储过程中可使用游标，声明变量。用call调用。 2.Hive可用udf（user defined function）来实现复杂逻辑处理
编辑Python脚本
常用的Python字符串分割处理函数有：split 等等 加载udf 调用udf
HQL语法
可将返回结果重新写入其他表内，此时 as后字段和插入表字段一致。
原文：h...
驱动拷贝1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz2．拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/配置Metas...
作业任务：安装Hive，有条件的同学可考虑用mysql作为元数据库安装（有一定难度，可以获得老师极度赞赏），安装完成后做简单SQL操作测试。将安装过程和最后测试成功的界面抓图提交 . 已有的当前虚拟机： 总共三台虚拟机，使用CentOS。一台是NameNode，另两台为DataNode，由于搭载虚拟机的内存不是很足，所以不打算再新增一台虚拟机来另外安装mysql，所以选择其中一台datanode虚拟机来安装mysql，由于很早时候已经安装布署了hadoop...
一、Mysql中别名的使用位置select子句中的别名的使用，在group by及后面可使用。from子句中的表别名的使用，在where及后面可使用。 二、hive sql中别名的使用位置在having及后面可以使用。在order by排序时，必须使用别名，不能使用表达式。原文：https://www.cnblogs.com/dw-date/p/13705291.html
安装包准备1．查看mysql是否安装，如果安装了，卸载mysql （1）查看[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64 （2）卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64 在CentOS中默认安装有MariaDB，这个是MySQL的分支，但为了需要，还是要在系统中安装MySQL，而且安装完成之后可以直接覆盖掉MariaDB。1 下载并安装MySQL官方的 Yum Repository[root@localh...
1 驱动拷贝1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz2．拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar/opt/module/hive/lib/2 配置Me...
安装mysql (1)执行命令 rpm -qa |grep mysql 查看mysql是否安装 删除linux上已经安装的mysql相关库信息。 rpm -e xxxxxxx(查看的库名,可使用右键复制) --nodeps 执行命令 rpm -qa |grep mysql 检查是否删除干净 (2)执行命令 rpm -i mysql-server-******** 安装mysql服务端 (3)启动mysql 服务端，执行命令 后台运行 mysqld_safe & (4)执行命令 rpm -i mysql-client-******** 安装mysql客户端 (5)执行...
有些命令工作中经常用到，记录在一个文章里用于查阅，本文经常更新。 shell命令 linux统计某个目录下所有文件的行数的命令 find /home/crazyant -type f -name "*" | xargs cat | wc -l 用find查找crazyant目录下所有文本文件的行数之和。不过该命令执行挺慢有些命令工作中经常用到，记录在一个文章里用于查阅，本文经常更新。
shell命令
linux统计某个目录下所有文件的行数的命令
find /home/crazyant -type f -name "*" | xargs ...
下载地址：http://mirrors.hust.edu.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-src.tar.gz 执行编译命令 mvn clean package 编译会出现如下错误 > hive/common/src/java/org/apache/hadoop/hive/conf/HiveConf.java:[44,30] > package org.apache.hado下载地址：http://mirrors.hust.edu.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-src.tar.gz
执行编译命令
mvn clean package
编译会出现如下错误
> hive/common/src/j...
目录结构 Hadoop集群(CDH4)实践之 (0) 前言 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)实践之 (2) HBaseZookeeper搭建 Hadoop集群(CDH4)实践之 (3) Hive搭建 Hadoop集群(CHD4)实践之 (4) Oozie搭建 Hadoop集群(CHD4)实践之 (5) Sqoop安目录结构
Hadoop集群(CDH4)实践之 (0) 前言
Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建
Hadoop集群(CDH4)实践之 (2) HBase&Zookeeper搭建
Hadoop集群(CDH4)实践之 (3) Hiv...
