A表：单副本14.9G,1002354875条数据
B表：单副本1.5G，40102307条数据
两个表通过partition_path字符串去full outer join关联，没有优化前执行要88分钟
第一种优化：
在sql结尾使用distribute by rand() ，reduce个数88个，但是还是有数据倾斜
select * from A full outer join B
on a.partition_path =b.join_path
distribute by rand()
第二种优化：
经过日志查看数据倾斜的key是 tmp.db，于是思考将这个数据不进行join关联...
set mapred.reduce.tasks=20;#在同一个sql中的不同的job是否可以同时运行,默认为false
set hive.exec.parallel=true;#增加同一个sql允许并行任务的最大线程数
set hive.exec.parallel.thread.number=8;#设置reducer内存大小
set mapreduce.reduce.memory.mb=4096;
set mapreduce.reduce.java.opts=-Xmx3584m; -- -Xmx 设置堆的最大空间大小。#mapjoin相关设置，小表加载到内存，无reduceset hive.mapjoin.smalltable.filesize=2500...
文章目录问题背景解决过程注意事项问题背景kafka数据定时导入到hive，后续做数据清洗： flume,confulent都需要单独部署服务，比较繁琐。调查其他可选方案，参考以下文章：参考资料 综合比较，camus 简单，比较方便接入。主要分两步： 1、采用mapreduce过程处理数据从kafka导入hadoop 2、hadoop数据接入hive管理。解决过程1、下载源码，本地构建jar包。参考文章camus源码 2、查看camus.properties配置文件，支持的功能选项 期间需要...
工作中第一次和搞大数据的同事配合，他让我用hue看hive数据，，由于本人英语菜逼，hue全英文的页面看不习惯，遂找了一个DBeaver工具，我也是第一次使用这个工具，好像挺可以的，可以连mysql，oracle，hive等。。
使用的过程中遇到一些坑，所以就记一下，以便之后回忆。
报错信息：
Could not establish connection to jdbc:hive2://172.16.250.240:10000/test: Required field ‘client_protocol‘ is unset! Struct:TOpenSessionR...
-- 查询具体表的分区目录 select t1.NAME, t2.TBL_NAME,t4.PART_NAME, t3.LOCATION from DBS t1, TBLS t2 , SDS t3 ,PARTITIONSt4
where t1.DB_ID=t2.DB_IDand t4.SD_ID = t3.SD_ID AND t2.TBL_ID = t4.TBL_ID and t1.NAME` =‘数据库名‘AND
t2.TBL_NAME like‘表名‘UNION-- 查询具体表的目录select t1.NAME, t2.TBL_NAME,‘null‘, t3.LOCATION from DBS t1, TBLS t2 , SDS t3
where t1.DB_ID=t2.DB_IDand
t2.SD_ID = t3.SD_ID...
下载地址: http://www.gqylpy.com/di/10《Hive编程指南.pdf》PDF高清完整版-下载
复制这段内容后打开百度网盘手机App，操作更方便哦
内容简介《Hive编程指南》是一本ApacheHive的编程指南，旨在介绍如何使用Hive的SQL方法——HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。《Hive编程指南》通过大量的实例，首先介绍如何在用户环境下安装和配置Hive，并对Hadoop和MapReduce进行详尽阐述，演示Hive如何在Hado...
1.insert
Insert时，from子句既可以放在select子句后，也可以放在insert子句前，下面两句是等价的
hive> FROM invites a INSERT OVERWRITE TABLE eventsSELECT a.bar, count(*) WHERE a.foo > 0 GROUP BY a.bar;
hive> INSERT OVERWRITE TABLE events SELECTa.bar, count(*) FROM invites a WHERE a.foo > 0 GROUP BY a.bar;
2.导出文件到本地
INSERTOVERWRITE LOCAL DIRECTORY ‘/tmp/local_out‘ SELECT a.* FROM pokes a;
一个源...
hive其实做的就是解析一条sql然后形成到mapreduce任务，就是一个代码解释器。hive源代码本身就可以分为ql/metasotre/service/serde
这几块；其中
对于Hive来说，ql是整个Hive最最核心的一个模块，Hive主要的功能都集中在这样一个模块中，即org.apache.hadoop.hive.ql.*，其中最重要的几个模块：parse：语法解析器和语义分析器，将SQL转化为执行计划。optimizer：优化器，包括执行计划Operator图的改写（逻辑优化）和Task图的改写...
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。
理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。
长期观察hadoop处理数据的过程，有几个显著的特征:
1.不怕数据多，就怕数据倾斜。
2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，没半小时是跑不完的。map reduce作业初始化的时间是比较长的。
3.对sum，co...
set自定义变量今天踩了一个坑：在hive的命令行操作中，用set 命令可以自定义出一个变量，但是在函数中使用时确调不出来，如图 在查找原因时，这位大佬的博客https://www.cnblogs.com/superpang/p/4639145.html启发了我，会不会是命名空间的原因让函数调用时无法找到变量呢 这次用带命名空间的方式重新定义了变量，然后再次调用函数，见证奇迹的时刻到了！ 这说明“在hive中使用set操作自定义变量时，hivevar:命名空间不是可选的...
这几天都在学习Hive，在安装方面花费了不少时间，主要问题集中在：1）创建数据库后创建表不成功，提示Specified key was too long; max key length is 767 bytes 长度的问题。因为用的不是案例的数据库，傻不拉几折腾了好些时间。2）总算创建表成功了，在删除表的时候又没反应了，也不知道是什么原因。可能也许大概或许是安装的mysql有问题，这是windows上面的mysql，之前没接触过mysql，甚至连安装都按BD文库弄的，也花不了那么多...
或者current_date
获取当前时间：from_unixtime(unix_timestamp()) -->返回格式：yyyy-MM-dd HH:mm:ss：current_timestamp() -->返回格式：yyyy-MM-dd HH:mm:ss.xxx
2.时间戳转为日期
from_unixtime(时间戳,string format=yyyy-MM-dd HH:mm:ss) //实际写出来不需要带string,只是表明格式
--时间戳为10位，H为24小时计数，h为12小时计数
--string format:默认标准格式为 yyyy-MM-dd HH:mm:ss
--其他格式写法多种...
对于 JOIN 操作：Map： 以 JOIN ON 条件中的列作为 Key，如果有多个列，则 Key 是这些列的组合以 JOIN 之后所关心的列作为 Value，当有多个列时，Value 是这些列的组合。在 Value 中还会包含表的 Tag 信息，用于标明此 Value 对应于哪个表。按照 Key 进行排序。Shuffle： 根据 Key 的值进行 Hash，并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中。Reduce： Reducer 根据 Key 值进行 Join 操作，并且通过 Tag 来识别不同的表中...
1.写在前面
在利用spark计算引擎将kafka或其他源数据组件的数据入hive形成数仓的过程中有两种方式，一种方式是利用spark Rdd的API将数据写入hdfs形成hdfs文件，之后再将文件和hdfs文件和hive表做加载映射。第二种方式是利用sparkSQL将获取的数据Rdd转换成dataFrame，再将dataFrame写成缓存表，最后利用sparkSQL直接插入hive表中。这两种方式各有各自的优点。但大多数开发者更倾向于后者一次编码一步到位的方式。而对于利用sparkSQL...
1. 环境CDH 5.16.12. Hive 使用复杂数据类型2.1 数据格式1 zhangsan:man football,basketball
2 lisi:female sing,dance2.2 Hive 建表create table studentInfo(id int,info map<string,string> comment 'map<姓名，性别>',favorite array<string> comment 'array[football,basketball]'
)
row format delimited fields terminated by '\t' --列分隔符
collection items terminated by ',' --array中各个...
