3、Hive-sql优化，数据倾斜处理

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了3、Hive-sql优化，数据倾斜处理，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4040字，纯文字阅读大概需要6分钟。

内容图文

set mapred.reduce.tasks=20; #在同一个sql中的不同的job是否可以同时运行,默认为false set hive.exec.parallel=true; #增加同一个sql允许并行任务的最大线程数 set hive.exec.parallel.thread.number=8; #设置reducer内存大小 set mapreduce.reduce.memory.mb=4096; set mapreduce.reduce.java.opts=-Xmx3584m; -- -Xmx 设置堆的最大空间大小。

#mapjoin相关设置，小表加载到内存，无reduce
set hive.mapjoin.smalltable.filesize=25000000; -- 刷入内存表的大小(字节)。注意：设置太大也不会校验，所以要根据自己的数据集调整
set hive.auto.convert.join = true; -- 开启mapjoin，默认false
set hive.mapjoin.followby.gby.localtask.max.memory.usage=0.6 ;--map join做group by操作时，可使用多大的内存来存储数据。若数据太大则不会保存在内存里，默认0.55
set hive.mapjoin.localtask.max.memory.usage=0.90; -- 本地任务可以使用内存的百分比，默认值：0.90
-- 在设置成false时，可以手动的指定mapjoin /*+ MAPJOIN(c) */  。-->c：放到内存中的表
select /*+ MAPJOIN(c) */ * from user_install_status u
inner join country_dict c
on u.country=c.code
-- 如果不是做innerjoin， 做left join 、right join
-- A left join B, 把B放到内存
-- A right join B, 把A放到内存

#设置执行引擎
set hive.execution.engine=mr; -- 执行MapReduce任务，也可以设置为spark
-- 设置内存大小
set mapreduce.reduce.memory.mb=8192; -- reduce 设置的是 Container 的内存上限，这个参数由 NodeManager 读取并进行控制，当 Container 的内存大小超过了这个参数值，NodeManager 会负责 kill 掉 Container
set mapreduce.reduce.java.opts=-Xmx6144m; -- reduce Java 程序可以使用的最大堆内存数，要小于 mapreduce.reduce.memory.mb
set mapreduce.map.memory.mb=8192; -- map申请内存大小
set mapreduce.map.java.opts=-Xmx6144m;

#动态分区设置，参考：https://www.cnblogs.com/cssdongl/p/6831884.html
set hive.exec.dynamic.partition=true; 是开启动态分区
set hive.exec.dynamic.partition.mode=nonstrict; 这个属性默认值是strict,就是要求分区字段必须有一个是静态的分区值，当前设置为nonstrict,那么可以全部动态分区

#其他
-- 开始负载均衡
set hive.groupby.skewindata=true
-- 开启map端combiner
set hive.map.aggr=true

二、数据倾斜

2.1、数据倾斜的表现

• 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。
• 单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。 最长时长远大于平均时长。

2.2、数据倾斜的解决方案

参数调节：

• 对于group by 产生倾斜的问题
  • 开启map端combiner：【set hive.map.aggr=true;】
  • 开启负载均衡：【set hive.groupby.skewindata=true;】
    • 有数据倾斜的时候进行负载均衡，当选项设定为 true，生成的查询计划会有两个 MR Job。
    • 第一个 MR Job 中，Map 的输出结果集合会随机分布到 Reduce 中，每个 Reduce 做部分聚合操作，并输出结果，这样处理的结果是相同的 Group By Key 有可能被分发到不同的 Reduce 中，从而达到负载均衡的目的；
    • 第二个 MR Job 再根据预处理的数据结果按照 Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个 Reduce 中），最后完成最终的聚合操作。
    • 

SQL 语句调节：

• 大小表Join：
  • 使用map join让小的维度表先进内存。在map端完成join，不经过reduce。
• 大表Join大表：
  • 非法数据太多，比如null，可以把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终结果。
  • 如果null值不要，可以通过where条件筛选掉；
  • 将大量的非法数据转化成随机数+字符串，这样两个表的数据不会join在一起。
• count distinct大量相同特殊值：
  • count distinct时，将值为空的情况单独处理
  • 如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1。
  • 如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行union。
  • 采用sum group by的方式来替换 count(distinct) 完成计算。

• 特殊情况特殊处理：
  • 在业务逻辑优化效果的不大情况下，有些时候是可以将倾斜的数据单独拿出来处理。最后union回去
  • 比如：group by时维度过小，数据过于集中，数据自身倾斜，比如 北京的用户比其它地方的用户多很多
  • 此时可以把北京的数据单独处理：先把北京的数据分成N块，每块的数据进行局部统计，再将每块的局部统计结果进行汇总，最终统计出结果
  • 

     

     

3、Hive-sql优化，数据倾斜处理

标签：参数   div   ima   png   xmx   htm   倾斜   开启   负载均衡   

本文系统来源：https://www.cnblogs.com/xiexiandong/p/12865923.html

内容总结

以上是互联网集市为您收集整理的3、Hive-sql优化，数据倾斜处理全部内容，希望文章能够帮你解决3、Hive-sql优化，数据倾斜处理所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---