首页 / 更多教程 / hive表按天动态分区报错

hive表按天动态分区报错

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hive表按天动态分区报错，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1757字，纯文字阅读大概需要3分钟。

内容图文

原本要将ods层的newlogs表中365天的数据全部导入到dwd层的logs表，并按天分区，但是报错了，具体情况如下

执行sql前，开启动态分区并设置参数

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=3000;
set hive.exec.max.dynamic.partitions=6000;
set mapreduce.map.memory.mb=2048;
set mapreduce.reduce.memory.mb=3072;

以下是hql语句

insert overwrite table dwd_myshops.dwd_logs partition(date)
select userid,event,time,goodid,title,price,shopid,mark,
from_unixtime(cast(time/1000 as bigint),'yyyyMMdd') date
from ods_myshops.ods_newlogs;

报错内容如下

MapReduce Total cumulative CPU time: 17 seconds 220 msec
Ended Job = job_1616718205783_0010 with errors
Error during job, obtaining debugging information...
Examining task ID: task_1616718205783_0010_m_000000 (and more) from job job_1616718205783_0010

Task with the most failures(4):
-----
Task ID:
  task_1616718205783_0010_m_000000

URL:
  http://0.0.0.0:8088/taskdetails.jsp?jobid=job_1616718205783_0010&tipid=task_1616718205783_0010_m_000000
-----
Diagnostic Messages for this Task:
Error: Java heap space

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: Map: 1   Cumulative CPU: 17.22 sec   HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 17 seconds 220 msec

后来修改了动态分区的参数

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=3000;
set hive.optimize.sort.dynamic.partition=true;

hive.optimize.sort.dynamic.partition=true
这个参数可以使得每个分区只产生一个文件，可以解决动态分区时的OOM问题
但会严重降低reduce处理并写入一个分区的速度

此时重新执行hql语句，按天分区成功
hive表按天动态分区报错 - 文章图片

内容总结

以上是互联网集市为您收集整理的hive表按天动态分区报错全部内容，希望文章能够帮你解决hive表按天动态分区报错所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1026089.html

来源：【匿名】