1、行列转换行转列:collect_set/collect_list列转行：select t1.*, t2.col3_newfrom (select ‘a‘ as col1, ‘b‘ as col2, ‘1,2,3‘ as col3union allselect ‘c‘ as col1, ‘d‘ as col2, ‘4,5,6‘ as col3)t1lateral view explode(split(col3,‘,‘))t2 as col3_new; -- 主要是最后一行的写法原文：https://www.cnblogs.com/gouhaiping/p/14620739.html
问题分析：hive中分区表其底层就是HDFS中的多个目录下的单个文件，hive导出数据本质是将HDFS中的文件导出 hive中的分区表，因为分区字段（静态分区）不在文件中，所以在sqoop导出的时候，无法将分区字段进行直接导出思路：在hive中创建一个临时表，将分区表复制过去后分区字段转换为普通字段，然后再用sqoop将tmp表导出即实现需求步凑如下： 1.创建目标表（分区表）hive> CREATE TABLE `dept_partition`( `de...
前言 之前听 CSDN 头牌博主 @沉默王二 说过一句话，我觉得十分在理：处在互联网时代，是一种幸福，因为各式各样的信息非常容易触达，如果掌握了信息筛选的能力，就真的是“运筹帷幄之中，决胜千里之外”。就像现在各行业都内卷不断，我们要从中破圈，只有想办法提升自己的竞争力！例如备战面试，广泛无脑地刷题只会消耗完你最后一丝精力，而多刷别人总结复盘记录下来的面经，有利于我们为下一次的“跨越”做好准备！ ...
2.hive 有索引吗 Hive 支持索引，但是 Hive 的索引与关系型数据库中的索引并不相同，比如，Hive 不支持主键或者外键。Hive 索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少 MapReduce 任务中需要读取的数据块的数量。在可以预见到分区数据非常庞大的情况下，索引常常是优于分区的。虽然 Hive 并不像事物数据库那样针对个别的行来执行查询、更新、删除等操作。它更多的用在多任务节点的场景下，快速地全表扫描大规模...
Hive高级优化 | 面试及调优必读 浪尖 浪尖聊大数据 1，FetchTask 不执行mapreduce，提高速度 设置的三种方式： 方法一：set hive.fetch.task.conversion=more; 方法二：bin/hive --hiveconf hive.fetch.task.conversion=more 方法三： 上面的两种方法都可以开启了Fetch任务，但是都是临时起作用的；如果你想一直启用这个功能，可以在${HIVE_HOME}/conf/hive-site.xml<property><name>hive.fetch.task.conversion</name><value>mi...