hive支持的分析函数： 总的概括 ： http://www.2cto.com/os/201504/387681.html ******************************************************************************************************** Rank over的用法 ：http://www.cnblogs.com/mycoding/archive/2hive支持的分析函数： 总的概括： http://www.2cto.com/os/201504/387681.html ***************************************************************************************...
熟悉hive的人都知道，在原生版本中，目前并没有返回星期几的函数。为了解决这个问题，除了利用java自己编写udf外，也可以利用现有hive函数实现，笔者整理了以下内容供大家参考： hive返回星期几的方法：pmod(datediff(#date#, 2012年任意一个星期日的日期),熟悉hive的人都知道，在原生版本中，目前并没有返回星期几的函数。为了解决这个问题，除了利用java自己编写udf外，也可以利用现有hive函数实现，笔者整理了以下内容供大家参考...
一、什么是hive元数据？ hive元数据就是hive的一些基本的元素，主要包括hive表的基本属性，如下 （1）hive表的数据库名、表名、字段名称与类型、分区字段与类型 （2）表的分区，分区的属性location等 （3）serdeproperties, tblproperties等等 可以通过 desc一、什么是hive元数据？ hive元数据就是hive的一些基本的元素，主要包括hive表的基本属性，如下 （1）hive表的数据库名、表名、字段名称与类型、分区字段与类型 （2）表的分...
Hive自身查询语言HQL能完成大部分的功能，但遇到特殊需求时，需要自己写UDF实现。以下是一个完整的案例。 1、eclipse中编写UDF ①项目中加入hive的lib下的所有jar包和Hadoop中share下hadoop-common-2.5.1.jar（Hadoop目前最新版本2.5.1）。 ②UDF类要继承orgHive自身查询语言HQL能完成大部分的功能，但遇到特殊需求时，需要自己写UDF实现。以下是一个完整的案例。 1、eclipse中编写UDF ①项目中加入hive的lib下的所有jar包和Hadoop...
在linux的终端执行：$HIVE_HOME/bin/hive 会进入交互模式； $HIVE_HOME/bin/hive -e或者-f 总是非交互模式 1、非交互模式执行HQL语句 $HIVE_HOME/bin/hive -e select * from movie limit 10 会现实mapreduce的进度，但不会进入hive的交互模式，最终现实查询在linux的终端执行：$HIVE_HOME/bin/hive 会进入交互模式； $HIVE_HOME/bin/hive -e或者-f 总是非交互模式 1、非交互模式执行HQL语句$HIVE_HOME/bin/hive -e select * from ...
Jdbc连接hive0.14版本 目前官网最新版本是hive0.13，要想下载最新的hive得去git上去clone一个。 Hive0.14最大特点是支持直接插入。 现在做一个jdbc连接hive0.14的例子。 需要的jar包： 数据库的工具类,被定义成不可继承且是私有访问 */ public final class DJdbc连接hive0.14版本 目前官网最新版本是hive0.13，要想下载最新的hive得去git上去clone一个。 Hive0.14最大特点是支持直接插入。 现在做一个jdbc连接hive0.14的例子。 需要...
首先是HBase的完成分布式安装。这次部署的环境是hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1，故也就 首先是HBase的完成分布式安装。这次部署的环境是Hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1，故也就省去了覆盖jar包的步骤以及排除了覆盖带来的不稳定性。OK，下载后解压，进入conf目录，配置hbase-env.sh文件。如图。这里HBASE_CLASSPATH是指向hadoop的conf目录的，，这...
HIVE 0.11版本的bug 两次{{group by}}的bug https://issues.apache.Z喎?http://www.2cto.com/kf/ware/vc/" target="_blank" class="keylink">vcmcvamlyYS9icm93c2UvSElWRS01MTQ5PGJyPgo8cHJlIGNsYXNzPQ=="brush:sql;">SELECT key, COUNT(*)FROM ( SELECT key,HIVE 0.11版本的bug两次{{group by}}的bug https://issues.apache.Z喎?http://www.2cto.com/kf/ware/vc/" target="_blank" class="keylink">vcmcvamlyYS9icm93c2UvSElWRS0...
Hive 命令行 Hive 命令行示例 从命令行执行指定的sql语句 $HIVE_HOME/bin/hive -e select a.col from tab1 a 以指定的hive环境变量执行指定的sql语句 $HIVE_HOME/bin/hive -e select a.col from tab1 a -hiveconf hive.exec.scratchdir=/home/my/hive_scratcHive 命令行 Hive 命令行示例 从命令行执行指定的sql语句 $HIVE_HOME/bin/hive -e select a.col from tab1 a 以指定的hive环境变量执行指定的sql语句 $HIVE_HOME/bin/hive -...
1.配置环境 1.引入jar包：hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar 2.编写udf函数 1.extends UDF 2.重新定义UDF的evaluate函数。 package com.qunar.hiveudf;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;imp1.配置环境 1.引入jar包：hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar 2.编写udf函数 1.extends UDF 2.重新定义UDF的evaluate函数。package com.qunar.hiveudf; import ...
1、查看表结构信息 desc formatted table_name; desc table_name; 查看关联文件： desc extended f_tblog_online_mds; 2、查看分区 show partitions table_name; 3、根据分区查询，提高速度 select table_coulm from table_name where partition_name = 2014-1、查看表结构信息desc formatted table_name; desc table_name; 查看关联文件： desc extended f_tblog_online_mds; 2、查看分区 show partitions table_name; 3、根据分区...
创建带分区的外部表 创建外部表的好处是数据可以随时从hdfs中挂载进表中 使用分区的好处是可以缩短查询范围 下面的例子展示了如何创建外部表 CREATE EXTERNAL TABLE my_daily_report( last_update string, col_a string, col_b string, col_c string, col_d创建带分区的外部表 创建外部表的好处是数据可以随时从hdfs中挂载进表中 使用分区的好处是可以缩短查询范围 下面的例子展示了如何创建外部表CREATE EXTERNAL TABLE my_daily_...
随着Hive 0.10版的发布，GROUPING SETS出现了，并提供了ROLL UP和CUBE这两个特殊场景的子句，真是喜闻乐见的特性随着Hive 0.10版的发布，GROUPING SETS出现了，并提供了ROLL UP和CUBE这两个特殊场景的子句，真是喜闻乐见的特性啊。 不过最近在写两个HQL查询脚本的时候，我发现，对表达式进行GROUP BY并用GROUPING SETS自定义这些表达式的分组方式时，GROUPING SETS好像会出现解析异常：FAILED: ParseException line 66:14 missing ...
下载地址：http://archive.cloudera.com/cdh/3/ 以版本 hive-0.7.1 为例 解压到安装路径: tar -xvf hive-0.7.1.tar.gz 将/conf/hive-env.sh.template 配置环境模板 拷贝一份 cp hive-env.sh.template hive-env.sh 添加以下配置项 #Hadoop 安装路径 HADOOP_HO下载地址：http://archive.cloudera.com/cdh/3/ 以版本 hive-0.7.1 为例 解压到安装路径: tar -xvf hive-0.7.1.tar.gz 将/conf/hive-env.sh.template 配置环境模板 拷贝一份...
[root@idc01-vm-test-124 bin]# ./hive --service hwi 14/04/20 11:22:31 INFO hwi.HWIServer: HWI is starting up 14/04/20 11:22:31 WARN hwi.HWIServer: hive.hwi.listen.port was not specified defaulting to 9999 14/04/20 11:22:31 FATAL hwi.HWIServ[root@idc01-vm-test-124 bin]# ./hive --service hwi 14/04/20 11:22:31 INFO hwi.HWIServer: HWI is starting up 14/04/20 11:22:31 WARN hwi.HWIServer: hive.hwi.listen...