之前部门实现row_number是使用的transform，我觉得用UDF实现后，平时的使用会更方便，免去了transform相对繁琐的语法。 之前部门实现row_number是使用的transform，，我觉得用UDF实现后，平时的使用会更方便，免去了transform相对繁琐的语法。用到的测试表为： hive> desc row_number_test;OKid1 intid2 stringage intscore doublename stringhive> select * from row_number_test;OK2 t04 25 60....
Hive基础学习文档和入门教程，Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载 Hive基础学习文档和入门教程 摘要： Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时...
分号是sql的结束符，在hql中亦如此，但是hive对分号的识别没有那么智能，如下：select concat( 分号是sql的结束符，在hql中亦如此，，但是hive对分号的识别没有那么智能，如下： select concat(;,aa) from lhc limit 1; FAILED: Parse Error: line 1:13 cannot recognize input near in function specification 可见，hql只要遇见分号则认识是语句的EOF。 解决如下 select concat(\073,aa)col from lhc limit 1; col ;11 Hive 的...
hive-0.11.0出来后，得知有将row_number进行封装，对于我这等不懂java的人士来说，是莫大的幸福啊！毫不犹豫的将0.8.0抛弃了！ hive-0.11.0出来后，得知有将row_number进行封装，对于我这等不懂java的人士来说，是莫大的幸福啊！毫不犹豫的将0.8.0抛弃了！ 下面是具体升级步骤： 1，关闭当前hive正在执行的进程，service hive-server以及相应的客户端。 2，不管做哪方面的升级，首先肯定是将当前的进行备份 备份 hive-0.8.0 mv hiv...
Hive 创建表时正则表达式与java代码中一致,RegexSerDe 中用\\来表示反转码 1. Hive 创建表时正则表达式与java代码中一致,RegexSerDe 中用\\来表示反转码 create table inst_cn_3 ( ip string, time string, mac string, lan string, ver string, lc string, pn string, reg string, vrf string, line string) ROW FORMAT SERDE org.apache.Hadoop.hive.contrib.serde2.RegexSerDe WITH SERDEPROPERTIES ( "i...
Hive用户可以通过alter语句更改table属性 Alter Partitions增加partitions： ALTER TABLE table_name ADD [IF NOT EXISTS] Hive用户可以通过alter语句更改table属性 Alter Partitions增加partitions： ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec [LOCATION location1] partition_spec [LOCATION location2] ...partition_spec: (partition_col = partition_col_valu...
一、mysql中的编码 mysqlgt; show variables like 一、mysql中的编码 mysql> show variables like collation_%;+----------------------+-------------------+| Variable_name | Value |+----------------------+-------------------+| collation_connection | latin1_swedish_ci || collation_database | latin1_swedish_ci || collation_server | latin1_swedish_ci |+----------------------+-------------------+3 rows in s...
在上一篇文章《用Sqoop进行MySQL和DHFS系统间的数据互导》中，提到sqoop可以让RDBMS和HDFS之间互导数据，并且也支持从mysql中导入 在上一篇文章《用Sqoop进行MySQL和DHFS系统间的数据互导》中，提到sqoop可以让RDBMS和HDFS之间互导数据，并且也支持从mysql中导入到HBase，但从HBase直接导入mysql则不是直接支持，而是间接支持。要么将HBase导出到HDFS平面文件，，要么将其导出到Hive中，再导出到mysql。本篇讲从hive中导出到mysql。...
在开发了hive的udf udaf udtf函数的jar文件后，需要将jar文件放入hive的环境中才可以使用。可以通过以下三种方法加入： 在开发了hive的udf udaf udtf函数的jar文件后，，需要将jar文件放入hive的环境中才可以使用。可以通过以下三种方法加入： 1. 使用add jar path/test.jar;方法加入 该方法的缺点是每次启动Hive的时候都要从新加入，退出hive就会失效。 2. 通过设置hive的配置文件hive-site.xml 加入 在配置文件中增加配置 hive...
result为mysql数据库名，dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段，values(?,?)对应hive统计结果的值 大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中，再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。 今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。 步骤为 hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar; ...
一，安装MySQL sudo apt-get install mysql-server 可能还要 sudo apt-get install mysq 首先用root登陆给hive用户赋予权限 $mys 一，安装MySQL sudo apt-get install mysql-server 可能还要 sudo apt-get install mysq 首先用root登陆给hive用户赋予权限 $mysql -u root -p111111mysql> GRANT ALL PRIVILEGES ON *.* TO hive@localhost IDENTIFIED BY "hive123"; 2，安装hive； $ tar zxvf hive-0.8.1.tar.gz 在/etc/profile中添加...
可以通过多种方式将数据导入hive表，.通过外部表导入，用户在hive上建external表，建表的同时指定hdfs路径，在数据拷贝到指定hdf 可以通过多种方式将数据导入hive表 1.通过外部表导入用户在hive上建external表，建表的同时指定hdfs路径，在数据拷贝到指定hdfs路径的同时，也同时完成数据插入external表。例如：编辑文件test.txt$ cat test.txt 1 hello2 world3 test4 case字段之间以\t分割启动hive：$ hiv...
用Sqoop导入数据到Hive中,从postgresql中导入大表到hive中会出现jvm内存溢出的错误，这是sqoop1.2及以前版本的一个bug，它把整个 1 安装sqoop 下载sqoop-1.2.0.tar.gz（1.20版兼容Hadoop0.20版本） 将 hadoop-core-0.20.2-cdh3u3.jar ，hadoop-tools-0.20.2-cdh3u3.jar 放入sqoop/lib目录下，这两个jar包是cloudera公司出的 ，可以去它的官网下载。 2 从mysql中导入数据 进入sqoop解压目录(需要将mysql-connector-java-5.1.17-bin....
hive默认的字符编码是utf8格式，所以用utf8模式存储的数据都是可以正常显示的，如果用ssh客户端工具查看时仍是乱码，这可能是你的 hive官方提供两种导入数据的方式 1 从表中导入： insert overwrite table test select * from test2; 2 从文件导入： 2.1 从本地文件导入： load data local inpath /Hadoop/aa.txt overwrite into table test11 2.2 从hdfs导入 load data inpath /hadoop/aa.txt overwrite into table test11 3 导入...
Hive 将元数据存储在 RDBMS 中，有三种模式可以连接到数据库： 1）ingle User Mode： 此模式连接到一个 In-memory 的数据库 Derb Hive 将元数据存储在 RDBMS 中，有三种模式可以连接到数据库： 1）ingle User Mode： 此模式连接到一个 In-memory 的数据库 Derby，一般用于 Unit Test。 2）Multi User Mode：通过网络连接到一个数据库中，是最经常使用到的模式。 3）Remote Server Mode：用于非 Java 客户端访问元数据库，在服务器端...