首页 / MYSQL / hive 与mysql集成安装

hive 与mysql集成安装

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hive 与mysql集成安装，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5380字，纯文字阅读大概需要8分钟。

内容图文

hive‘ IDENTIFIED BY ‘hive‘;
mysql> GRANT ALL PRIVILEGES ON *.* TO ‘hive‘@‘%‘ WITH GRANT OPTION;
mysql> flush privileges;重启mysql服务： sudo service mysql restart

第四步:建立 Hive 专用的元数据库，记得创建时用刚才创建的“hive”账号登陆。

mysql> create database hive;

第五步:在Hive的conf目录下的文件“hive-site.xml”中增加如下配置:

cd $HIVE_HOME/conf
cp hive-default.xml.template hive-default.xml
cp hive-default.xml.template hive-site.xml

从前面我们知道我们的“hive-site.xml”是一个“hive-default.xml.template”的一个拷贝，里面的配置参数非常之多，但是并不是我们都需要的，我们知道，Hive 系统会加载两个配置文件一个默认配置文件“hive-default.xml”，另一个就是用户自定义文件“hive-site.xml”。当 “hive-site.xml”中的配置参数的值与“hive-default.xml”文件中不一致时，以用户自定义的为准。所以我们就把我们不需要的参数都删除掉，只留下上面所示的内容。
备注:其实修改这里的配置文件如果在Linux下面进行则非常麻烦,尽然我们都建立了FTP了,为何不用, 所以把Master.Hadoop上面的这个配置文件下载下来,按照要求进行修改,这样的文件在Windows进行操作是非常方便的,弄好之后在上传上去,覆盖原来的即可。

所以在此可将hive-site.xml中

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>hive.metastore.local</name>
        <value>true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.1.78:3306/hive?characterEncoding=UTF-8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive</value>
    </property>
</configuration>

将hive配置到etc/profile中将$HIVE_HOME/bin配置到PATH中方便使用

将mysql-connector-java-5.1.32.jar拷贝到$HIVE_HOME/lib即可

在bash中执行hive

执行hive遇到一堆问题

Terminal initialization failed; falling back to unsupported

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
    at jline.TerminalFactory.create(TerminalFactory.java:101)
    at jline.TerminalFactory.get(TerminalFactory.java:158)
    at jline.console.ConsoleReader.<init>(ConsoleReader.java:229)
    at jline.console.ConsoleReader.<init>(ConsoleReader.java:221)
    at jline.console.ConsoleReader.<init>(ConsoleReader.java:209)
    at org.apache.hadoop.hive.cli.CliDriver.getConsoleReader(CliDriver.java:773)
    at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:715)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:615)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
    at jline.console.ConsoleReader.<init>(ConsoleReader.java:230)
    at jline.console.ConsoleReader.<init>(ConsoleReader.java:221)
    at jline.console.ConsoleReader.<init>(ConsoleReader.java:209)
    at org.apache.hadoop.hive.cli.CliDriver.getConsoleReader(CliDriver.java:773)
    at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:715)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:615)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

解决方法：在/etc/profile中添加

export HADOOP_USER_CLASSPATH_FIRST=true

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user ‘hive‘@‘eidlink‘ (using password: YES)

NestedThrowables:

java.sql.SQLException: Access denied for user ‘hive‘@‘eidlink‘ (using password: YES)

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

解决方案：

在bash中执行查看hostname 为eidlink

hostname

登陆mysql

mysql -uhive -phive

mysql> grant all on hive.* to hive@‘eidlink‘ identified by ‘hive‘;
mysql>exit;
service mysql restart

执行hive 即可成功 hive默认启动的日志文件目录为/tmp/登陆用户/hive.log

在192.168.1.78:3306/hive库中将自动创建如下表

hive> show tables;
OK
Time taken: 1.279 seconds

1)在Hive上建立数据表
hive> CREATE TABLE xp(id INT,name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘;
2)从 MySQL 数据库上查看元数据信息
用到的 SQL 语句:
use hive; //使用 hive 数据库库
show tables;//显示 hive 数据库中的数据表
select * from TBLS;//查看 hive 的元数据信息
到此Hive集成Mysql作为元数据已完成。

success!

hive 与mysql集成安装

标签：

本文系统来源：http://www.cnblogs.com/hxy520/p/4665272.html

内容总结

以上是互联网集市为您收集整理的hive 与mysql集成安装全部内容，希望文章能够帮你解决hive 与mysql集成安装所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/452778.html

来源：【匿名】

【上一篇】关于Mysql Enterprise Audit plugin的使用【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【hive 与mysql集成安装】教程文章相关的互联网学习教程文章

详细总结使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出【图】

一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL2.3 HBase中的数据导出到mysql目前没有直接的命令将HBase中的数据导出到MySQL，但可以先将HBase中的数据导出到HDFS中，再将数据导出到MySQL。三、使用Sqoop将Oracle中的数据导入到HDFS/Hive/HBase 下面只给出将Oracle中的数据导入HBase，其他情况下的命令行选项与MySQL的操作相似 OK！最好的文档尽在：http://sqoop.apach...

安装Hive(独立模式使用mysql连接)【代码】

安装Hive(独立模式使用mysql连接)1.默认安装了java+hadoop 2.下载对应hadoop版本的安装包 3.解压安装包tar zxvf apache-hive-1.2.1-bin.tar.gz 4.安装mysqlyum -y install mysql-server mysql mysqldev //需要以root身份运行另外可能需要配置yum源mysql常用命令:service mysqld start/stopchkconfig mysqld on //加入开机启动以系统root用户操作 5.授权mysql(以系统hadoop身份数据库root身份进行操作)mysqladmin -u root pa...

hive 与MySQL 的差别

总结 1. Hive数据表分区、分桶的作用分区表产生不同的目录：避免全表扫描分桶表产生不同的文件： jion 速度快和桶抽样2. Hive常用的3复合数据类型及访问方式select * from emp_partitioninner join salariesonsalaries.emp_no is not null andemp_partition.emp_no is not null andemp_partition.emp_no = salaries.emp_no select * from emp_partition --emp_partition 表小放到左侧inner join salariesonsalaries.emp_no is ...

Hive 安装 & Mysql 安装【图】

安装Hive && mysql(1)安装HiveHive安装所需要的依赖（安装Hive前必须先安装jdk、hadoop）　　　　1）jdk1.6以上　　　　2）Hadoop要启动未安装jdk、hadoop可参考文章：https://www.cnblogs.com/wendyw/p/11317021.htmlHive下载、解压　　　　下载路径：http://apache.cs.utah.edu/hive/hive-0.11.0/　　　　将hive-0.11.0.tar.gz解压到/usr/local中　　　　tar -zxvf hive-0.11.0.tar.gz　　　　产生hive的安装目...

sqoop从hive导入数据到mysql时出现主键冲突【代码】

今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引的，但是mysql的表一般在创建时就会指定主键，所以在把hive表中的数据导入mysql表的时候通常会使用...

对比hive和mysql 复杂逻辑流处理【图】

1.Mysql中可用存储过程和函数来实现复杂逻辑处理，两者的对比如下：存储过程作为可执行文件，编译一次放在数据库中，函数又返回值。可设定使用权限。存储过程中可使用游标，声明变量。用call调用。 2.Hive可用udf（user defined function）来实现复杂逻辑处理编辑Python脚本常用的Python字符串分割处理函数有：split 等等加载udf 调用udf HQL语法可将返回结果重新写入其他表内，此时 as后字段和插入表字段一致。原文：h...

Hive_元数据配置到MySQL【代码】

驱动拷贝1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz2．拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/配置Metas...

hive安装--设置mysql为远端metastore【图】

作业任务：安装Hive，有条件的同学可考虑用mysql作为元数据库安装（有一定难度，可以获得老师极度赞赏），安装完成后做简单SQL操作测试。将安装过程和最后测试成功的界面抓图提交 . 已有的当前虚拟机：总共三台虚拟机，使用CentOS。一台是NameNode，另两台为DataNode，由于搭载虚拟机的内存不是很足，所以不打算再新增一台虚拟机来另外安装mysql，所以选择其中一台datanode虚拟机来安装mysql，由于很早时候已经安装布署了hadoop...

hive与mysql别名的位置及使用

一、Mysql中别名的使用位置select子句中的别名的使用，在group by及后面可使用。from子句中的表别名的使用，在where及后面可使用。二、hive sql中别名的使用位置在having及后面可以使用。在order by排序时，必须使用别名，不能使用表达式。原文：https://www.cnblogs.com/dw-date/p/13705291.html

Hive_MySQL安装【代码】【图】

安装包准备1．查看mysql是否安装，如果安装了，卸载mysql （1）查看[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64 （2）卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64 在CentOS中默认安装有MariaDB，这个是MySQL的分支，但为了需要，还是要在系统中安装MySQL，而且安装完成之后可以直接覆盖掉MariaDB。1 下载并安装MySQL官方的 Yum Repository[root@localh...

Hive元数据配置到MySql【代码】

1 驱动拷贝1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz2．拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar/opt/module/hive/lib/2 配置Me...

hive学习系列1——Mysql安装

安装mysql (1)执行命令 rpm -qa |grep mysql 查看mysql是否安装删除linux上已经安装的mysql相关库信息。 rpm -e xxxxxxx(查看的库名,可使用右键复制) --nodeps 执行命令 rpm -qa |grep mysql 检查是否删除干净 (2)执行命令 rpm -i mysql-server-******** 安装mysql服务端 (3)启动mysql 服务端，执行命令后台运行 mysqld_safe & (4)执行命令 rpm -i mysql-client-******** 安装mysql客户端 (5)执行...

shell/hadoop/hive一些有用命令收集

有些命令工作中经常用到，记录在一个文章里用于查阅，本文经常更新。 shell命令 linux统计某个目录下所有文件的行数的命令 find /home/crazyant -type f -name "*" | xargs cat | wc -l 用find查找crazyant目录下所有文本文件的行数之和。不过该命令执行挺慢有些命令工作中经常用到，记录在一个文章里用于查阅，本文经常更新。 shell命令 linux统计某个目录下所有文件的行数的命令 find /home/crazyant -type f -name "*" | xargs ...

编译HIVE0.13出现packageorg.apache.hadoop.confdoes

下载地址：http://mirrors.hust.edu.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-src.tar.gz 执行编译命令 mvn clean package 编译会出现如下错误 > hive/common/src/java/org/apache/hadoop/hive/conf/HiveConf.java:[44,30] > package org.apache.hado下载地址：http://mirrors.hust.edu.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-src.tar.gz 执行编译命令 mvn clean package 编译会出现如下错误 > hive/common/src/j...

Hadoop集群(CDH4)实践之(3)Hive搭建

目录结构 Hadoop集群(CDH4)实践之 (0) 前言 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)实践之 (2) HBaseZookeeper搭建 Hadoop集群(CDH4)实践之 (3) Hive搭建 Hadoop集群(CHD4)实践之 (4) Oozie搭建 Hadoop集群(CHD4)实践之 (5) Sqoop安目录结构 Hadoop集群(CDH4)实践之 (0) 前言 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)实践之 (2) HBase&Zookeeper搭建 Hadoop集群(CDH4)实践之 (3) Hiv...

MYSQL - 技术教程分类

MySQL 教程 MySQL 安装 MySQL 管理 MySQL PHP 语法 MySQL 连接 MySQL 创建数据库 MySQL 删除数据库 MySQL 选择数据库 MySQL 数据类型 MySQL 创建数据表 MySQL 删除数据表 MySQL 插入数据 MySQL 查询数据 MySQL WHERE 子句 MySQL UPDATE 更新 MySQL DELETE 语句 MySQL LIKE 子句 MySQL UNION MySQL 排序 MySQL 分组 MySQL 连接的使用 MySQL NULL 值处理 MySQL 事务 MySQL ALTER命令 MySQL 索引 MySQL 临时表 MySQL 复制表 MySQL 元数据 MySQL 序列使用 MySQL 处理重复数据 MySQL 及 SQL 注入 MySQL 导出数据 MySQL 导入数据 MySQL 函数 MySQL 运算符 mysql 全部

MYSQL - 最热教程

sql分组取最大记录方法 mysql如何设置默认值 mysql创建数据表时指定默认值教程 MySQL 5.7 的初始化操作（root初始密码...Oracle中合并数据集(多行变一行)mysql 相同内容的字段合并为一条的方法解决mysql设置时区时的错误Unknown or ...解决ubuntu下mysql的'Access denied fo...ubuntu系统中MysqlERROR1045(28000)报错...mysql数据库设置不区分大小写

首页 / MYSQL / hive 与mysql集成安装

hive 与mysql集成安装

内容导读

内容图文

内容总结

内容备注

内容手机端

【hive 与mysql集成安装】教程文章相关的互联网学习教程文章

详细总结使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出【图】

安装Hive(独立模式使用mysql连接)【代码】

hive 与MySQL 的差别

Hive 安装 & Mysql 安装【图】

sqoop从hive导入数据到mysql时出现主键冲突【代码】

对比hive和mysql 复杂逻辑流处理【图】

Hive_元数据配置到MySQL【代码】

hive安装--设置mysql为远端metastore【图】

hive与mysql别名的位置及使用

Hive_MySQL安装【代码】【图】

Hive元数据配置到MySql【代码】

hive学习系列1——Mysql安装

shell/hadoop/hive一些有用命令收集

编译HIVE0.13出现packageorg.apache.hadoop.confdoes

Hadoop集群(CDH4)实践之(3)Hive搭建

MYSQL - 相关标签

安装 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程