Centos基于Hadoop安装Hive
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Centos基于Hadoop安装Hive,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2190字,纯文字阅读大概需要4分钟。
内容图文
![Centos基于Hadoop安装Hive](/upload/InfoBanner/zyjiaocheng/982/f9b98717f3b240c6b408bd243aa5af29.jpg)
安装前说明:
安装hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可(需要再所有namenode上安装),而不需要在datanode节点的机器上安装。另外还需要说明的是,虽然修改配置文件并不需要你已经把hadoop跑起来,但是本文中用到了hadoop命令(创建文件夹时使用过),在执行这些命令前你必须确保hadoop是在正常跑着的,而且启动hive的前提也是需要hadoop在正常跑着,所以建议你先将hadoop跑起来在按照本文操作。
前提:
本文假使你已成功安装Hadoop!如未安装,请参考另一篇博文《centos下安装分布式Hadoop 3.1.1》。
一)安装环境
Centos 7.5
JDK 1.8.0_181
Hadoop 3.1.1
Hive 3.1.0
二)下载HIVE
下载地址:http://www.apache.org/dyn/closer.cgi/hive/
打开网址,点击图1中链接,然后选择Hive 版本,比如这里选择Hive 3.1.0(如图2),然后下载打好包的软件即可(如图3):
图1
图2
图3
三)安装
3.1 解压到特定目录,这里解压到/usr/local目录(用户自行安装软件,建议放在/usr/local目录)
# tar -zxvf apache-hive-3.1.0-bin.tar.gz -C /usr/local
3.2 设置环境变量,编辑/etc/profile添加以下红框内的内容:
设置后运行 # source /etc/profile使修改生效。
3.3 新建3个目录,以便配置hive-site.xml文件
进入Hadoop的bin目录,运行以下命令:
# ./hadoop fs -mkdir -p /var/hive/warehouse
# ./hadoop fs -mkdir -p /var/hive/tmp
# ./hadoop fs -mkdir -p /tmp/hive
修改3个目录的权限:
# ./hadoop fs -chmod 777 /var/hive/warehouse
# ./hadoop fs -chmod 777 /var/hive/tmp
# ./hadoop fs -chmod 777 /tmp/hive
创建后,可运行# ./hadoop fs -ls /var/hive/命令进行查看是否创建成功。
3.4 编辑hive-site.xml文件
3.4.1 新建hive-site.xml文件
进入到/usr/local/apache-hive-3.1.0.bin/conf目录,将hive-default.xml.template文件复制一份,并命名为hive-site.xml.
3.4.2 修改hive-site.xml文件
3.4.2.1 修改name标签为hive.metastore.warehouse.dir的value值,如下:
3.4.2.2 修改name标签为hive.exec.scratchdir的value值,如下:
3.4.2.3 将hive-site.xml文件中所有value标签中的值中的"${system:java.io.tmpdir}"替换为"/var/hive/tmp",如下例子:
3.4.2.4 将hive-site.xml文件中所有value标签中的值中的"${system:user.name}"替换为"root",如下例子:
3.4.2.5 Hive元数据库配置,这里以mysql为例
3.4.2.6 将MySql驱动包传到hive的lib目录
MySql驱动包下载地址: ,注意驱动与版本的对于关系!!!
3.4.2.7 新建hive-env.sh文件并编辑
进入hive的conf目录,将hive-env.sh.template文件复制为hive-env.sh文件,并添加如下内容:
四)启动和测试
4.1 启动
内容总结
以上是互联网集市为您收集整理的Centos基于Hadoop安装Hive全部内容,希望文章能够帮你解决Centos基于Hadoop安装Hive所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。