Hadoop之Shell脚本自动启动

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop之Shell脚本自动启动，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1067字，纯文字阅读大概需要2分钟。

内容图文

　　在用Hadoop进行大数据分析处理时，通常配置的服务器不止一两台。为了减少人工操作的重复性，所以hadoop提供了可以自动启动Hadoop集群的Shell脚本。在使用Shell脚本启动集群之前，需要进行相应的配置。

　　说明：$HADOOP_HOME=/root/project/hadoop（根据自己配置的路径不同而不同）

　　打开 $HADOOP_HOME/etc/hadoop/workers 文件，将集群中的所有机器的 hostname 都写到文件中。

　　分别打开 $HADOOP_HOME/sbin 目录下的 start-dfs.sh、stop-dfs.sh 文件，并在文件最前面添加以下代码：

#!/usr/bin/env bash

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

　　分别打开 $HADOOP_HOME/sbin 目录下的 start-yarn.sh、stop-yarn.sh 文件，并在文件最前面添加以下代码：

　　#!/usr/bin/env bash

　　YARN_RESOURCEMANAGER_USER=root
　　HADOOP_SECURE_DN_USER=yarn
　　YARN_NODEMANAGER_USER=root

 

　　问题描述：配置完成Shell脚本后，启动集群报错一下信息：

　　hadoop start-dfs.sh Error: JAVA_HOME is not set and could not be found

　　解决办法：在文件 .bashrc 文件中添加以下代码：

    export JAVA_HOME=/root/project/jdk
    export HADOOP_HOME=/root/project/hadoop
    export PATH=.:$PATH:$JAVA_HOME/bin

 

内容总结

以上是互联网集市为您收集整理的Hadoop之Shell脚本自动启动全部内容，希望文章能够帮你解决Hadoop之Shell脚本自动启动所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---