首页 / HADOOP / hadoop配置环境变量

hadoop配置环境变量

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop配置环境变量，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2285字，纯文字阅读大概需要4分钟。

内容图文

hadoop安装包解压 

tar -xvf hadoop-2.7.7.tar.gz

解压成功ll查看文件

配置环境变量

1.

vi  /home/wj/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

修改export JAVA_HOME={$JAVA_HOME}

为 export  JAVA_HOME=/usr/java/jdk1.8.0.181/

2.

vi yarn-env.sh

找到#export JAVA_HOME=/home/y/libexec/jdk.1.6.0/

去掉#，改为

export JAVA_HOME=/usr/java/jdk1.8.0.181/

3.

vi core-site.xml

<configuration>
　　<propoerty>
　　　　<name>fs.defaultFS</name>
　　　　<value>hdfs://master:9000</value>
　　</property>
　　<propoerty>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>/home/wj/hadoopdata</value>
　　</property>
</configuration>

4.

vi hdfs-site.xml

<configuration>
<propery>
<name>dfs.replication</name>
<value>1</value>
</propery>
</configuration>

5. 

vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
　　<propery>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value> #洗牌，类似排序
　　</propery>

 

　　<propery>
　　　　<name>yarn.resourcemanager.address</name>
　　　　<value>master:18040</value>#主机端口

　　　</propery>

 

　　<propery>
　　　　<name>yarn.resourcemanager.scheduler.address</name>
　　　　<value>master:18030</value>#调度端口

　　</propery>

 

　　<propery>

　　　　<name>yarn.resourcemanager.resource-tracker.address</name>
　　　　<value>master:18025</value>#跟踪端口

　　</propery>

　　<propery>
　　　　<name>yarn.resourcemanager.admin.address</name>
　　　　<value>master:18141</value>#管理操作端口

　　</propery>

 

　　<propery>
　　　　<name>yarn.resourcemanager.webapp.address</name>#监控页面
　　　　<value>master:18088</value>

　　</propery>

</configuration>

6.

复制 mapred-site-template.xml

cp etc/hadoop/mapred-site-template.xml etc/hadoop/mapred-site.xml

vi mapred-site.xml

<configuration>

　　<propery>
　　　　<name>mapreduce.framework.name</name>
　　　　<value>yarn</value>
　　</propery>
</configuration>

7.

wj@master ~]$ pwd
/home/wj
[wj@master ~]$ vi ~/.bash_profile

#hadoop
export HADOOP_HOME=/home/wj/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使配置生效
[wj@master ~]$ source .bash_profile

 

原文：https://www.cnblogs.com/aprilwang/p/10954916.html

内容总结

以上是互联网集市为您收集整理的hadoop配置环境变量全部内容，希望文章能够帮你解决hadoop配置环境变量所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1218185.html

来源：【匿名】