首页 / HADOOP / hadoop分布式配置文件
hadoop分布式配置文件
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了hadoop分布式配置文件，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1514字，纯文字阅读大概需要3分钟。
内容图文
1.配置hadoop-env.sh:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.201
2.配置core-site.xml文件:
<!-- 指定hadoop所使用的文件系统schema（URL)，HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master1:9000</value>
</property>
<!-- 指定hadoop运行时产生的文件存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
3.配置hdfs-site.xml文件：
<!-- 指定HDFS副本数量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master2:50090</value>
</property>
4.mapred-site.xml:
<!-- 指定mr运行时框架，这里指定在yarn上，默认是local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.yarn-site.xml
<!-- 指定yarn的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master1</value>
</property>
<propety>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
6.slaves文件 ，里面添加节点主机名字：
master1
master2
masters
7.配置环境变量/etc/profile：
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_HOME=/usr/local/hadoop
export YARN_CONF_DIR=${YARN_HOME}/etc/hadoop
原文：https://www.cnblogs.com/Zeng02/p/11717728.html
内容总结
以上是互联网集市为您收集整理的hadoop分布式配置文件全部内容，希望文章能够帮你解决hadoop分布式配置文件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。