首页 / HADOOP / hadoop分布式搭建

hadoop分布式搭建

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop分布式搭建，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2275字，纯文字阅读大概需要4分钟。

内容图文

　　学习笔记之分布式hadoop，分布式的hadoop是大数据的基础。所有的组件的搭建都建立在分布式hadoop上。后期的高可用和动态的删除节点和增加节点都需要使用到。

　　如果分布式的hadoop搭建成功，则会开启以下服务

master　　namenode　　datanode　　  nodemanager　　jps

slave1　　 　　　　　　  datanode　　  nodemanager　　jps　　secondarynamenode

slave2　　 　　　　　　  datanode　　  nodemanager　　jps　　resourcemanager

上传解压

            tar -zxf hadoop-2.6.0.tar.gz -C /usr/local/src/

mv hadoop-2.6.0.tar.gz hadoop

修改环境变量

            vi /etc/profile　
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

修改配置文件

cd /usr/local/src/hadoop/etc/hadoop

修改6个文件：hadoop-env.sh;core-env.xml;hdfs-env.xml;mapreduce-site.xml;yarn-site.xml;slaves

其中mapreduce-site.xml 并不存在，但是有mapreduce-site.xml.template,所以要重命名。

1)hadoop-env.sh

修改export JAVA_HOME=${JAVA_HOME}为

export JAVA_HOME=/usr/loca/src/jdk

2)core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/zhy/hadoop/hdfs/tmp</value>
</property>

3)hdfs-site.xml

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/src/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/src/hadoop/hdfs/data</value>
</property>
<property>
    <name>dfs.repliation</name>
    <value>2</value>
</property>
<property>
    <name>dfs.secondary.http.address</name>
    <value>slave1:50090</value>
</property>

4)mapreduce-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5)yarn-site.xml

<property>
    <name>yarn.resourcemanager.host</name>
    <value>slave3</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>slave3:8032</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

6)slaves

            master
slave1
slave2

初始化

hadoop namenode -format 或者 hdfs namenode -format

启动

start-dfs.sh
start-yarn.sh                  #在yarn上启动

验证

输入jps查看hadoop启动的服务

原文：https://www.cnblogs.com/txxj/p/11918040.html

内容总结

以上是互联网集市为您收集整理的hadoop分布式搭建全部内容，希望文章能够帮你解决hadoop分布式搭建所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1332868.html

来源：【匿名】