首页 / HADOOP / hadoop多机安装YARN

hadoop多机安装YARN

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop多机安装YARN，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6994字，纯文字阅读大概需要10分钟。

内容图文

hadoop伪分布安装称为测试环境安装，多机分布称为生成环境安装。以下安装没有进行HA(热备)和Federation(联邦)。除非是性能需要，否则没必要安装Federation，HA可以一试，涉及到Zookeeper自动切换。

准备工作

1) linux优化

①安装虚拟机linux系统，采用1.2 中的CentOS调优所有步骤，关闭防火墙；②设置网络为桥接模式(编辑虚拟机设置—>网络适配器)，查看自动分配ip或手动配置ip；③等JDK安装的JAVA_HOME(见1.3.1)和HADOOP_HOME(见2.1.6(8))配置好后，直接复制虚拟机，将whaozl001的虚拟机系统复制成3个文件夹作为DataNode的数据节点的linux主机，网卡要重新删除和编辑，见2.1.7(3)；④配置NameNode节点的主机whaozl001到其他主机ssh免密码登录，见2.1.7；⑤注意：在配置过程中所有的property中的name和value值都不能存在空格、配置中的删除线部分表示可不添加进去。

2) 配置节点

对所有Node，配置vim /etc/hosts添加10.30.30.1????whaozl001等ip映射；

10.30.30.1 whaozl001

10.30.30.5 whaozl005

10.30.30.6 whaozl006

10.30.30.7 whaozl007

10.30.30.8 whaozl008

这里配置4个DataNode，1个NameNode，给每个节点主机修改主机名(虚拟机名称、ip映射名、linux主机名)：

?	主机名	ip地址(内网)	linux用户名	密码	充当角色
NameNode	whaozl001	10.30.30.1	haozhulin	123456?	nn/snn/rm?
DataNode	whaozl005	10.30.30.5	haozhulin?	123456?	dn/nm?
DataNode	whaozl006	10.30.30.6	haozhulin?	123456?	dn/nm?
DataNode	whaozl007	10.30.30.7	haozhulin?	123456?	dn/nm?
DataNode	whaozl008	10.30.30.8	haozhulin?	123456?	dn/nm?

虚拟机名称就是虚拟机文件夹名。用户均为haozhulin，其在linux的/home目录下有一个haozhulin文件夹(用户文件夹)。在cluster中充当的角色(namenode, secondary namenode, datanode , resourcemanager, nodemanager)。

解压

将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下，并解压

先让其有执行权限，然后直接./就可以解压

chmod +x hadoop-2.2.0.tar.gz

./hadoop-2.2.0.tar.gz

配置之前，在whaozl001主机的/home/haozhulin/install/hadoop-2.2.0/下建立三个文件夹：~/dfs/name、~/dfs/data、~/temp;

接下来修改/home/haozhulin/install/hadoop-2.2.0/etc/hadoop/下的7个文件。

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaves

yarn-env.sh
修改hadoop-env.sh

配置hadoop的jdk版本环境

cd /home/haozhulin/install/hadoop-2.2.0/etc/hadoop/

vim hadoop-env.sh

hadoop-env.sh为hadoop环境变量，依赖JDK，进行如下修改

#第27行

export JAVA_HOME=/home/haozhulin/install/java/jdk1.7.0_09
修改core-site.xml

在其<configuration></ configuration >中插入：



<property>

????

????<name>fs.defaultFS</name>

????<value>hdfs://whaozl001:9000</value>

</property>



<property>

????<name>hadoop.tmp.dir</name>

????<value>file:///home/haozhulin/install/hadoop-2.2.0/tmp</value>

</property>



<property>

????<name>io.file.buffer.size</name>

????<value>131072</value>

</property>

<property>

????<name>hadoop.proxyuser.haozhulin.hosts</name>

????<value>*</value>

</property>

<property>

????<name>hadoop.proxyuser.haozhulin.groups</name>

????<value>*</value>

</property>
修改hdfs-site.xml

在其<configuration></ configuration >中插入：



<property>

????<name>dfs.namenode.secondary.http-address</name>

????<value> whaozl001:9001</value>

</property>

<property>

????<name>dfs.namenode.name.dir</name>

????<value>file:///home/haozhulin/install/hadoop-2.2.0/dfs/name</value>

</property>

<property>

????<name>dfs.datanode.data.dir </name>

????<value>file:///home/haozhulin/install/hadoop-2.2.0/dfs/data</value>

</property>



<property>

????<name>dfs.replication</name>

????<value>2</value>

</property>

<property>

????<name>dfs.webhdfs.enabled</name>

????<value>true</value>

</property>
修改mapred-site.xml

从template命名mapred-site.xml后<configuration></configuration>中插入：



<property>

????<name>mapreduce.framework.name</name>

????<value>yarn</value>

</property>

<property>

????<name>mapreduce.jobhistory.address</name>

????<value>whaozl001:10020</value>

</property>

<property>

????<name>mapreduce.jobhistory.webapp.address</name>

????<value> whaozl001:19888</value>

</property>
修改yarn-site.xml

在其<configuration></ configuration >中插入：



<property>

????<name>yarn.resourcemanager.hostname</name>

????<value>whaozl001</value>

</property>



<property>

????<name>yarn.nodemanager.aux-services</name>

????<value>mapreduce_shuffle</value>

</property>

<property>

????<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

????<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

????<name>yarn.resourcemanager.address</name>

????<value>whaozl001:8032</value>

</property>

<property>

????<name>yarn.resourcemanager.scheduler.address</name>

????<value> whaozl001:8030</value>

</property>

<property>

????<name>yarn.resourcemanager.resource-tracker.address</name>

????<value> whaozl001:8031</value>

</property>

<property>

????<name>yarn.resourcemanager.admin.address</name>

????<value> whaozl001:8033</value>

</property>

<property>

????<name>yarn.resourcemanager.webapp.address</name>

????<value> whaozl001:8088</value>

</property>
修改slaves

#定位到/home/haozhulin/install/hadoop-2.2.0/etc/hadoop/slaves文件

vim etc/hadoop/slaves

#由于是单机伪分布，所以DataNode就只有localhost

#不需要修改，也可以改为127.0.0.1，都是指本机

#slaves文件中记录所有的slave节点,写入以下内容

whaozl005

whaozl006

whaozl007

whaozl008
修改yarn-en.sh

同修改hadoop-env.sh，修改里面的JAVA_HOME值。
将配置复制到其他节点

这里可以写一个shell脚本进行操作(有大量节点时比较方便)。

scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl005:~/

scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl006:~/

scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl007:~/

scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl008:~/

scp –r 表示递归到目录和目录中文件远程复制到目标主机，~表示当前用户目录(用户目录就是保存在/home下)。
格式化namenode

#进入hadoop位置/home/haozhulin/install/hadoop-2.2.0

cd /home/haozhulin/install/hadoop-2.2.0

#格式化namenode

./bin/hdfs namenode –format????
启动hadoop

#进入hadoop位置/home/haozhulin/install/hadoop-2.2.0

cd /home/haozhulin/install/hadoop-2.2.0

#启动hdfs

./sbin/start-dfs.sh

#jps可查看进程

#此时在whaozl001上面运行的进程有namenode secondarynamenode

#whaozl005/whaozl006/whaozl007/whaozl008上运行的进程有datanode

#启动yarn

./sbin/start-yarn.sh

#此时在whaozl001上面有namenode secondarynamenode resourcemanager

#whaozl005/whaozl006/whaozl007/whaozl008有：datanode nodemanaget

了解hadoop运行情况：

#查看集群状态

./bin/hdfs dfsadmin –report

#查看文件块组成

./bin/hdfsfsck / -files –blocks

#查看HDFS:

http://10.30.30.1:50070

#查看RM

http://10.30.30.1:8088
测试

#先在hdfs上创建一个文件夹

./bin/hdfs dfs –mkdir /input

#测试案例

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarrandomwriter /input

原文：http://www.cnblogs.com/whaozl/p/4869507.html

内容总结

以上是互联网集市为您收集整理的hadoop多机安装YARN全部内容，希望文章能够帮你解决hadoop多机安装YARN所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1310722.html

来源：【匿名】

【下一篇】php能用hadoop吗

更多 ►

【hadoop多机安装YARN】教程文章相关的互联网学习教程文章

hadoop多机安装YARN

hadoop伪分布安装称为测试环境安装，多机分布称为生成环境安装。以下安装没有进行HA(热备)和Federation(联邦)。除非是性能需要，否则没必要安装Federation，HA可以一试，涉及到Zookeeper自动切换。准备工作 1) linux优化 ①安装虚拟机linux系统，采用1.2 中的CentOS调优所有步骤，关闭防火墙；②设置网络为桥接模式(编辑虚拟机设置—>网络适配器)，查看自动分配ip或手动配置ip；③等JDK安装的JAVA_HOME(见1.3.1)和HADOOP_HOME(见2....

hadoop 2.5 伪分布安装【代码】

最新的hadoop2.5 安装目录做了一定修改，安装变得稍微简单一点首先安装准备工具 $ sudo apt-get install ssh$ sudo apt-get install rsync配置ssh $ ssh localhostIf you cannot ssh to localhost without a passphrase, execute the following commands: $ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys进入etc/hadoop/hadoop-env.sh 配置运行环境 # set to the root of your...

hadoop安装报错

安装hadoop HA的时候，格式化ZK,执行hdfs zkfc –formatZK命令报错如下:16/09/08 20:41:53 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=>hddata1:2181,hddata2:2181,hddata3:2181 sessionTimeout=5000 watcher=org.apache.hadoop.ha.ActiveStandbyElector$WatcherWithClientRef@5dd308e316/09/08 20:41:53 FATAL tools.DFSZKFailoverController: Got a fatal error, exiting nowjava.net.UnknownHost...

Hadoop集群安装部署(VMware)【图】

一、hadoop版本介绍不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称　CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本。　　Cloudera的CDH和Apache的Hadoop对应关系：　　CDH的两个系列版本分别是CDH3和CDH4，CDH3对应Hadoop 1.0...

centos 6.6 hadoop 2.7.1 完全分布式安装部署【图】

1.安装前，准备三台CENTOS 6.6系统的主机或虚机,并且关闭防火墙及selinux.2.按如下表格配置IP地址，修改hosts文件及本机名192.168.199.21 hadoop21 Master102.168.199.22 hadoop22 Slave1192.168.199.23 hadoop23 Slave2650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025206968.jpg" width="632" height="359" name="image_operate_78961438613426977" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7....

Hadoop学习笔记（3）hadoop伪分布模式安装

为了学习这部分的功能，我们这里的linux都是使用root用户登录的。所以每个命令的前面都有一个#符号。伪分布模式安装步骤：关闭防火墙修改ip地址修改hostname设置ssh自动登录安装JDK安装hadoop1. 关闭防火墙具体的操作过程参见博文：我用过的Linux命令--关闭防火墙2. 修改ip地址具体的操作过程参见博文：3. 修改hostname具体的操作过程参见博文：我用过的Linux命令--修改主机名原文：http://www.cnblogs.com/stemon/p/4313629.html

安装hadoop+zookeeper ha【代码】

安装hadoop+zookeeper ha 前期工作配置好网络和主机名和关闭防火墙 chkconfig iptables off //关闭防火墙1.安装好java并配置好相关变量 (/etc/profile) #java export JAVA_HOME=/usr/java/jdk1.8.0_65 export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar (最前面要有.)保存退出 source /etc/profile2.设置好主机名和...

Hadoop安装（Ubuntu Kylin 14.04）【代码】【图】

安装环境：ubuntu kylin 14.04 haoop-1.2.1 hadoop下载地址：http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/1.安装JDK，这里要注意的是：要想在hadoop中使用，则需要在hadoop下输入命令：source /etc/profile 来实现，然后用java -version 测试看看是否生效了。2.创建hadoop用户和用户组（切换到root）创建hadoop用户组 sudo addgroup hadoop创建hadoop用户 sudo adduser -ingroup hadoop hadoop给hadoop用户...

hadoop-03-安装java

hadoop-03-安装java1，su root2, rpm -qa|grep jdk #查看已经安装的jdk3，rpm -e --nodeps `rpm -qa|grep jdk ` #删除已经安装的jdk4, rpm -ihv /software/jdk-8u121-linux-x64.rpm5, vi /etc/profile #修改全部用户的配置export JAVA_HOME=/usr/java/latestexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin6, 配置立即生效. /etc/profile #配置立即生效source /etc/profile ...

[hadoop][会装]zookeeper安装【代码】【图】

1.简介　　分布式场景下的各个进程间的协调运作离不开zookeeper， zookeeper已经是大数据领域提供分布式协调服务的事实标准。　　本文只介绍zookeeper的安装方法。 2. 节点规划如下：xufeng-1xufeng-2xufeng-3zookeeperzookeeperzookeeper3.目录规划drwxrwxr-x. 3 hadoop hadoop 4096 7月 2215:15 hadoop-data drwxrwxr-x. 3 hadoop hadoop 4096 7月 2214:34 hadooplib drwxrwxr-x. 3 hadoop hadoop 4096 7月 2215:06 java lrwx...

[转]关于安装hadoop中出现的的￥HADOOP_HOME is deprecated 的解决方法

当前用户的.bash_profile在/home/用户/下，系统的.bash_profile在/etc/skel目录下; 默认可能是隐藏的；有人会问了，隐藏的我怎么打开它，一个简单的办法，直接使用vi命令打开指定目录下的该文件就可以了；比如：vi /root/.bash_profile 说白了修改方法只有两步（针对root用户的命令）：1.修改配置文件：vi /root/.bash_profile 添加 export HADOOP_HOME_WARN_SUPPRESS=12.重新加载配置文件：source /root/.bash_profile下面详细...

Hadoop实战-初级部分之 Hadoop安装部署

私塾在线《深入浅出学 Hadoop- 初级部分》 —— 系列精品教程整体课程概览第一部分：开始云计算之旅第二部分：初识Hadoop第三部分：Hadoop 环境安装部署第四部分：Hadoop Shell 基本操作介绍第五部分：Hadoop 分布式文件系统1第五部分：Hadoop 分布式文件系统2第五部分：Hadoop 分布式文件系统3第六部分：MapReduce 开发1第六部分：MapReduce 开发2第七部分：Hadoop集群的安装本节课程概览Hadoop 在windows 上伪分布...

干货--安装eclipse-hadoop-plugin插件及HDFS API编程两个遇到的重要错误的解决【图】

在Windows的eclipse上写hdfs的API程序，都会遇到两个错误，在网上查了很多资料，都没有解决的办法，经过了很多时间的研究，终于把这个问题解决了错误是 1.java.io.IOException :HADOOP_HOME or hadoop.home.dir are not set. 2.java.io.IOException:could not locate executable D:\hadoop-2.6.4\hadoop-2.6.4\bin/winutils.exe in the Hadoop binaries.，先来讲安装，安装完后再测试，那才是重点部分，因为错误就会...

windows下eclipse安装配置hadoop插件【图】

1.配置hadoop环境变量，本文已hadoop版本2.5.2为例。下载hadoop2.5.2后解压，配置环境变量如下： 2.安装eclipse插件在hadoop1的较早版本中提供了该插件，hadoop2中未提供该插件，需要到github中自己下载。此处使用：hadoop-eclipse-plugin-2.5.2.jar。将hadoop-eclipse-plugin-2.5.2.jar复制到eclipse的dropins目录下解压后重启eclipse： 3.配置hadoop插件将Hadoop installation directory设置为hadoop的根目录原文：http://www.c...

安装Hadoop系列 — 安装SSH免密码登录

配置ssh免密码登录 1) 验证是否安装ssh：ssh -version显示如下的话则成功安装了OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013Bad escape character ‘rsion‘.否则安装ssh：sudo apt-get install ssh2）ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa解释一下，ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思，即密钥类型;-P用于提供密语;-f指定生成的密钥文件。(关于密...

HADOOP - 最热教程

Windows下在eclipse中使用和操作hadoop...windows下大数据开发环境搭建（1）——...Hadoop与Facebook Hadoop基础知识 windows部署hadoop-2.7.0 使用 Oracle Load For Hadoop（OLH）实...你只知大数据的便利，却不知漏洞——ha...头歌Educoder——大数据Hadoop开发环境...WSL2+Ubuntu配置Java Maven Hadoop Spa...Hadoop之MapReduce单元测试

首页 / HADOOP / hadoop多机安装YARN

hadoop多机安装YARN

内容导读

内容图文

准备工作

1) linux优化

解压

修改hadoop-env.sh

修改core-site.xml

修改hdfs-site.xml

修改mapred-site.xml

修改yarn-site.xml

修改slaves

修改yarn-en.sh

将配置复制到其他节点

格式化namenode

启动hadoop

测试

内容总结

内容备注

内容手机端

【hadoop多机安装YARN】教程文章相关的互联网学习教程文章

HADOOP - 相关标签

安装 - 相关标签

HADOOP - 最新教程

HADOOP - 最热教程