centos 6.6 hadoop 2.7.1 完全分布式安装部署
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了centos 6.6 hadoop 2.7.1 完全分布式安装部署，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4657字，纯文字阅读大概需要7分钟。
内容图文
1.安装前，准备三台CENTOS 6.6系统的主机或虚机,并且关闭防火墙及selinux.
2.按如下表格配置IP地址，修改hosts文件及本机名
192.168.199.21 hadoop21 Master
102.168.199.22 hadoop22 Slave1
192.168.199.23 hadoop23 Slave2
650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025206968.jpg" width="632" height="359" name="image_operate_78961438613426977" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署" />
同理修改Slave1，Slave2的
IP地址，hosts文件及本机名。
3.安装ORACLE JDK
先卸载本机openJDK,使用rpm -qa|grep java查看，然后用rpm -e 卸载
从oracle网站找到最新JDK,我这选择了JDK8
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下载好以后解压，并移至/usr/java,如果没有可以mkdir 建立。
tar -xzvf jdk-8u51-linux-x64.gz
mv jdk1.8.0_51 /usr/java
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_51
export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
4.在各节点分别建立Hadoop运行帐号grid,并设置密码
5. 配置SSH免密码登陆。
在各节点分别以grid用户名生成两个密钥文件，一个是私钥id_rsa,另一个是公钥id_rsa.pub
ssh-keygen -t rsa -f ~/.ssh/id_rsa
然后在hadoop21上
cp /home/grid/.ssh/id_rsa.pub /home/grid/.ssh/authorized_keys
scp hadoop22:/home/grid/.ssh/id_rsa.pub pubkeys22
scp hadoop23:/home/grid/.ssh/id_rsa.pub pubkeys23
cat pubkeys22 >> /home/grid/.ssh/authorized_keys
cat pubkeys23 >> /home/grid/.ssh/authorized_keys
rm pubkeys22
rm pubkeys23
最后分发authorized_keys 到各节点
scp /home/grid/.ssh/authorized_keys hadoop22:/home/grid/.ssh
scp /home/grid/.ssh/authorized_keys hadoop23:/home/grid/.ssh
6. 在Master机下载并解压Hadoop2.7.1（使用grid用户名)
找到最近的hadoop镜像，使用wget下载2.7.1
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
解压hadoop-2.7.1.tar.gz
tar -xzvf hadoop-2.7.1.tar.gz
cd hadoop-2.7.1
建立tmp,dfs,dfs/data,dfs/name
7.修改配置文件
修改hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_51
650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025207075.jpg" width="464" height="322" name="image_operate_41561438614255823" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署" />
650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025207175.jpg" width="567" height="498" name="image_operate_85511438614256230" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署" />
650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025207286.jpg" width="581" height="327" name="image_operate_8841438614256447" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署" />
650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025207374.jpg" name="image_operate_63271438614256703" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署" />
650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025207470.jpg" width="612" height="300" name="image_operate_7921438614470465" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署" />
8. 分发至各Salve节点
scp -r /home/grid/hadoop-2.7.1 hadoop22:/home/grid
scp -r /home/grid/hadoop-2.7.1 hadoop23:/home/grid
9.Master机格式化namenode
cd /home/grid/hadoop-2.7.1
./bin/hdfs namenode -format
10.启动Hadoop
11.验证是否成功
Master机应该启动NameNode,SecondaryNameNode,ResourceManager
Slave机应该启动DataNode,NodeManager
650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025207730.jpg" width="670" height="516" name="image_operate_33011438614651489" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署" />
650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025207835.jpg" width="690" height="374" name="image_operate_32881438614709117" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署" />
650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108025207892.jpg" width="690" height="233" name="image_operate_87201438614707089" title="centos <wbr>6.6 <wbr>hadoop <wbr>2.7.1 <wbr>完全分布式安装部署" />
本文出自 “梦想照进现实” 博客，请务必保留此出处http://lookingdream.blog.51cto.com/5177800/1835082
原文：http://lookingdream.blog.51cto.com/5177800/1835082
内容总结
以上是互联网集市为您收集整理的centos 6.6 hadoop 2.7.1 完全分布式安装部署全部内容，希望文章能够帮你解决centos 6.6 hadoop 2.7.1 完全分布式安装部署所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。