基于CentOS-6.9+VM12的Hadoop集群搭建（2）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了基于CentOS-6.9+VM12的Hadoop集群搭建（2），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1802字，纯文字阅读大概需要3分钟。

内容图文

由于篇幅较多，采取分篇，下面开始Hadoop集群的正式搭建。

修改Hadoop配置文件，SSH免密通信，克隆虚拟机，禁用防火墙

集群规划：

1.修改Hadoop配置文件

首先，进入Hadoop目录，在该目录下创建data目录，用于存放Hadoop运行时产生的文件、元数据等·

接着，进入存放Hadoop配置文件目录/opt/software/hadoop/etc/hadoop修改配置：

我们把NN, SN, RM部署到bigdata01上，因此上图中把主机名1均改为bigdata01。

之后，在hadoop-env.sh、yarn-env.sh、mapred-env.sh中分别添加export JAVA_HOME=/opt/software/jdk以指定jdk的路径，并在slaves文件添加bigdata01、bigdata02、bigdata03以指定数据节点DN的位置，如图：

2.禁用防火墙

输入chkconfig iptables off关闭防火墙，再用vi /etc/sysconfig/selinux将行SELINUX改为SELINUX=disabled以关闭高级防火墙。

3.克隆虚拟机

1)克隆bigdata01得到bigdata02、bigdata03。
2)在bigdata02、bigdata03中分别键入vi /etc/sysconfig/network-scripts/ifcfg-eth0 编辑，将IPADDR分别改为对应ip，然后vi /etc/udev/rules.d/70-persistent-net.rules查看其中NAME=eth1的ATTR{address},将DEVICE=eth0改为DEVICE=eth1，将行HWADDR的值改为ATTR{address}的值，然后保存退出，再service network restart重启网卡。

4.ssh免密通信

1)分别在bigdata01、bigdata02、bigdata03分别输入ssh-keygen -t rsa以生产公钥、私钥，默认保存在/root/.ssh目录中。
2)接着，在bigdata01、bigdata02、bigdata03中分别输入ssh-copy-id bigdata01、ssh-copy-id bigdata02、 ssh-copy-id bigdata03将公钥拷贝到其他主机中，至此免密通信完成。

启动Hadoop集群，Web查看集群状态

1)在bigdata01中输入hadoop namenode -format进行格式化。
2)在bigdata01上输入start-all.sh启动集群，jps可查看已经启动的进程。
3)在浏览器输入bigdata01的ip加端口50070(HDFS默认端口，低版本是8020)，比如我的bigdata01的IP是192.168.232.101，则输入192.168.232.101:50070即可(注：访问不了，查看防火墙是否关闭)。
4)在bigdata01上输入stop-all.sh关闭集群，关机前务必先关闭集群，以防集群崩塌出现错误。

至此，Hadoop完全分布式集群搭建成功，谢谢支持！

内容总结

以上是互联网集市为您收集整理的基于CentOS-6.9+VM12的Hadoop集群搭建（2）全部内容，希望文章能够帮你解决基于CentOS-6.9+VM12的Hadoop集群搭建（2）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---