Hadoop2、Mac系统上，Hadoop集群配置，基于Centos7与Hadoop2.7.3
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop2、Mac系统上，Hadoop集群配置，基于Centos7与Hadoop2.7.3，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4970字，纯文字阅读大概需要8分钟。
内容图文
一、安装了一台虚拟机，先安装单机版Hadoop，为克隆做准备
首先本地下载Hadoop2.7.3文件，然后打开Mac终端上传文件到服务器上指定位置：
上传文件命令 ：scp hadoop2.7.tgz.gz root@192.168.99.120:/usr/bigdata/tools/
文件的目录结构：
开始安装：
1、 先解压： tar -xzvf hadoop2.7.tgz.gz -C /usr/bigdata/
2、 创建符合连接（可以不创建，是为了方便）：ln -s hadoop-2.7.3 hadoop
3、配置环境变量：vim /etc/profile
4、更新环境变量：source /etc/profile
5、验证Hadoop是否安装成功： hadoop version
出现如下即显示安装成功
二、安装Hadoop的伪分布式
1、进入hadoop的/etc/hadoop目录：cd $HADOOP_HOME/etc/hadoop/
2、编辑core-site.xml
命令：vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://s200/</value>
</property>
</configuration>
3、编辑hdfs-site.xml
命令：vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
4、编辑mapred-site.xml
命令：vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5、编辑yarn-site.xml
命令：vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>s200</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
三、Hadoop完全分布式集群搭建（一台主机上）
1、配置hadoop，使用符号连接的方式，让三种配置形态共存。
命令： cd $HADOOP_HOME/etc/
创建三个目录，内容等同于hadoop：(类似与复制重命名)
full(完全) local（单机） pesudo（伪分布）
2、删除hadoop,然后创建符合连接
命令：ln -s full hadoop
3、对hdfs进行格式化
命令：hadoop namenode -format
4、修改hadoop配置文件，手动指定JAVA_HOME环境变量
命令：cd $HADOOP_HOME/etc/full/
编辑： vim hadoop-env.sh
修改：JAVA_HOME环境变量
...
export JAVA_HOME=/soft/jdk
...
5、保存，退出。然后启动hadoop,查看进程
命令：start-all.sh
进程：jps
6、查看hdfs文件系统
命令：hdfs dfs -ls /
7、通过webui查看hadoop的文件系统
8、停止hadoop所有进程
命令：stop-all.sh
9、centos防火墙操作
[cnetos 6.5之前的版本]
$>sudo service firewalld stop //停止服务
$>sudo service firewalld start //启动服务
$>sudo service firewalld status //查看状态
[centos7]
$>sudo systemctl enable firewalld.service //"开机启动"启用
$>sudo systemctl disable firewalld.service //"开机自启"禁用
$>sudo systemctl start firewalld.service //启动防火墙
$>sudo systemctl stop firewalld.service //停止防火墙
$>sudo systemctl status firewalld.service //查看防火墙状态
[开机自启]
$>sudo chkconfig firewalld on //"开启自启"启用
$>sudo chkconfig firewalld off //"开启自启"禁用
注意：拓展
? ? ? Hadoop启动和停止命令：start-all.sh? ? ?stop-all.sh?
? ? ? 单独启动节点的命令：?
? ? ? ? ? ? start-dfs.sh? ? ? ??
? ? ? ? ? ? start-yarn.sh
? ? ? ? ? ? [hdfs] ?start-dfs.sh stop-dfs.sh
? ? ? ? ? ? ?NN
? ? ? ? ? ? ?DN
? ? ? ? ? ? ?2NN
? ? ? ? ? ? [yarn] start-yarn.sh stop-yarn.sh
? ? ? ? ? ? RM
? ? ? ? ? ? NM
10、修改主机名：
1./etc/hostname
s200
2./etc/hosts
127.0.0.1 localhost
192.168.99.200 s200
192.168.99.201 s201
192.168.99.202 s202
192.168.99.203 s203
四、Hadoop完全分布式集群搭建（多台主机）
1、克隆3台client(centos7)
右键centos-7-->管理->克隆-> ... -> 完整克隆
2、启动client
3、启用客户机共享文件夹。
4、修改hostname和ip地址文件
[/etc/hostname]
s200
命令：[/etc/sysconfig/network-scripts/ifcfg-ethxxxx]
5、重启网络服务
service network restart
6、修改/etc/resolv.conf文件
nameserver 192.168.99.2
7、重复以上3 ~ 6过程，每台克隆的新设备都需要进行操作
8、配置slaves
9、将配置分发到每一台主机 scp命令 分发一个文件到指定到文件夹下，不懂scp命令到可以查看如下：
感觉不错到一个朋友到博客：https://blog.csdn.net/yeyinglingfeng/article/details/83411129
命令： scp spark-env.sh root@s201:/usr/bigdata/spark/conf/
10、删除hadoop日志
cd /usr/bigdata/hadoop/logs
rm -rf *
ssh s201 rm -rf /usr/bigdata/hadoop/logs/*
ssh s202 rm -rf /usr/bigdata/hadoop/logs/*
ssh s203 rm -rf /usr/bigdata/hadoop/logs/*
11、格式化文件系统
hadoop namenode -format
12、启动hadoop进程
start-all.sh
13、验证方式：
类似与伪分布式，jps查看进程，webui查看界面
***如有疑问可以提出，我会帮朋友们解决，谢谢大家支持***
***请关注QQ群号：851989684 ***
内容总结
以上是互联网集市为您收集整理的Hadoop2、Mac系统上，Hadoop集群配置，基于Centos7与Hadoop2.7.3全部内容，希望文章能够帮你解决Hadoop2、Mac系统上，Hadoop集群配置，基于Centos7与Hadoop2.7.3所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。