Centos7.4环境下Hadoop下载与安装

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Centos7.4环境下Hadoop下载与安装，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3407字，纯文字阅读大概需要5分钟。

内容图文

1.下载地址

https://dist.apache.org/repos/dist/release/hadoop/common/

我们这里用的版本是：hadoop-2.7.7.tar.gz

 

2.然后我们在Centos环境中的opt目录创建install文件夹(用来存放压缩包)和soft文件夹(用来存放解压之后的文件)目录:

cd /opt

mkdir install soft

 

3.下载rz(用来向Linux Centos传送文件)和sz命令:

yum install -y lrzsz

接着进入install目录：cd /opt/install

然后输入rz命令 选中我们刚才下载的hadoop-2.7.7.tar.gz 传输完毕后我们在instal目录输入ll命令就可以看到hadoop-2.7.7.tar.gz

 

4.解压hadoop-2.7.7.tar.gz

输入命令:tar -zxvf  hadoop-2.7.7.tar.gz

解压成功后我们会在install目录看到一个hadoop-2.7.7文件,这就是我们需要的东西，接下来移动一下位置，把它移到 opt目录的soft文件夹中：mv  hadoop-2.7.7 /opt/soft 

进入soft目录: cd /opt/soft     

移到完成后我在这给hadoop-2.7.7改了个名字：mv  hadoop-2.7.7   hadoop2.7

 

5.配置环境变量

进入etc目录的profile文件：vi /etc/profile

 

 在尾行添加如下命令:

HADOOP_HOME=/opt/soft/hadoop2.7

PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

图中多了jdk的环境变量，因为hadoop是由java编写的，配置jdk环境是必不可少的，在这里就不演示jdk的安装了

 

6.修改hadoop配置文件

①修改hadoop-env.sh 

进入hadoop2.7目录:　　cd /opt/soft/hadoop2.7

编辑配置文件hadoop-env.sh:　　vi etc/hadoop/hadoop-env.sh 

修改25行(这里修改的是jdk的位置):　　export JAVA_HOME=/opt/soft/jdk1.8
修改33行(这里修改的是hadoop的位置):　　export HADOOP_CONF_DIR=/opt/soft/hadoop2.7/etc/hadoop 

 

②修改core-site.xml配置文件

vi etc/hadoop/core-site.xml

 在尾末添加:

<configuration>

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadop51:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop2.7/tmp</value>
</property>

</configuration>

注意这里的hadop51是主机名，可以在 vi /etc/hostname中修改

 

③修改hdfs-site.xml配置文件

vim etc/hadoop/hdfs-site.xml

 在尾末添加:

<configuration>

<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

</configuration>

 

④修改mapred-site.xml配置文件

这个配置文件一般没有，但是有个模板，名字是：mapred-site.xml.templat

我们把模板复制一遍:

进入etc目录下单hadoop文件夹：　　cd etc/hadoop

复制:　　scp  mapred-site.xml.template  mapred-site.xml

修改配置文件:vi  mapred-site.xml

 在尾末添加：

<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

 

⑤修改yarn-site.xml配置文件

vi  yarn-site.xml

 在尾末添加

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadop51</value>
</property>

<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

注意这里的hadop51是主机名，可以在 vi /etc/hostname中修改(和之前的一致，修改过可以省略)

 

⑥修改slaves文件

vi slaves

 修改为自己的主机名

至此配置文件修改完毕，注意这些配置文件都在 /opt/soft/hadoop2.7/etc/hadoop目录下

 

7.格式化文件系统：

hadoop  namenode -format

 

8.配置免密通信：

如果不配置免密通信每次启动Hadoop都要输入很多次密码，很麻烦。

输入命令:　　ssh-keygen

之后一直回车 可以看到类似图形：

 在输入命令:　　ssh-copy-id hadop51

注意这里的hadop51是主机名

 

⑨启动和关闭Hadoop

启动:　　start-all.sh

关闭:　　stop-all.sh

 

⑩web端查看是否启动成功

http://192.168.31.54:50070 #查看NameNode的状态
http://192.168.31.54:50075 #查看DataNode的状态
http://192.168.31.54:50090 #查看SecondaryNameNode的状态

内容总结

以上是互联网集市为您收集整理的Centos7.4环境下Hadoop下载与安装全部内容，希望文章能够帮你解决Centos7.4环境下Hadoop下载与安装所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---