centos7安装hadoop伪分布式学习环境

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了centos7安装hadoop伪分布式学习环境，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2942字，纯文字阅读大概需要5分钟。

内容图文

使用虚拟机搭建个hadoop伪分布环境，用于模拟一个小规模的集群用于学习。
在虚拟机里安装一台centos7系统

ip	主机名
192.168.158.30	hadoop.master

1.安装java环境我安装的是JDK 1.8
安装方法：https://blog.csdn.net/ltgsoldier1/article/details/97780445
我把jdk安装到如下目录：

/usr/java/jdk1.8.0_221

配置java环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

2.修改主机名 因为是伪分布式 所以也可以不设置

hostnamectl set-hostname hadoop.master           # 使用这个命令会立即生效且重启也生效
hostname                                         #查看是否修改完成

3.修改/etc/hosts改成如下内容

192.168.158.30 hadoop.master
192.168.158.30 localhost          #添加此项是为了8088端口其他主机可以访问 默认只能本地访问

4.关闭防火墙

systemctl stop firewalld                           #关闭防火墙
systemctl disable firewalld                        #开机禁用防火墙

5.设置ssh无密码登陆
虽然是伪分布 但是hadoop还是需要使用ssh来启动守护进程跟分布式一样

yum -y install openssh-clients                 #安装ssh
ssh-keygen -t rsa                              #一直按回车 生成秘钥
ssh-copy-id hadoop.master                      #发送到cdh.slave1节点
ssh localhost                                  #测试能否登录

6.下载hadoop
下载地址：https://hadoop.apache.org/releases.html

我下载的是2.9.2版 点击binary进入下载页

这两个地址 下载那个都可以

#下载
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz 

7.解压安装

mkdir /usr/hadoop                              #创建安装目录
tar -zxvf hadoop-2.9.2.tar.gz -C /usr/hadoop   #解压到安装目录

8.把hadoop添加到环境变量

vi /etc/profile.d/hadoop.sh         #添加编辑文件
#如下内容添加到hadoop.sh
export HADOOP_HOME=/usr/hadoop/hadoop-2.9.2
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$HADOOP_HOME/sbin:$PATH

#使修改的环境变量生效
source /etc/profile
#测试hadoop是否工作
hadoop version

9.配置hadoop
伪分布式的配置 需要配置四个文件

/usr/hadoop/hadoop-2.9.2/etc/hadoop   #配置文件位置

core-site.xml

<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost/</value>
  </property>
</configuration>

hdfs-site.xml

<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

mapred-site.xml 需要先修改文件名

mv mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

10.格式化HDFS文件系统
首次运行hadoop 需要先格式化HDFS文件系统

hdfs namenode -format

内容总结

以上是互联网集市为您收集整理的centos7安装hadoop伪分布式学习环境全部内容，希望文章能够帮你解决centos7安装hadoop伪分布式学习环境所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---