首页 / HADOOP / centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门）

centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10554字，纯文字阅读大概需要16分钟。

内容图文

centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门）

Centos7搭建hadoop环境的详细步骤

1.前期准备：

所需文件：3台虚拟机，jdk-8u161-linux-x64.tar.gz ，hadoop-2.7.4.tar.gz

1.1 centos的镜像下载地址：https://mirrors.aliyun.com/centos/7/isos/x86_64/

1.2 jdk的下载地址：https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html

1.3 hadoop的下载地址： https://archive.apache.org/dist/hadoop/common/

我这里我用的是 CentOS-7-x86_64-Minimal-2009.iso 精简版的centos镜像

虚拟机的装机步骤就说了，安装好以后，进行对虚拟机配网，

2.基础环境：

2.1.配网：（方法有很多种这里就只提一种）

第一台：master 192.168.11.31
第二台：slave1 192.168.11.32
第三台：salve2 192.168.11.33
三台主机只有最后的主机ip不同，其余都一样

[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens32

添加ip地址，网关以及dns，把 ONBOOT 改成 yes 这是开启启动连接的意思
centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门） - 文章图片
然后重启一下网卡命令是：

[root@master ~]# systemctl restart network

成功以后是可以实现3台主机之间互通的，
然后就可以用远程连接虚拟机了，连接工具用CRT或者Xshell都可

2.2 基础配置：

注意：基础配置在三台主机中都需要执行！！

2.2.1 修改主机名：

三台主机都要修改，分别命名为：
第一台：master
第二台：slave1
第三台：salve2

修改主机名的命令是：

[root@master ~]# hostnamectl set-hostname master

分别在三个主机中执行就可以了，完成以后使用 bash 命令刷新即可看到新的主机名

2.2.2 配置hosts文件：

修改hosts文件就是把主机的ip地址以及主机名写进去：
命令如下：

[root@master ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.11.31   master
192.168.11.32   slave1
192.168.11.33   slave2

把后面的三个ip以及主机名写进去，:wq 保存退出就可以了
测试一下直接去ping主机名
centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门） - 文章图片

2.2.3 关闭防火墙：

三台主机都需要关闭防火墙，且关闭开机自启
命令如下：

[root@master ~]# systemctl stop firewalld
[root@master ~]# systemctl disable firewalld

2.2.4 关闭selinux安全模式：

这里同样也是需要在三个主机中执行
命令如下：

[root@master ~]# setenforce 0 

[root@master ~]# vim /etc/sysconfig/selinux 
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

执行完以后，三台虚拟机的基础配置就配置好啦！

因为我装的是精简版的centos7 是不带java环境的，所以这里加一下，把java环境导入进去，这个步骤同样也是需要在3个节点都执行

3.java环境配置：

通过远程工具把 jdk-8u161-linux-x64.tar.gz 这个包导入到虚拟机当中，在/usrl/目录下新建一个java文目录，把解压好的包放到java目录当中

命令如下：

[root@master ~]# mkdir /usr/java/
[root@master ~]# tar -xzvf jdk-8u161-linux-x64.tar.gz -C /usr/java/

导入以后修改 /etc/profile 文件，把java的环境写进去:

[root@master ~]# vim /etc/profile
# /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_161
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:/JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export  JAVA_HOME JRE_HOME CLASS_PATH PATH

！！！这里要注意的是路径的变量不要写错了，就是JAVA_HOME= 这一栏，这个是你解压完的jdk文件存放的路径是哪里，就写哪里，我的是 /usr/java/jdk1.8.0_161

完成以后看一下java的版本，是否配置成功了

[root@master ~]# source /etc/profile
[root@master ~]# java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

出现这个结果，就说明java环境配置成功啦！！

这是master节点的操作，在slave1 和 slave2 节点都是这样操作，
我们可以直接把jdk的目录（和profile文件）直接用 scp 命令发送到slave1和slave2上，命令如下：

[root@master ~]# scp -r /usr/java/jdk1.8.0_161/ slave1:/usr/java/

[root@master ~]# scp -r /usr/java/jdk1.8.0_161/ slave2:/usr/java/

[root@master ~]# scp /etc/profile slave1:/etc/profile

[root@master ~]# scp /etc/profile slave2:/etc/profile

注意：一定要三台虚拟机都能出现环境配置成功的结果才可以！！

4. 配置SSH免密登录：

进入~/.ssh目录

[root@master ~]# cd ~/.ssh

每台机器执行：ssh-keygen -t rsa，这里一路回车即可

[root@master .ssh]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:xa55ggm96lYAKZCjzwxsGFWFaRLn7olBaDRv0GfSwm8 root@master
The key's randomart image is:
+---[RSA 2048]----+
|o*=+++.          |
|*.BB++   .       |
|==.*B     o      |
|=+...E   o       |
|.=. +.. S .      |
|  ++ o.+ o       |
|  . o.+ + .      |
|    ..   o       |
|   oo            |
+----[SHA256]-----+
[root@master .ssh]#

然后会生成两个文件，一个是私钥，一个是公钥，

[root@master .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts

在master1中执行：cp id_rsa.pub authorized_keys

本机无密钥登录

修改authorized_keys权限：chmod 644 authorized_keys

[root@master .ssh]# chmod 644 authorized_keys

重启ssh服务

[root@master .ssh]# systemctl restart sshd

设置master与其他节点无密钥登录

从master中把authorized_keys分发到各个结点上(会提示输入密码，输入密码即可)：

[root@master .ssh]# scp /root/.ssh/authorized_keys slave1:/root/.ssh
root@slave1's password: 
authorized_keys                            100%  393   419.7KB/s   00:00   

[root@master .ssh]# scp /root/.ssh/authorized_keys slave2:/root/.ssh
root@slave1's password: 
authorized_keys                            100%  393   419.7KB/s   00:00

测试用master连接到其他节点

[root@master .ssh]# ssh slave1
Last failed login: Tue Jan  5 04:49:47 CST 2021 from master on ssh:notty
There was 1 failed login attempt since the last successful login.
Last login: Tue Jan  5 04:40:17 2021 from 192.168.11.1
[root@slave1 ~]#

测试成功！！！

5.安装配置hadoop

5.1 下载 hadoop-2.7.4.tar.gz

下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.4/
centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门） - 文章图片

5.2 导入master节点并解压：

导入的方法有很多种，这里不做详细解说，jdk的包能导入，hadoop的包也可，直接说解压hadoop的包把，把hadoop的包解压到/opt/hadoop/目录，命令如下

[root@master ~]# mkdir /opt/hadoop/

[root@master ~]# tar -xzvf hadoop-2.7.4.tar.gz -C /opt/hadoop/

5.3 修改配置文件：

进入/opt/hadoop/hadoop-2.7.4/etc/hadoop/目录下，添加JAVA_HOME环境到hadoop-env.sh和yarn-env.sh 两个配置文件当中

JAVA_HOME=/usr/java/jdk1.8.0_161
centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门） - 文章图片

:wq 保存之后，修改余下这些配置文件

core-site.xml

[root@master hadoop]# vim core-site.xml 
<configuration>
      <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
      </property>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
      </property>
</configuration>

hdfs-site.xml

[root@master hadoop]# vim hdfs-site.xml
<configuration>
      <property>
        <name>dfs.replication</name>
        <value>2</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/dfs/name</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/dfs/data</value>
      </property>
</configuration>

mapred-site.xml.template

[root@master hadoop]# vim mapred-site.xml.template 
<configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
      <property>
        <name>mapreduce.jobhistory.address</name>
        <value>Master:10020</value>
      </property>
      <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Master:19888</value>
      </property>
</configuration>

yarn-site.xml

[root@master hadoop]# vim yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
      <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
      </property>
      <property>
    <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
      </property>
      <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
      </property>
      <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
      </property>
      <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
      </property>
</configuration>

5.4 编辑slaves文件:

清空slaves，再加入其余两个节点的主机名
slave1
slave2

[root@master hadoop]# vim slaves 
slave1
slave2

5.5 将hadoop分发到其余节点

将这一整个 hadoop-2.7.4/ 目录scp到salve1和slave2节点

[root@master ~]# scp -r /opt/hadoop/ slave1:/opt/hadoop/

[root@master ~]# scp -r /opt/hadoop/ slave2:/opt/hadoop/

5.5 hadoo启动！！！

在master服务器启动hadoop，从节点会自动启动，进入/home/hadoop/hadoop-2.7.0/ 目录

[root@master ~]# cd /opt/hadoop/hadoop-2.7.4/

(1)初始化，输入命令，bin/hdfs namenode -format
(2)全部启动sbin/start-all.sh
(3)终止服务器：sbin/stop-all.sh
(4)输入命令jps，可以看到相关信息

(1) 初始化

[root@master hadoop-2.7.4]# bin/hdfs namenode -format
21/01/05 05:28:07 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = master/192.168.11.31
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.7.4
....
........
............
Re-format filesystem in Storage Directory /opt/hadoop/dfs/name ? (Y or N)   Y
.......
............
................
21/01/05 05:29:31 INFO util.ExitUtil: Exiting with status 0
21/01/05 05:29:31 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.11.31
************************************************************/

(2) 全部启动：

[root@master hadoop-2.7.4]# sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [master]
.....
........
..........

(3) jps查看是否成功

有结果则说明hadoop部署完成！

[root@master ~]# jps
11670 ResourceManager
11335 NameNode
11995 Jps
11519 SecondaryNameNode


[root@slave1 ~]# jps
11269 DataNode
11509 Jps
11368 NodeManager


[root@slave2 ~]# jps
11298 DataNode
11397 NodeManager
11529 Jps

此时，三个节点执行jps命令，应该都可出现上图结果，否则即是安装失败，还可通过访问web页面查看是否可正常访问Hadoop，若可，即是部署完成

(1)浏览器打开http://192.168.11.31:8088/

centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门） - 文章图片

(2)浏览器打开http://192.168.11:31:50070/
centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门） - 文章图片

success ！！！

到此hadoop环境部署完成了，接下来可进行bigdata的其余组件安装部署，hive，hdfs，hbase，sqoop，pig，Mahout等等

Hadoop部署（详细版）到此结束

内容总结

以上是互联网集市为您收集整理的centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门）全部内容，希望文章能够帮你解决centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门）所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/930945.html

来源：【匿名】

【上一篇】CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群【下一篇】php能用hadoop吗

更多 ►

【centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门）】教程文章相关的互联网学习教程文章

Hadoop2.7.7 centos7 完全分布式配置与问题随记【代码】【图】

Hadoop2.7.7 centos7 完全分布式配置与问题随记这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤，文章内容未经过润色，请参考的同学搭配其他博客一同使用，并记得根据实际情况调整相关参数。0.preparejdk，推荐1.8关闭防火墙开放ECS安全组?三台机器之间的免密登陆sship映射：【question1】hadoop启动时出现报错java.net.BindException: Cannot assign requested address说明ip映射没有配置正确，正确的方式是...

centos7.2 64位 hadoop2.7.3 安装 hawq 2.10 随笔啊随笔而已。【代码】

在谷歌趋势上看，spark全球火，而hawq除了中国其他地方也比较火，尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人，是北京某著名大学的08届博士！团队也有好多华人hive的感觉很呆板，spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq，一路走来，hawq算是够了。hawq的缺点是开发麻烦，CPP语言么！spark用scala语言，代码量少，开发快。hawq是计算存储分离，使用p2p udp快速传输数据。而spark计算和存储一体，RDD...

centos7 安装 hadoop-cdh-2.5 on mesos【代码】【图】

1.环境说明master 192.168.0.223 mesos-masterslave 192.168.0.225 mesos-salve2.环境准备关闭防火墙关闭selinux两台机器修改主机名master/slave设置hosts，能互相解析3.master和slave配置ssh互信这里配置hadoop用户双机互信，因为hadoop用hadoop用户启动master yum -y install sshpass ssh-keygen 一路回车 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.220 slave yum -y install sshpass ssh-k...

Hadoop3.1.3版本安装（CentOs7环境）【代码】

集群Hadoop实验(虚拟机模拟)centOS选择一台作为Master，其余的作为Slave结点。三台虚拟机的用户名都是qinphy 官网下载Hadoop3.1.3(https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz )ssh网络配置三台虚拟机都需要做的卸载原有的ssh：原本的有缺陷。安装ssh修改ssh的配置文件，使其能够ssh远程用密码登录。修改hosts文件，配置网络地址的映射。测试本地连接，自动生成~/.ssh文件夹# 卸载安...

Hadoop2.7.7版本安装（CentOs7环境）【代码】

Hadoop-2.7.7集群安装下载地址，可选择版本：https://archive.apache.org/dist/hadoop/common/ 只在Master节点上安装安装步骤解压安装用户授权$ cd ~/Downloads $ rz # 上传下载到windows内的hadoop文件 $ sudo tar -zxf ./hadoop-2.7.7.tar.gz -C /usr/local $ cd /usr/local # 更改文件夹名称便于后面的配置 $ sudo mv ./hadoop-2.2.7/ ./hadoop $ sudo chown -R qinphy ./hadoop环境配置 $ vi ~/.bashrc配置内容 export PATH=$P...

[hadoop那些事] centos7环境下载并配置mysql，简单存储一些信息【代码】

本篇文章主要是为sqoop测试写的笔记，所以不太涉及理论方面的问题一、下载weget二、下载yum repo配置文件安装repo三、安装mysql四、启动使用mysql获取暂时密码重设密码创建新库新表新数据一、下载weget yum -y install wget二、下载yum repo配置文件 wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm安装repo rpm -ivh mysql57-community-release-el7-9.noarch.rpm三、安装mysql进入到 /etc/yum.repos...

Centos7安装Hadoop2.7【代码】【图】

准备 1、三台Centos7的机器，在/etc/hosts中都加上所有的hostname解析： 172.20.0.4　　node1 172.20.0.5　　node2 172.20.0.6　　node3 2、配置node1到三台机器的免密登录 3、全部安装jdk8 4、官网下载安装包：hadoop-2.7.7.tar.gz（推荐中国科学技术大学开源镜像：http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz） 5、计划：node1作为namenode和datanode，node2和node3作为datanode 配置三...

Hadoop3.2.0+Centos7三节点完全分布式安装配置【代码】

一、环境准备 ①准备三台虚拟机，配置静态IP ②先修改主机名(每个节点统一命名规范)vim /etc/hostname master　　#重启生效配置DNS每个节点vim /etc/hosts 192.168.60.121 master192.168.60.122 salve1 192.168.60.123 salve2永久关闭防火墙systemctl stop firewalld systemctl disable firewalld配置免密登录ssh-keygen -t rsa　　#一路回车即可cd 到 .sshcp id_rsa.pub authorized_keys #生成公钥将公钥拷贝到节点scp authori...

CentOS7上搭建伪分布式Hadoop环境【代码】【图】

1.下载安装包下载hadoop安装包官网地址：https://hadoop.apache.org/releases.html 版本：建议使用hadoop-2.7.3.tar.gz 系统环境：CentOS 7 注：需要装有JDK支持，版本1.8或者更高 2.解压安装包默认软件安装路径为 /usr/soft，因此先传输安装包到该路径下cd /usr/soft tar -zxvf hadoop-2.7.3.tar.gz3.环境变量配置 vi /ect/profile文件末尾换行追加以下内容 export HADOOP_HOME=/usr/soft/hadoop-2.7.3 export HADOOP_MAPRED_HO...

Centos7塔建hadoop出现错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode的解决方法

1.解决方法：一般都会发生在share/hadoop/hdfs下的jar包，解压或移动时出现问题 [hadoop@node1 ~]$ ls -lh share/hadoop/hdfs 总用量 12K -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-2.8.5.jar -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-2.8.5-tests.jar -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-client-2.8.5.jar -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-h...

Hadoop前期准备--centos7【代码】【图】

vi /etc/hostname vi /etc/hosts [root@hadoop-senior01 network-scripts]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 vi /etc/sudoers vi /etc/selinux/config vi /etc/profile 第一、启动、终止、重启systemctl start httpd.service #启动 systemctl stop httpd.service #停止 systemctl restart httpd.service #重启第二、设置开机启动/关闭systemctl enable httpd.service #开机启动 systemctl disable htt...

centos7 + hadoop 2.7.7 完全分布式搭建【代码】

一完全分布式集群(单点） Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。因此我们在主机的/etc/hosts下均进行如下配置：[root@hadoop0 ~]# vi /etc/hosts 配置主机host 127.0.0.1 localh...

centos7安装hadoop伪分布式学习环境【代码】【图】

使用虚拟机搭建个hadoop伪分布环境，用于模拟一个小规模的集群用于学习。在虚拟机里安装一台centos7系统ip 主机名192.168.158.30 hadoop.master1.安装java环境我安装的是JDK 1.8 安装方法：https://blog.csdn.net/ltgsoldier1/article/details/97780445 我把jdk安装到如下目录： /usr/java/jdk1.8.0_221配置java环境变量： export JAVA_HOME=/usr/java/jdk1.8.0_221 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_...

centos7搭建hadoop-2.7.3,zookeeper-3.4.6,hbase-1.2.5(root用户)【代码】【图】

1、配置ssh免密登录 ① 本机无密钥登录 1.进入~/.ssh目录（若无，则执行一次ssh localhost）， 2.执行ssh-keygen -t rsa命令（回车即可），我弄过了所以已经有啦！ 3.再执行cat ./id_rsa.pub >> ./authorized_keys命令，把id_rsa.pub追加到授权的key里面， 4.给authorized_keys授权chmod 644 authorized_keys， ls -al ~/.ssh命令看权限，5.重启 sudo service sshd restart，6.连接 ssh localhost（yes/no，手动输入yes） 7.退出 e...

Centos7 配置JAVA以及HADOOP环境【图】

背景最近在研究如何使用Parallels安装虚拟机，并且利用多台虚拟机搭建Hadoop集群。前提本人使用的是MAC电脑，在安装好Parallels之后，使用镜像文件安装了一个Centos7的虚拟机。查看JAVA安装情况在使用镜像文件安装Centos7后，打开终端，使用一下指令查看java版本情况java -verison 发现默认已经安装好了java1.8openjdk version "1.8.0_222" OpenJDK Runtime Environment (build 1.8.0_222-b10) OpenJDK 64-Bit Server VM (bu...

HADOOP - 最热教程

Windows下在eclipse中使用和操作hadoop...windows下大数据开发环境搭建（1）——...Hadoop与Facebook 使用 Oracle Load For Hadoop（OLH）实...Hadoop基础知识 windows部署hadoop-2.7.0 你只知大数据的便利，却不知漏洞——ha...头歌Educoder——大数据Hadoop开发环境...WSL2+Ubuntu配置Java Maven Hadoop Spa...Hadoop之MapReduce单元测试

首页 / HADOOP / centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门）

centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门）

内容导读

内容图文

Centos7搭建hadoop环境的详细步骤

1.前期准备：

所需文件：3台虚拟机 ，jdk-8u161-linux-x64.tar.gz ，hadoop-2.7.4.tar.gz

1.1 centos的镜像下载地址：https://mirrors.aliyun.com/centos/7/isos/x86_64/

1.2 jdk的下载地址：https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html

1.3 hadoop的下载地址： https://archive.apache.org/dist/hadoop/common/

我这里我用的是 CentOS-7-x86_64-Minimal-2009.iso 精简版的centos镜像

虚拟机的装机步骤就说了，安装好以后，进行对虚拟机配网，

2.基础环境：

2.1.配网：（方法有很多种这里就只提一种）

2.2 基础配置：

注意：基础配置在三台主机中都需要执行！！

2.2.1 修改主机名：

2.2.2 配置hosts文件：

2.2.3 关闭防火墙：

2.2.4 关闭selinux安全模式：

因为我装的是精简版的centos7 是不带java环境的，所以这里加一下，把java环境导入进去，这个步骤同样也是需要在3个节点都执行

3.java环境配置：

注意：一定要三台虚拟机都能出现环境配置成功的结果才可以！！

4. 配置SSH免密登录：

进入~/.ssh目录

每台机器执行：ssh-keygen -t rsa，这里一路回车即可

然后会生成两个文件，一个是私钥，一个是公钥，

在master1中执行：cp id_rsa.pub authorized_keys

本机无密钥登录

修改authorized_keys权限：chmod 644 authorized_keys

重启ssh服务

设置master与其他节点无密钥登录

从master中把authorized_keys分发到各个结点上(会提示输入密码，输入密码即可)：

测试用master连接到其他节点

测试成功！！！

5.安装配置hadoop

5.1 下载 hadoop-2.7.4.tar.gz

5.2 导入master节点并解压：

导入的方法有很多种，这里不做详细解说，jdk的包能导入，hadoop的包也可，直接说解压hadoop的包把，把hadoop的包解压到/opt/hadoop/目录，命令如下

5.3 修改配置文件：

进入/opt/hadoop/hadoop-2.7.4/etc/hadoop/目录下，添加JAVA_HOME环境到hadoop-env.sh和yarn-env.sh 两个配置文件当中

:wq 保存之后，修改余下这些配置文件

5.4 编辑slaves文件:

5.5 将hadoop分发到其余节点

将这一整个 hadoop-2.7.4/ 目录scp到salve1和slave2节点

5.5 hadoo启动！！！

在master服务器启动hadoop，从节点会自动启动，进入/home/hadoop/hadoop-2.7.0/ 目录

(1) 初始化

(2) 全部启动：

(3) jps查看是否成功

有结果则说明hadoop部署完成！

此时，三个节点执行jps命令，应该都可出现上图结果，否则即是安装失败，还可通过访问web页面查看是否可正常访问Hadoop，若可，即是部署完成

success ！！！

到此hadoop环境部署完成了，接下来可进行bigdata的其余组件安装部署，hive，hdfs，hbase，sqoop，pig，Mahout等等

Hadoop部署（详细版）到此结束

内容总结

内容备注

内容手机端

【centos7搭建hadoop平台搭建hadoop大数据平台（详细版！适合新手入门）】教程文章相关的互联网学习教程文章

CENTOS7 - 相关标签

HADOOP - 相关标签

大数据 - 相关标签

HADOOP - 最新教程

HADOOP - 最热教程

所需文件：3台虚拟机，jdk-8u161-linux-x64.tar.gz ，hadoop-2.7.4.tar.gz