hadoop集群安装

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop集群安装，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5943字，纯文字阅读大概需要9分钟。

内容图文

服务器	node01	node02	node03
HDFS	NameNode
HDFS	SecondaryNameNode
HDFS	DataNode	DataNode	DataNode
YARN	ResourceManager
YARN	NodeManager	NodeManager	NodeManager
历史日志服务器	JobHistoryServer

第一步: 准备环境

准备了3台centos8的服务器

1. 添加用户

三台机器添加普通用户

useradd hadoop
passwd hadoop

使用visudo命令为三台机器为普通用户添加sudo权限

hadoop ALL=(ALL)    ALL

2. 三台机器做主机名与IP地址的映射

# /etc/hosts
192.168.0.94 node01.dces.com node01
192.168.0.95 node02.dces.com node02
192.168.0.96 node03.dces.com node03

3. 三台机器hadoop用户免密码登录

ssh-keygen -t rsa
ssh-copy-id node01

4. 安装JDK

推荐使用手工方式安装jdk

yum install -y java-11-openjdk.x86_64   # 安装JDK
alternatives --config java  # 配置当前使用的jdk

# /etc/bashrc
export JAVA_HOME=$(alternatives --display java | grep current | sed 's/ link currently points to //' | sed 's|/bin/java||')
source /etc/bashrc

5. 其他

# 上传hadoop到服务器
tar -zxvf hadoop-3.2.2.tar.gz
mv hadoop-3.2.2 hadoop

第二步: 检查hadoop支持

bin/hadoop checknative
# 如果 openssl 显示 false, 安装openssl
yum -y install openssl-devel

hadoop集群安装 - 文章图片

第三步：修改配置文件

hadoop/etc/hadoop/

hadoop-env.sh

export JAVA_HOME=$(alternatives --display java | grep current | sed 's/ link currently points to //' | sed 's|/bin/java||'

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/data/temp</value>
    </property>
  	<!--  缓冲区大小，实际工作中根据服务器性能动态调整；默认值4096 -->
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
  	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟；默认值0 -->
    <property>
        <name>fs.trash.interval</name>
        <value>10080</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
    <!--   集群动态上下线 
    <property>
        <name>dfs.hosts</name>
        <value>/opt/hadoop/etc/hadoop/accept_host</value>
    </property>
    <property>
        <name>dfs.hosts.exclude</name>
        <value>/opt/hadoop/etc/hadoop/deny_host</value>
    </property>
     -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
    		<value>node01:9868</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>node01:9870</value>
    </property>
    <!-- namenode保存fsimage的路径 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///home/hadoop/data/namenode</value>
    </property>
    <!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///home/hadoop/data/datanode</value>
    </property>
    <!-- namenode保存editslog的目录 -->
    <property>
        <name>dfs.namenode.edits.dir</name>
        <value>file:///home/hadoop/data/dfs/nn/edits</value>
    </property>
    <!-- secondarynamenode保存待合并的fsimage -->
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>file:///home/hadoop/data/dfs/snn/name</value>
    </property>
    <!-- secondarynamenode保存待合并的editslog -->
    <property>
        <name>dfs.namenode.checkpoint.edits.dir</name>
        <value>file:///home/hadoop/data/dfs/nn/snn/edits</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
	<property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.job.ubertask.enable</name>
        <value>true</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node01:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node01:19888</value>
    </property>
        <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
       <name>yarn.resourcemanager.hostname</name>
        <value>node01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 如果vmem、pmem资源不够，会报错，此处将资源监察置为false -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

workers

node01
node02
node03

第四步：创建文件存放目录

mkdir -p /home/hadoop/data/temp
mkdir -p /home/hadoop/data/namenode
mkdir -p /home/hadoop/data/datanode
mkdir -p /home/hadoop/data/dfs/nn/edits
mkdir -p /home/hadoop/data/dfs/snn/name
mkdir -p /home/hadoop/data/dfs/nn/snn/edits

第五步：配置hadoop的环境变量

/etc/bashrc

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/bashrc

第六步：格式化集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。格式化操作只有在首次启动的时候需要，以后再也不需要了
node01执行一遍即可

hdfs namenode -format
# 或者
hadoop namenode –format

第七步：集群启动

启动HDFS、YARN、Historyserver

如果配置了 etc/hadoop/workers 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。

主节点node01节点上执行

###################### 启动集群
start-dfs.sh
start-yarn.sh
# mr-jobhistory-daemon.sh start historyserver 过时
mapred --daemon start historyserver

##################### 停止集群
stop-dfs.sh
stop-yarn.sh 
# mr-jobhistory-daemon.sh stop historyserver 过时
mapred --daemon stop historyserver

第八步：验证集群是否搭建成功

hdfs http://192.168.0.94:9870/
yarnhttp://192.168.0.94:8088
jobhistory http://192.168.0.94:19888

使用 mr 测试集群

[hadoop@node01 mapreduce]$ hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar pi 5 5

内容总结

以上是互联网集市为您收集整理的hadoop集群安装全部内容，希望文章能够帮你解决hadoop集群安装所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1018592.html

来源：【匿名】

【上一篇】【大数据Hadoop系列】分布式计算框架——MapReduce 【下一篇】php能用hadoop吗

更多 ►

【hadoop集群安装】教程文章相关的互联网学习教程文章

CDH5包下载：http://archive.cloudera.com/cdh5/主机规划：IPHost部署模块进程192.168.107.82Hadoop-NN-01NameNodeResourceManagerNameNodeDFSZKFailoverControllerResourceManager192.168.107.83Hadoop-DN-01Zookeeper-01DataNodeNodeManagerZookeeperDataNodeNodeManagerJournalNodeQuorumPeerMain192.168.107.84Hadoop-DN-02Zookeeper-02DataNodeNodeManagerZookeeperDataNodeNodeManagerJournalNodeQuorumPeerMain各个进程解释...

应对Hadoop集群数据疯长，这里祭出了4个治理对策！【图】

一、背景在目前规模比较大的互联网公司中，总数据量能达到10PB甚至几十PB数据量的公司，我认为中国已经有超过了20家了。而在这些公司中，也有很多家公司的日数据增长达到100TB+ 了。所以我们每天都要观察集群的数据增长，观察是否有哪一天、哪个路径增长过猛了，是否增长了很多垃圾数据；继续深挖下去，看看是不是可以删掉无用的数据。此外我们还要做“容量预估“，把未来的数据增长规划出来，主要是依靠数据增长斜率计算出未来一...

搭Hadoop集群时，配置SSH免密登录【代码】

Hadoop集群采用SSH免密码登录的形式进行通信，需要事先配置免密码认证。CentOS 7操作系统中默认已经安装了SSH，本书中仅介绍SSH免密码登录配置。在配置SSH时使用Xshell分别登陆6个服务器节点，并进行SSH配置。(1)生成公钥SSH目录在/etc，目录下ssh-keygen -t rsa (提示：生成的认证秘钥并非只有rsa还有一个是dsa)，连续敲3个回车就行了，不用输入密码。[hadoop@sys01 ~]$ ssh-keygen -t rsa Generating public/private rsa key pai...

集群配置虚拟主机及部署Hadoop集群碰到的问题【代码】【图】

配置集群方案Ubuntu下的配置apache虚拟主机方案:对其中的Master节点配置虚拟主机，可以通过Chrome浏览器访问目录。安装虚拟主机之前，先安装Apache2sudo apt-get install apache2再安装php5sudo apt-get install php5然后，进入 /etc/apache2/sites-available文件夹，添加”*.conf”文件往该文件里写入<VirtualHost *:80>ServerName author.xxx.comServerAdmin author.xxx.comDocumentRoot "/home/author"<Directory "/home/au...

集群hadoop ubuntu版【代码】【图】

搭建ubuntu版hadoop集群用到的工具：VMware、hadoop-2.7.2.tar、jdk-8u65-linux-x64.tar、ubuntu-16.04-desktop-amd64.iso 1、在VMware上安装ubuntu-16.04-desktop-amd64.iso 单击“创建虚拟机”è选择“典型（推荐安装）”è单击“下一步” è点击完成修改/etc/hostname vim hostname 保存退出修改etc/hosts 127.0.0.1 localhost 192.168.1.100 s100 192.168.1.101 s101 192.168.1.102 s102 192.168.1.103 ...

windows下eclipse远程连接hadoop集群开发mapreduce【代码】【图】

转载请注明出处，谢谢2017-10-22 17:14:09 之前都是用python开发maprduce程序的，今天试了在windows下通过eclipse java开发，在开发前先搭建开发环境。在此，总结这个过程，希望能够帮助有需要的朋友。用Hadoop eclipse plugin，可以浏览管理HDFS，自动创建MR程序的模板文件，最爽的就是可以直接Run on hadoop。1、安装插件下载hadoop-eclipse-plugin-1.2.1.jar，并把它放到 F:\eclipse\plugins 目录下。 2、插件配置与使用2.1指定...

Hadoop集群硬盘故障分析与自动化修复【图】

作者：Zhang, Haohao摘要：硬盘在服务器中起着至关重要的作用，因为硬盘里面存储的是数据，随着制造业技术的提高，硬盘的类型也在逐渐的改变。对于硬盘的管理是IAAS部门的责任，但作为业务运维也需要懂得相关的技术。有的公司采用LVM来管理硬盘，这样做方便扩缩容，也有的公司直接用裸盘来存数据，这样做的好处是不会因LVM而损失掉一部分硬盘I/O速度。需要根据不同的场景采用不同的方式来管理。Hadoop集群中跑Datanode服务的节点不...

使用Docker在本地搭建Hadoop分布式集群

学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法：要么找多台机器来部署（常常找不到机器）或者在本地开多个虚拟机（开销很大，对宿主机器性能要求高，光是安装多个虚拟机系统就得搞半天……）。那么，问题来了！有没有更有可行性的办法？提到虚拟化，Docker最近很是火热！不妨拿来在本地做虚拟化，搭建Hadoop的伪分布式集群环境。虽然有点大材小用，但是学习学习，练练手也是极好的。更多详情，猛戳这...

流式大数据计算实践（2）----Hadoop集群和Zookeeper【代码】【图】

一、前言1、上一文搭建好了Hadoop单机模式，这一文继续搭建Hadoop集群二、搭建Hadoop集群1、根据上文的流程得到两台单机模式的机器，并保证两台单机模式正常启动，记得第二台机器core-site.xml内的fs.defaultFS参数值要改成本机的来启动，启动完毕后再改回来2、清空数据，首先把运行单机模式后生成的数据全部清理掉rm -rf /work/hadoop/nn/currentrm -rf /work/hadoop/dn/currenthdfs namenode -format3、启动集群（1）storm1作为n...

Hadoop集群安装部署(VMware)【图】

一、hadoop版本介绍不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称　CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本。　　Cloudera的CDH和Apache的Hadoop对应关系：　　CDH的两个系列版本分别是CDH3和CDH4，CDH3对应Hadoop 1.0...

Hadoop1.2.1 完全分布式集群搭建实操笔记

前期准备工作： 1.修改Linux主机名：/etc/hostname ubuntu系统：vi /etc/hostname 将ubuntu默认的主机名ubuntu改为suh01 2.修改IP：/etc/network/interfaces 修改配置文件/etc/network/interfaces vi /etc/network/interfaces #将原来的内容注释掉： #auto lo ...

Hadoop（八）Java程序访问HDFS集群中数据块与查看文件系统【代码】【图】

前言　　我们知道HDFS集群中，所有的文件都是存放在DN的数据块中的。那我们该怎么去查看数据块的相关属性的呢？这就是我今天分享的内容了一、HDFS中数据块概述1.1、HDFS集群中数据块存放位置　　我们知道hadoop集群遵循的是主/从的架构，namenode很多时候都不作为文件的读写操作，只负责任务的调度和掌握数据块在哪些datanode的分布，　　保存的是一些数据结构，是namespace或者类似索引之类的东西，真正的数据存储和对数据的读写是...

hadoop分布式集群环境搭建【图】

参考 http://www.cnblogs.com/zhijianliutang/p/5736103.html 1 wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz2 解压 tar -zxvf hadoop-2.9.2.tar.gz3 配置环境变量 vim /etc/profile　　export HADOOP_HOME=/usr/hadoop-2.9.2　　export PATH=$PATH:$HADOOP_HOME/bin4 验证 $ hadoop version 配置ssh无密登录。。。。原文：https://www.cnblogs.com/syscn/p/10138750.html

docker中搭建分布式hadoop集群【代码】

1、pull Ubuntu镜像配置Java环境2、下载hadoop软件包3、配置JAVA_HOME（hadoop-env.sh、mapred-env.sh、yarn-env.sh）4、配置core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://127.17.0.5:8020</value></property><property><name>hadoop.tmp.dir</name><value>/home/root/data/tmp</value></property></configuration>5、配置hdfs-site.xml<configuration><property><name>dfs.namenode.secondary....

Hadoop集群启动之后,datanode节点未正常启动的问题【图】

Hadoop集群启动之后,用JPS命令查看进程发现datanode节点上,只有TaskTracker进程.如下图所示master的进程:两个slave的节点进程发现salve节点上竟然没有datanode进程.查看了日志,发现有这样一句话: 这句话的意思是:datanode上的data目录权限是765,而期望权限是755,所以使用chmod 755 data命令,将目录权限改为755.再次重启hadoop集群,发现datanode节点已经正常启动.原文：http://www.cnblogs.com/Cilimer/p/4055622.html

HADOOP - 最热教程

Windows下在eclipse中使用和操作hadoop...windows下大数据开发环境搭建（1）——...Hadoop与Facebook Hadoop基础知识 windows部署hadoop-2.7.0 使用 Oracle Load For Hadoop（OLH）实...你只知大数据的便利，却不知漏洞——ha...头歌Educoder——大数据Hadoop开发环境...WSL2+Ubuntu配置Java Maven Hadoop Spa...Hadoop之MapReduce单元测试

首页 / HADOOP / hadoop集群安装

hadoop集群安装

内容导读

内容图文

第一步: 准备环境

1. 添加用户

2. 三台机器做主机名与IP地址的映射

3. 三台机器hadoop用户免密码登录

4. 安装JDK

5. 其他

第二步: 检查hadoop支持

第三步：修改配置文件

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

workers

第四步：创建文件存放目录

第五步：配置hadoop的环境变量

第六步：格式化集群

第七步：集群启动

第八步：验证集群是否搭建成功

内容总结

内容备注

内容手机端

【hadoop集群安装】教程文章相关的互联网学习教程文章

HADOOP - 最新教程

HADOOP - 最热教程