首页 / HADOOP / hadoop 环境搭建

hadoop 环境搭建

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop 环境搭建，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6998字，纯文字阅读大概需要10分钟。

内容图文

技术分享

前提条件

先搭建 http://www.cnblogs.com/raphael5200/p/5152004.html 的环境，然后在其基础上进行修改

一、安装Zookeeper

由于环境有限，所以在仅有的4台虚拟机上完成多个操作；

a.在4台虚拟中选3台安装Zookeeper,我选 node5 node6 node7

b.在4台虚拟中选3台作为JournalNode的节点，我选node6 node7 node8

c..在4台虚拟中选2台作为NameNode ，我选node5(Active) node8(Standby)

1.解压并移动

下载并解压zookper压缩包，将zookeeper复制到/usr/local/zookeeper目录下；

2.配置Zookeeper

$ cd /usr/local/zookeeper/
$ vim /conf/zoo.cfg
#写入 
tickTime=2000
dataDir=/opt/zookeeper  #指定Zookeeper的Data目录
clientPort=2181
initLimit=5
syncLimit=2
# 3台节点
server.1=node5:2888:3888
server.2=node6:2888:3888
server.3=node7:2888:3888

3.配置zookeeper的环境变量

$ vim /root/.bash_profile
#写入
PATH=$PATH:/usr/local/zookeeper-3.4.6/bin

4.覆盖node6 和 node7的zookeeper配置文件和.bash_profile

5.创建myid

分别在node5 node6 node7的dataDir目录中创建一个myid的文件，文件内容分别为1，2，3（即server的id）

Node 5:
$ vim /opt/zookeeper/myid
#写入 
1

Node 6:
$ vim /opt/zookeeper/myid
#写入 
2

Node 7:
$ vim /opt/zookeeper/myid
#写入 
3

6.启动zookeeper

$ cd /usr/local/zookeeper
$ bin/zkServer.sh start
# 显示：Starting zookeeper ... STARTED 表示启动成功

二、免密码登录

node5 node8 两台NameNode相互做免密码登录，在上一文中已经在node5上做了免密码登录，下面只在Node8上做node5的免密码登录：

Node8:
$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
$ scp ~/.ssh/id_dsa.pub root@node5:/opt
Node5:
$ cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys

完成以后，测试一下 node8 $: ssh node5

三、配置HDFS 高可用

1.配置HDFS配置文件

$ cd  /usr/local/hadoop-2.5.1/etc/hadoop
$ vi hdfs-site.xml
#写入
<configuration>
#配置NameService 名字随便起
 <property>
  <name>dfs.nameservices</name>
  <value>raphael</value>
 </property>
# 这里的最后一个名字就是上面的nameService   value是两台NameNode的节点
<property>
  <name>dfs.ha.namenodes.raphael</name>
  <value>node5,node8</value>
</property>
# node5和node8的rpc地址
<property>
  <name>dfs.namenode.rpc-address.raphael.node5</name>
  <value>node5:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.raphael.node8</name>
  <value>node8:8020</value>
</property>
# node5和node8的http地址
<property>
  <name>dfs.namenode.http-address.raphael.node5</name>
  <value>node5:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.raphael.node8</name>
  <value>node8:50070</value>
</property>
# 3台JournalNode地址，后台跟名字，但后面的名字不能与nameService相同
<property>
  <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://node6:8485;node7:8485;node8:8485/raphael5200</value>
</property>
#配置客户端调用接口
<property>
  <name>dfs.client.failover.proxy.provider.raphael</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_dsa</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
  <value>30000</value>
</property>
#配置journalnode目录
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/journalnode</value>
</property>
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

$ vi core-site.xml
#这里的value就是NameService的名字
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://raphael</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop</value>
    </property>
#3台zookeeper节点
 <property>
   <name>ha.zookeeper.quorum</name>
   <value>node5:2181,node6:2181,node7:2181</value>
 </property>

a.删除node5 node6 node7 node8 etc/hadoop/masters文件(这里已经不需要standry了)

b.删除node5 node6 node7 node8 上的hadoop.tmp.dir 目录

$ rm -rf /opt/hadoop

c.将node5 配置好的文件，覆盖到node6 node7 node8

$ scp -r etc/hadoop/* root@node6:/usr/local/hadoop/etc/hadoop
$ scp -r etc/hadoop/* root@node7:/usr/local/hadoop/etc/hadoop
$ scp -r etc/hadoop/* root@node8:/usr/local/hadoop/etc/hadoop

2.覆盖并启动

a.启动三台JournalNode node6 node7 node8

# 前提是要先把zookeeper启动起来

$ sbin/hadoop-daemon.sh start journalnode

b.在其中一个NameNode上格式化hadoop.tmp.dir 并初始化

Node5:
$ bin/hdfs namenode -format

c.把格式化后的元数据拷备到另一台NameNode节点上

$ scp -r /opt/hadoop root@node8:/opt/hadoop

d.启动NameNode

Node5:
$ sbin/hadoop-daemon.sh start namenode

Node8:
$ bin/hdfs namenode -bootstrapStandby
$ sbin/hadoop-daemon.sh start namenode

e.初始化zkfc

Node5:
$ bin/hdfs zkfc -formatZK

f.全面停止并全面启动

Node5:
$ bin/stop-dfs.sh
$ bin/start-dfs.sh

注：在启动JournalNode和其他项时，没有其他好的方法较验是否启动成功，只能查看日志文件，如果日志文件没有报错，则表示启动成功；

3.访问NameNode

访问两台NameNode node5和node8的50070端口，会显示一个端口是Active 另一个端口是Standby 如下图：

http://node5:50070 http://node8:50070

技术分享

注：如果Node5突然挂掉了，那么node8备用的NameNode会自动的补上，替换为Active，测试方法：Kill node5 的nameNode进程，然后再刷新Node8：

$ jps #ps是显示当前系统进程 ，jps就是显示当前系统的java 进程
$ kill -9 进程ID  #杀掉进程

四、使用Yarn来调度HDFS

#先所有的Hadoop相关进程
$ stop-dfs.sh

1.配置yarn-site.xml

$ cd /usr/local/hadoop/
$ vim etc/hadoop/yarn-site.xml
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
# 该cluster-id不能与nameService相同
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>raphael521</value>
 </property>
#指定2台Resource Manager (即Name Node )节点
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node5</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node8</value>
 </property>
#指定zookeeper 节点
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node6:2181,node7:2181,node8:2181</value>
 </property>
  <property>

        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

 </configuration>

2.配置etc/hadoop/mapred-site.xml

$ vim etc/hadoop/mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.将mapred-site.xml yarn-site.xml 覆盖到其他的节点上

4.启动 yarn

#单独启动yarn使用命令：
 $ sbin/start-yarn.sh
 $ sbin/stop-yarn.sh
#启动所有Hadoop相关进程使用命令
$ start-all.sh
#启动完成以后，另一台NameNode需要手动启动yarn
$ start-yarn.sh

5.访问

访问yarn的端口 http://node5:8088 http://node8:8088 可以看到：

技术分享

说明：当访问Node5的时候能够正常的显示界面，并且在Nodes下还能加载出集群的所有节点，但是访问node8的时候，则不会显示，而是提示页面将跳到Active的Resource Manager (RM)节点上,然后页面就跳了；

当node5突然挂掉了，zookeeper会立刻将RM切换到node8上，将node8做为Active的RM，然后在Nodes下会在几十秒内加载出所有节点；

原文：http://www.cnblogs.com/lovelanglangyou/p/5530634.html

内容总结

以上是互联网集市为您收集整理的hadoop 环境搭建全部内容，希望文章能够帮你解决hadoop 环境搭建所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1143900.html

来源：【匿名】

【上一篇】Hadoop有点难【下一篇】php能用hadoop吗

更多 ►

【hadoop 环境搭建】教程文章相关的互联网学习教程文章

Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置【代码】【图】

Hadoop是Java写的，他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK（1.6以上）原材料：在Oracle官网下载的32位JDK：说明：1、CentOS 7.0系统现在只有64位的，但是，Hadoop一般支持32位的，在64位环境下有事会有Warning出现，避免真的有神马问题，选择i586的JDK（即32位的），当然，64位的CentOS 7 肯定是兼容32位JDK的，记住：64位系统肯定兼容32位的软件，32位系统不能兼容64位软件。64位只是说明了CPU一次运算的...

Ganglia环境搭建并监控Hadoop分布式集群【图】

Ganglia环境搭建并监控Hadoop分布式集群简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Gangli...

大数据测试之hadoop单机环境搭建(超级详细版)【图】

友情提示：本文超级长，请备好瓜子Hadoop的运行模式单机模式是Hadoop的默认模式，在该模式下无需任何守护进程，所有程序都在单个JVM上运行，该模式主要用于开发和调试mapreduce的应用逻辑；伪分布式模式下，Hadoop守护进程运行在一台机器上，模拟一个小规模的集群。该模式在单机模式的基础上增加了代码调试的功能，允许你检查NameNode，DataNode，Jobtracker，Tasktracker等模拟节点的运行情况；单机模式和伪分布式模式均用于开发和...

(原创)hadoop 分布式开发环境搭建【代码】

一，安装java环境添加java环境变量vi /etc/profile # add by tank export JAVA_HOME=/data/soft/jdk/jdk1.7.0_71 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 二，修改文件句柄数vi /etc/security/limits.conf # add by tank* soft nofile 65536 * hard nofile 65536 三，设置ssh无密码登录参考：http://www.cnbl...

《OD大数据实战》hadoop伪分布式环境搭建【代码】

一、安装并配置Linux8. 使用当前root用户创建文件夹，并给/opt/下的所有文件夹及文件赋予775权限，修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools chmod775 /opt/* chown beifeng:beifeng /opt/*最终效果如下：[beifeng@beifeng-hadoop-02 opt]$ pwd /opt [beifeng@beifeng-hadoop-02 opt]$ ll total 20 drwxrwxr-x. 5 beifeng beifeng 4096 Jul 3000:13 clusterap...

Hadoop学习笔记(3)——分布式环境搭建【图】

Hadoop学习笔记(3) ——分布式环境搭建前面，我们已经在单机上把Hadoop运行起来了，但我们知道Hadoop支持分布式的，而它的优点就是在分布上突出的，所以我们得搭个环境模拟一下。在这里，我们采用这样的策略来模拟环境，我们使用3台ubuntu机器，1台为作主机(master)，另外2台作为从机(slaver)。同时，这台主机，我们就用第一章中搭建好的环境来。我们采用与第一章中相似的步骤来操作: 运行环境搭建在前面，我们知道，运行hadoo...

Hadoop,HBase集群环境搭建的问题集锦(三)【代码】【图】

16配置IK中文分词器。 1.下载最新的Ik中文分词器。下载地址：http://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip 2.解压IK Analyzer 2012FF_hf1.zip,获得IK Analyzer 2012FF_hf1。将该目录下的IKAnalyzer.cfg.xml,stopword.dic放到之前安装TOMCAT_HOME/webapps/solr/WEB-INF/classes目录下（没有就创建classes文件夹。） IKAnalyzer2012FF_u1.jar放到之前安装的TOMCAT_HOME/webapps/solr/WEB-INF/lib目...

Ganglia环境搭建并监控Hadoop分布式集群【图】

简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Ganglia和Hadoop集群、实现wordcount实例关闭防火...

Hadoop学习笔记之Hadoop伪分布式环境搭建

搭建为伪分布式Hadoop环境1、宿主机（Windows）与客户机（安装在虚拟机中的Linux）网络连接。a) Host-only 宿主机与客户机单独组网；好处：网络隔离；坏处：虚拟机和其他服务器之间不能通讯；b) Bridge 桥接宿主机与客户机在同一个局域网中。好处：窦在同一个局域网，可以互相访问；坏处：不完全。2、Hadoop的为分布式安装步骤a) 设置静态IP在centos下左面上右上角图标右键修改；重启网卡service network restart;验证：执行命令i...

Hadoop环境搭建

第一部分：Linux环境安装Hadoop是运行在Linux，虽然借助工具也可以运行在Windows上，但是建议还是运行在Linux系统上，第一部分介绍Linux环境的安装、配置、Java JDK安装等。第二部分：Hadoop本地模式安装Hadoop本地模式只是用于本地开发调试，或者快速安装体验Hadoop，这部分做简单的介绍。第三部分：Hadoop伪分布式模式安装学习Hadoop一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行Hadoop的各个模块，伪分布式...

《Programming Hive》读书笔记（一）Hadoop和hive环境搭建【代码】

《Programming Hive》读书笔记（一）Hadoop和Hive环境搭建先把主要的技术和工具学好，才干更高效地思考和工作。 Chapter 1.Introduction 简单介绍Chapter 2.Getting Started 环境配置 Hadoop版本号会更新，以官方安装教程为准http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation For most of the book, it won’t matterwhich mode you’re using. We’...

hadoop 环境搭建【代码】【图】

前提条件先搭建 http://www.cnblogs.com/raphael5200/p/5152004.html 的环境，然后在其基础上进行修改一、安装Zookeeper由于环境有限，所以在仅有的4台虚拟机上完成多个操作；a.在4台虚拟中选3台安装Zookeeper,我选 node5 node6 node7b.在4台虚拟中选3台作为JournalNode的节点，我选node6 node7 node8c..在4台虚拟中选2台作为NameNode ，我选node5(Active) node8(Standby)1.解压并移动下载并解压zookper压缩包，将zookeeper复制...

Hadoop开发环境搭建（不定时更新）

参考链接hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)http://www.aboutyun.com/thread-8178-1-1.html Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4经验总结http://www.aboutyun.com/thread-7784-1-1.html 原文：http://www.cnblogs.com/hdu-2010/p/4527401.html

hadoop环境搭建

一，服务准备本案例用Linux虚拟机服务器来搭建HADOOP集群，所用的软件版本： Vmware 11.0 Contos 6.5 64bit 二，JDK环境安装上传JDK安装包---》解压到指定目录---》配置环境变量三，网络环境准备 1，将虚拟机的网络环境设置为NAT 2，修改主机名：vi /etc/sysconfig/network 重启服务器生效 3，修改ip 。若为动态ip（不好，环境配置好后...

Hadoop-Zookeeper环境搭建、Zookeeper的shell操作、Zookeeper的JavaAPI【代码】

环境搭建1、下载Zookeeper安装包 2、解压 3、到Zookeeper解压后的文件夹中，将conf中zoo_sample.cfg复制并重命名为zoo.cfg 4、将zoo.cfg中的autopurge.snapRetainCount=3 autopurge.purgeInterval=1取消注释以及设置机器的消息传输和选举端口 server.1=node01:2888:3888 server.2=node02:2888:3888 server.3=node03:2888:3888 5、在Zookeeper文件夹中新建zkdatas文件夹，在其中再新建myid 向myid中添加机器id echo 1 > myid 6、启...

HADOOP - 最热教程

Windows下在eclipse中使用和操作hadoop...windows下大数据开发环境搭建（1）——...Hadoop与Facebook 使用 Oracle Load For Hadoop（OLH）实...Hadoop基础知识 windows部署hadoop-2.7.0 你只知大数据的便利，却不知漏洞——ha...头歌Educoder——大数据Hadoop开发环境...WSL2+Ubuntu配置Java Maven Hadoop Spa...Hadoop之MapReduce单元测试

首页 / HADOOP / hadoop 环境搭建

hadoop 环境搭建

内容导读

内容图文

内容总结

内容备注

内容手机端

【hadoop 环境搭建】教程文章相关的互联网学习教程文章

Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置【代码】【图】

Ganglia环境搭建并监控Hadoop分布式集群【图】

大数据测试之hadoop单机环境搭建(超级详细版)【图】

(原创)hadoop 分布式开发环境搭建【代码】

《OD大数据实战》hadoop伪分布式环境搭建【代码】

Hadoop学习笔记(3)——分布式环境搭建【图】

Hadoop,HBase集群环境搭建的问题集锦(三)【代码】【图】

Ganglia环境搭建并监控Hadoop分布式集群【图】

Hadoop学习笔记之Hadoop伪分布式环境搭建

Hadoop环境搭建

《Programming Hive》读书笔记（一）Hadoop和hive环境搭建【代码】

hadoop 环境搭建【代码】【图】

Hadoop开发环境搭建（不定时更新）

hadoop环境搭建

Hadoop-Zookeeper环境搭建、Zookeeper的shell操作、Zookeeper的JavaAPI【代码】

HADOOP - 相关标签

HADOOP - 最新教程

HADOOP - 最热教程