首页 / HADOOP / hadoop2.3.0HA配置
hadoop2.3.0HA配置
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了hadoop2.3.0HA配置，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2534字，纯文字阅读大概需要4分钟。
内容图文
环境：rehl 6.4 ，apache hadoop 2.3.0 三台主机gtx1，gtx2，gtx3 构成hadoop集群，zookeeper已经正确配置并启动 1.1修改core-site.xml配置： property namefs.defaultFS/name valuehdfs://gtxcluster/value/propertyproperty nameha.zookeeper.quorum/name
环境：rehl 6.4 ，apache hadoop 2.3.0
三台主机gtx1，gtx2，gtx3 构成hadoop集群，zookeeper已经正确配置并启动
1.1修改core-site.xml配置：
fs.defaultFS hdfs://gtxcluster ha.zookeeper.quorum gtx1:2181,gtx2:2181,gtx3:2181
1.2修改hdfs-site.xml，添加如下配置：
dfs.nameservices gtxcluster dfs.ha.namenodes.gtxcluster nn1,nn2 dfs.namenode.rpc-address.gtxcluster.nn1 gtx3:9009 dfs.namenode.rpc-address.gtxcluster.nn2 gtx2:9009 dfs.namenode.http-address.gtxcluster.nn1 gtx3:50070 dfs.namenode.http-address.gtxcluster.nn2 gtx2:50070 dfs.namenode.shared.edits.dir qjournal://gtx3:8485;gtx2:8485;gtx1:8485/gtxcluster dfs.client.failover.proxy.provider.gtxcluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods shell(/bin/true) fs.defaultFS hdfs://gtxcluster dfs.journalnode.edits.dir /data/hadoop/data/journal dfs.ha.automatic-failover.enabled true
2启动服务
2.1初始化zookeeper
在nn1上执行：
hdfs zkfc -formatZK
2.2在所有journalnode节点上启动journalnode
hadoop-daemon.sh start journalnode
2.3格式化nn1（如果是新集群），在nn1上执行
hadoop namenode -format
hdfs namenode -initializeSharedEdits
2.4启动nn1:在nn1节点上执行：
hadoop-daemon.sh start namenode
2.5让nn2从nn1上拉去fsimage，在nn2上执行：
hdfs namenode -bootstrapStandby
2.6启动nn2，在nn2上执行：
hadoop-daemon.sh start namenode
此时nn1和nn2都处于standby状态，因为在hdfs-site.xml中配置了dfs.ha.automatic-failover.enabled参数为true，所以不能通过手工方式切换状态，需要依赖zkfc
2.7启动所有datanode，在nn1上执行：
hadoop-daemons.sh start datanode
2.8 启动zkfc，实现HA的自动切换，启动zkfc后，先启动的nn会自动进入active状态，另一个仍保持standby状态
在nn1上和nn2上分别执行：
hadoop-daemon.sh start zkfc
3 检查集群状态和进程状态
3.1 在任意nn上执行 jps显示进程如下：
hadoop@GTX3 bin]$ jps
6496 Jps
6439 DFSZKFailoverController
5712 JournalNode
6077 NameNode
6293 DataNode
23504 QuorumPeerMain
3.2查看nn状态
在任意nn上执行：
hdfs haadmin -getServiceState nn1 结果显示为active
hdfs haadmin -getServiceState nn2 结果显示为stanby
备注：如果没有配置自动ha，则可以通过hdfs dfsadmin -transitionToActive nnx 将其中一个nn手动切换为active状态，切换成standby状态同理，使用 -transitionToStandby参数、
内容总结
以上是互联网集市为您收集整理的hadoop2.3.0HA配置全部内容，希望文章能够帮你解决hadoop2.3.0HA配置所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。