首页 / ZOOKEEPER / zookeeper集群搭建示例

zookeeper集群搭建示例

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了zookeeper集群搭建示例，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8004字，纯文字阅读大概需要12分钟。

内容图文

zookeeper集群搭建

下载zookeeper

参考通过Zookeeper实现分布式锁示例

zookeeper集群介绍

zookeeper集群模式：standalone与quorum模式。

zookeeper如何保证数据一致性：
1、主节点负责写请求和读请求，follower节点只负责读请求，如果follower收到写请求也会转发给主节点。主节点的写入采用全局线性化写入，先来先写入。
2、客户端FIFO顺序：来自给定客户端的请求按照发送顺序执行。

zookeeper配置

将zookeeper的安装包解压后复制三份，或者你准备三个配置文件即可，今天我们将搭建一个三节点的zookeeper集群：
配置如下：
节点1：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# zookeeper数据存储目录
dataDir=/data/zk/quorum/node1
# zookeeper监听的客户端地址，因为我是在一台机子上，所以不同的节点监听的端口号必须不一样
clientPort=2181
# 集群信息
# 格式为：server.n = ip : serverPort : selectMasterPort
# serverPort 为服务节点的端口号，selectMasterPort为选主时的端口号
server.1=127.0.0.1:3333:3334
server.2=127.0.0.1:4444:4445
server.3=127.0.0.1:5555:5556

节点2：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# zookeeper数据存储目录
dataDir=/data/zk/quorum/node2
# zookeeper监听的客户端地址，因为我是在一台机子上，所以不同的节点监听的端口号必须不一样
clientPort=2182
# 集群信息
# 格式为：server.n = ip : serverPort : selectMasterPort
# serverPort 为服务节点的端口号，selectMasterPort为选主时的端口号
server.1=127.0.0.1:3333:3334
server.2=127.0.0.1:4444:4445
server.3=127.0.0.1:5555:5556

节点3：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# zookeeper数据存储目录
dataDir=/data/zk/quorum/node3
# zookeeper监听的客户端地址，因为我是在一台机子上，所以不同的节点监听的端口号必须不一样
clientPort=2183
# 集群信息
# 格式为：server.n = ip : serverPort : selectMasterPort
# serverPort 为服务节点的端口号，selectMasterPort为选主时的端口号
server.1=127.0.0.1:3333:3334
server.2=127.0.0.1:4444:4445
server.3=127.0.0.1:5555:5556

配置好之后保存，启动3个节点。

# 在zookeeper的根目录下,启动不同的节点请修改不同的配置文件
./bin/zkServer.sh start-foreground conf/zoo1.cfg

启动节点

此时启动节点1，报错

[root@iZ219es4jofbudZ apache-zookeeper-3.6.2-bin]# ./bin/zkServer.sh start-foreground conf/zoo1.cfg
ZooKeeper JMX enabled by default
Using config: conf/zoo1.cfg
2021-03-24 11:18:36,616 [myid:] - INFO  [main:QuorumPeerConfig@174] - Reading configuration from: conf/zoo1.cfg
2021-03-24 11:18:36,628 [myid:] - WARN  [main:VerifyingFileFactory@65] - conf/zoo1.cfg is relative. Prepend ./ to indicate that you're sure!
2021-03-24 11:18:36,642 [myid:] - INFO  [main:QuorumPeerConfig@460] - clientPortAddress is 0.0.0.0:2181
2021-03-24 11:18:36,645 [myid:] - INFO  [main:QuorumPeerConfig@464] - secureClientPort is not set
2021-03-24 11:18:36,645 [myid:] - INFO  [main:QuorumPeerConfig@480] - observerMasterPort is not set
2021-03-24 11:18:36,645 [myid:] - INFO  [main:QuorumPeerConfig@497] - metricsProvider.className is org.apache.zookeeper.metrics.impl.DefaultMetricsProvider
2021-03-24 11:18:36,652 [myid:] - ERROR [main:QuorumPeerMain@98] - Invalid config, exiting abnormally
org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing conf/zoo1.cfg
	at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:198)
	at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:124)
	at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:90)
Caused by: java.lang.IllegalArgumentException: myid file is missing
	at org.apache.zookeeper.server.quorum.QuorumPeerConfig.checkValidity(QuorumPeerConfig.java:812)
	at org.apache.zookeeper.server.quorum.QuorumPeerConfig.setupQuorumPeerConfig(QuorumPeerConfig.java:683)
	at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:507)
	at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:194)
	... 2 more
Invalid config, exiting abnormally
2021-03-24 11:18:36,654 [myid:] - INFO  [main:ZKAuditProvider@42] - ZooKeeper audit is disabled.
2021-03-24 11:18:36,656 [myid:] - ERROR [main:ServiceUtils@42] - Exiting JVM with code 2

错误表明我们没有配置myid文件。

小贴士：
myid文件用来标识zookeeper节点的信息，配置在datadir的路径下,名为myid的文件

我们分别在三个节点的datadir下，创建了对应的myid文件，并分别写入，1、2、3。如图：
zookeeper集群搭建示例 - 文章图片
设置好myid文件之后，启动节点1后，报类似的错误，这个错误没问题，表明节点1无法与节点2、3建立连接。

/data/zk/quorum/node1/2021-03-24 11:31:46,265 [myid:1] - INFO  [QuorumPeer[myid=1](plain=0.0.0.0:2181)(secure=disabled):FastLeaderElection@979] - Notification time out: 51200
2021-03-24 11:31:46,266 [myid:1] - WARN  [QuorumConnectionThread-[myid=1]-2:QuorumCnxManager@400] - Cannot open channel to 2 at election address /127.0.0.1:4445
java.net.ConnectException: Connection refused (Connection refused)
	at java.net.PlainSocketImpl.socketConnect(Native Method)
	at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
	at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
	at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
	at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
	at java.net.Socket.connect(Socket.java:589)
	at org.apache.zookeeper.server.quorum.QuorumCnxManager.initiateConnection(QuorumCnxManager.java:383)
	at org.apache.zookeeper.server.quorum.QuorumCnxManager$QuorumConnectionReqThread.run(QuorumCnxManager.java:457)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
2021-03-24 11:31:46,267 [myid:1] - WARN  [QuorumConnectionThread-[myid=1]-3:QuorumCnxManager@400] - Cannot open channel to 3 at election address /127.0.0.1:5556
java.net.ConnectException: Connection refused (Connection refused)
	at java.net.PlainSocketImpl.socketConnect(Native Method)
	at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
	at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
	at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
	at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
	at java.net.Socket.connect(Socket.java:589)
	at org.apache.zookeeper.server.quorum.QuorumCnxManager.initiateConnection(QuorumCnxManager.java:383)
	at org.apache.zookeeper.server.quorum.QuorumCnxManager$QuorumConnectionReqThread.run(QuorumCnxManager.java:457)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)

我们现在启动节点2、3，
zookeeper集群搭建示例 - 文章图片
我们看到，节点2成为了主节点，其余两个是从节点。

客户端连接集群

我们现在通过客户端连接zookeeper集群。

# 在zookeeper的根目录下,我们之前配置的zookeeper三个节点监听的端口号分别是2181,2182,2183
./bin/zkCli.sh -server 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

zookeeper集群搭建示例 - 文章图片
我们看到，我们连接到了2182的主节点上。

集群高可用测试

我们在主节点上创建一个znode，
zookeeper集群搭建示例 - 文章图片
此时我们使主节点宕机，理论上，服务端会重新选举一个leader，客户端会主动连接到存活的节点上，且数据不丢失，我们来看看：

我们看到，当主节点宕机后，客户端会超时，同时收到Disconnected通知，且连接到了2183端口，在节点3（左下角）我们看到，节点3被选举为leader。

此时我们查看zookeeper的节点信息：
zookeeper集群搭建示例 - 文章图片
/test 临时节点仍然存在。
由此体现了zookeeper集群的高可用性。

参考：
Zookeeper集群报错：myid文件缺失导致zookeeper无法启动（myid file is missing）

内容总结

以上是互联网集市为您收集整理的zookeeper集群搭建示例全部内容，希望文章能够帮你解决zookeeper集群搭建示例所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1029249.html

来源：【匿名】

【上一篇】zookeeper技术介绍【下一篇】php的zookeeper扩展怎么安装

更多 ►

【zookeeper集群搭建示例】教程文章相关的互联网学习教程文章

Centos7搭建Zookeeper 3.4.14集群【代码】

一、环境准备　　1、下载安装包官网：http://zookeeper.apache.org/ 下载地址：http://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz　　下载过程就不说了，我们下载的是zookeeper-3.4.14的包　　2、上传安装包　　把下载的包（如：zookeeper-3.4.14.tar.gz）上传到服务器，上传的方式也不多说了。　　3、解压tar -zxvf zookeeper-3.4.14.tar.gz　　3、移动到/usr/local目录下mv zookeeper-3.4.14 ...

zookeeper集群搭建【图】

系统环境：CentOS6.3部署资源：zookeeper-3.4.5.tar.gzhostname:reagina01　　IP:192.168.8.201hostname:reagina02　　IP:192.168.8.202hostname:reagina03　　IP:192.168.8.203安装zookeeper:[root@reagina01 ~]# tar -zxvf zookeeper-3.4.5.tar.gz -C /reagina/编辑配置文件：[root@reagina01 conf]# mkdir /reagina/zookeeper-3.4.5/data[root@reagina01 conf]# echo "1" >/reagina/zookeeper-3.4.5/data/myid使用scp将配置好的...

【Linux 初学】zookeeper集群、win下Jenkins安装（三）【图】

1、zookeeper集群：Java大型的项目中，环境变量的配置很重要，如果没有很好的配置环境变量的话，甚至项目连启动都是难事。export ZOOKEEPER_HOME=/home/zookeeper-3.3.3export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf （1）ZooKeeper的单机模式部署ZooKeeper的单机模式通常是用来快速测试客户端应用程序的，在实际过程中不可能是单机模式。单机模式的配置也比较简单。l 编写配置文件zoo.cfg zookeeper-3.3.3/conf...

zookeeper集群【代码】

安装jdk8cd /opt/toolstar -xf jdk-8u112-linux-x64.tar.gzmv jdk1.8.0_112 /opt/vim /etc/profile.d/env.sh######export JAVA_HOME=/opt/jdk1.8.0_112export JAVA_BIN=/opt/jdk1.8.0_112/binexport JRE_HOME=/opt/jdk1.8.0_112/jreexport PATH=$PATH:/opt/jdk1.8.0_112/bin:/opt/jdk1.8.0_112/jre/bin export CLASSPATH=/opt/jdk1.8.0_112/jre/lib:/opt/jdk1.8.0_112/lib:/opt/jd...

Zookeeper集群搭建

Zookeeper集群搭建由于公司缓存方案改进，准备采用codis集群作为主要的缓存解决方案（codis：国内豌豆荚开发的redis集群解决方案，已开源，github地址：https://github.com/CodisLabs/codis），codis集群依赖于zookeeper集群，本文介绍zookeeper集群的实现一、Zookeeper原理简介详解链接：http://www.cnblogs.com/luxiaoxun/p/4887452.htmlZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程...

ubuntu1.4搭建zookeeper3.5.2分布式集群【代码】【图】

1、下载官网链接：http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.5.2-alpha/zookeeper-3.5.2-alpha.tar.gz2、解压tar zxvf zookeeper-3.5.2-alpha.tar.gz /usr/local/zookeeper3、编辑配置文件zoo.cfgcd /usr/local/zookeeper/confcp zoo_sample.cfg zoo.cfggedit zoo.cfg1 dataDir=/usr/local/zookeeper/data #本来有指向的，所以就修改地址 2 dataLogDir=/usr/local/zookeeper/logs 3 master.134=master:2888:3...

centos安装zookeeper集群【代码】

一、三台服务器分别如下：172.28.5.120，172.28.5.124，172.28.5.125：slave3二、首先需要安装JAVA环境参考：https://www.cnblogs.com/sky-cheng/p/10564569.html三、下载zookeeper三台服务器均下载[root@redis-01 src]# cd /usr/local/src/ [root@redis-01 src]# wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz三、解压[root@redis-01 src]# tar -zxvf zookeeper-3.4.14.tar.gz四、...

zookeeper集群搭建及优化【代码】

zookeeper配置：三台集群。 zookeeper二进制包安装方法：tar -xf zookeeper-3.4.6.tar.gz -C /usr/localcd /usr/localmv zookeeper-3.4.6 zookeeper三台：153：tickTime=2000initLimit=10syncLimit=5dataDir=/var/zookeeperclientPort=2181server.1=192.168.1.153:2888:3888server.2=192.168.1.154:2888:3888server.3=192.168.1.155:2888:3888forceSync=yesfsync.warningthresholdms=50globalOutstandingLimit=100000preAllocSize=...

Kafka 0.9+Zookeeper3.4.6集群搭建、配置，新Client API的使用要点，高可用性测试，以及各种坑（转载）

Kafka 0.9版本对java client的api做出了较大调整，本文主要总结了Kafka 0.9在集群搭建、高可用性、新API方面的相关过程和细节，以及本人在安装调试过程中踩出的各种坑。关于Kafka的结构、功能、特点、适用场景等，网上到处都是，我就不再赘述了，直接进入正文 Kafka 0.9集群安装配置操作系统：CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境，所以先安装JRE，Kafka默认使用G1垃圾回收器，如果不更改垃圾回...

Zookeeper源码阅读(十五) Zookeeper集群之server启动【代码】【图】

前言最近又开启了一个新项目，时间比较紧，博客写的速度也比较慢，但是还是不能放松要求~希望最近周末能抽点时间把上周漏掉的博客补上~在前一篇大致描述了单机server的启动过程后，从这一篇开始我们将开始集群server的一些机制的一些了解，主要还有servr的启动，处理链，选举等等大的模块需要完善。流程其实从大致的流程上来说，单机server和集群server的处理是基本一致的，都是会从主函数启动然后去初始化一些zookeeper运行必须的...

JAVAEE——宜立方商城08：Zookeeper+SolrCloud集群搭建、搜索功能切换到集群版、Activemq消息队列搭建与使用【代码】【图】

1. 学习计划1、solr集群搭建2、使用solrj管理solr集群3、把搜索功能切换到集群版4、添加商品同步索引库。a) Activemqb) 发送消息c) 接收消息 2. 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。 SolrCloud是基于Sol...

Zookeeper集群部署及报错分析【代码】【图】

安装下载压缩包解压修改zoo.cfg文件创建myid文件启动自启动配置有时间再补hhh报错处理很荣幸的遇到了大部分报错，日志再zookeeper目录的bin下的zookeeper.outvim zookeeper.out首先zookeeper集群需要至少3台服务器，不然就会出现下面的报错：2020-06-24 09:17:39,299 [myid:] - WARN [main:QuorumPeerConfig@351]- No server failure will be tolerated. You need at least 3 servers. 部署完之后需要开放相应的端口，关闭防火墙或...

zookeeper的集群部署

1、上传安装包到集群服务器2、解压3、修改配置文件进入zookeeper的安装目录的conf目录cp zoo_sample.cfg zoo.cfgvi zoo.cfg# The number of milliseconds of each ticktickTime=2000initLimit=10syncLimit=5dataDir=/root/zkdataclientPort=2181 #autopurge.purgeInterval=1server.1=hdp20-01:2888:3888server.2=hdp20-02:2888:3888server.3=hdp20-03:2888:3888 对3台节点，都创建目录 mkdir /root/zkdata对3台节点，在工作目录中生...

搭建 Zookeeper-3.4.10 集群【代码】【图】

先准备好三台linux（虚拟机）。1. 先把Java环境配好。我CentOS7 + jdk1.8.0_1311.1 先把jdk上传到系统里面（如果不会的话去百度），我在系统的根目录建了一个文件夹mysoft，用来存放需要的安装包，比如jdk、Zookeeper1.2 然后cd 到/usr/local/下，建立一个文件夹用来存放jdkcd /usr/local/mkdir javacd java/mkdir jdk1.3 然后定位到我们安装包的目录。解压安装包到我们指定的目录下。cd /mysofttar -xvf jdk-8u131-linux-x64.gz ...

首页 / ZOOKEEPER / zookeeper集群搭建示例

zookeeper集群搭建示例

内容导读

内容图文

zookeeper集群搭建

下载zookeeper

zookeeper集群介绍

zookeeper配置

启动节点

客户端连接集群

集群高可用测试

内容总结

内容备注

内容手机端

【zookeeper集群搭建示例】教程文章相关的互联网学习教程文章

ZOOKEEPER - 相关标签

集群 - 相关标签

ZOOKEEPER - 最新教程

ZOOKEEPER - 最热教程