首页 / ZOOKEEPER / Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9085字，纯文字阅读大概需要13分钟。

内容图文

https://www.cnblogs.com/leeSmall/p/9563547.html

一、Zookeeper介绍

1. 介绍Zookeeper之前先来介绍一下分布式

1.1 分布式主要是下面两个方面：

1) 任务拆分

　　任务拆分指的是把传统的单节点服务拆分成多个节点服务部署到不同的机器上对外提供服务。比如一个传统服务有订单+支付+物流等3个模块，拆分成订单系统、支付系统、物流系统3个服务。
2) 节点分工

　　如上面的服务拆分后，订单系统、支付系统、物流系统各司其职
说明：

分布式解决高可用，高并发的。

集群解决的是高可用。

集群从物理上来定义，分布式一种工作方式。
例如：一个工作任务需要10个小时（单节点）
分布式：10台机器，任务只需要1个小时就能够完成
集群：10台机器，任务还是10个小时。

1.2 分布式协作中的难点：

如果让你设计一个分布式系统，你预见到什么问题？
1) 保证节点高可用（节点故障）
2) 数据的一致性
3) 通讯异常
4) 网络分区
.......

2. Zookeeper简介

Zookeeper就是用来解决分布式协作中的难点的

zookeeper是google的chubby项目开源实现。最早是hadoop的子项目

Zookeeper的使用场景：

小米米聊、淘宝Taokeeper其实是类zookeeper。

Kafka使用zookeeper。消息发布订阅，其中zk就是用于检测节点崩溃。实现主题的发现，并且保持主题的生产和消费状态。

Hbase三段查找，Root-Region=》Meta Region=》Region（Table）。hbase的元数据信息放在HBase。HMaster挂掉，马上要节点恢复。
Hadoop。NameNode（SecondaryNameNode），HA Hadoop。一般情况下一个简单的hadoop集群，只有一个NameNode，如果NameNode挂掉，hadoop集群不可用。HA Haoop里面就要用到zk。

3. Zookeeper解决哪些问题

3.1 Master节点管理

　　解决的问题：Master高可用（挂掉以后，谁来负责工作），保证唯一。

3.2 配置文件管理

　　解决的问题：统一把配置文件存放zk，由ZK统一分发修改的内容到各台机器。

3.3 发布与订阅

　　发布者(producer)将数据发布到zk节点上，供订阅者(consumer)动态获取

3.4 分布式锁

　　分布式环境访问同一个资源，由第三方配锁实现。
　　解决的问题：由zk统一进行协调，保证数据的一致性。

3.5 集群的管理

　　Worker集群监控。保证主数据和备份数据的一致

二、Zookeeper安装配置

环境准备：

一台安装有jdk的虚拟机：192.168.152.130

1. 安装

1.1.下载

cd /software
 wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

1.2.解压

tar -zxvf zookeeper-3.4.6.tar.gz

2. 配置

说明：这里配置的是伪分布式的zookeeper

注意：配置之前一定要在/etc/hosts里面配置主机映射,否则会报错误：

ERROR [master:3890:QuorumCnxManager$Listener@517] - Exception while listening
java.net.SocketException: Unresolved address

vim /etc/hosts

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

2.1 先建立zookeeper的三个数据目录

mkdir -p /zookeeper/zk1
mkdir -p /zookeeper/zk2
mkdir -p /zookeeper/zk3

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

2.2 查看zookeeper的配置文件（已删掉多余的配置和注释）

vim zoo_sample.cfg

tickTime=2000   #session的会话时间 以ms为单位
initLimit=10      #服务器启动以后，master和slave通讯的时间
syncLimit=5       #master和slave之间的心跳检测时间，检测slave是否存活
dataDir=/tmp/zookeeper  #保存zk的快照和数据
clientPort=2181      #客户端访问zk的端口

2.3 复制zoo_sample.cfg为zoo1.cfg添加如下配置

cp zoo_sample.cfg zoo1.cfg
vim zoo1.cfg

配置：

#session的会话时间 以ms为单位
tickTime=2000

#服务器启动以后，master和slave通讯的时间
initLimit=10

#master和slave之间的心跳检测时间，检测slave是否存活
syncLimit=5

#(这个目录可以自行指定)
dataDir=/zookeeper/zk1

#客户端访问zk的端口
clientPort=2181

#master对应于前面在hosts里面配置的主机映射 2888是数据同步和消息传递端口，3888是选举端口
server.1=master:2888:3888 

#master对应于前面在hosts里面配置的主机映射 2889是数据同步和消息传递端口，3889是选举端口 
server.2=master:2889:3889 

#master对应于前面在hosts里面配置的主机映射 2890是数据同步和消息传递端口，3890是选举端口 
server.3=master:2890:3890

2.4 复制zoo1.cfg为zoo2.cfg添加如下配置

cp zoo1.cfg zoo2.cfg
vim zoo2.cfg

#session的会话时间 以ms为单位
tickTime=2000

#服务器启动以后，master和slave通讯的时间
initLimit=10

#master和slave之间的心跳检测时间，检测slave是否存活
syncLimit=5

#(这个目录可以自行指定)
dataDir=/zookeeper/zk2

#客户端访问zk的端口
clientPort=2182

#master对应于前面在hosts里面配置的主机映射 2888是数据同步和消息传递端口，3888是选举端口
server.1=master:2888:3888 

#master对应于前面在hosts里面配置的主机映射 2889是数据同步和消息传递端口，3889是选举端口 
server.2=master:2889:3889 

#master对应于前面在hosts里面配置的主机映射 2890是数据同步和消息传递端口，3890是选举端口 
server.3=master:2890:3890

2.5 复制zoo1.cfg为zoo3.cfg添加如下配置

cp zoo1.cfg zoo3.cfg
vim zoo3.cfg

#session的会话时间 以ms为单位
tickTime=2000

#服务器启动以后，master和slave通讯的时间
initLimit=10

#master和slave之间的心跳检测时间，检测slave是否存活
syncLimit=5

#(这个目录可以自行指定)
dataDir=/zookeeper/zk3

#客户端访问zk的端口
clientPort=2183

#master对应于前面在hosts里面配置的主机映射 2888是数据同步和消息传递端口，3888是选举端口
server.1=master:2888:3888 

#master对应于前面在hosts里面配置的主机映射 2889是数据同步和消息传递端口，3889是选举端口 
server.2=master:2889:3889 

#master对应于前面在hosts里面配置的主机映射 2890是数据同步和消息传递端口，3890是选举端口 
server.3=master:2890:3890

2.6 手动建立myid文件且指定在zk数据目录，也就是dataDir指定的路径（不管真分布还是伪分布都需要指定）

echo 1 >> /zookeeper/zk1/myid
echo 2 >> /zookeeper/zk2/myid
echo 3 >> /zookeeper/zk3/myid

说明：

myid文件内容分别为1,2,3对应于zk配置文件的server.1,server.2,server.3

2.7 测试zookeeper分布式是否搭建成功

分别启动三个zookeeper

cd /software/zookeeper-3.4.6/bin/
./zkServer.sh start /software/zookeeper-3.4.6/conf/zoo1.cfg
./zkServer.sh start /software/zookeeper-3.4.6/conf/zoo2.cfg
./zkServer.sh start /software/zookeeper-3.4.6/conf/zoo3.cfg

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

查看3个zookeeper的状态

cd /software/zookeeper-3.4.6/bin/
/zkServer.sh status /software/zookeeper-3.4.6/conf/zoo1.cfg
/zkServer.sh status /software/zookeeper-3.4.6/conf/zoo2.cfg
/zkServer.sh status /software/zookeeper-3.4.6/conf/zoo3.cfg

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

可以看到第2个zookeeper是leader，第1个和第3个为follower，到此zookeeper分布式搭建完成！！！

2.8 Zookeeper常用命令

启动：
./zkServer.sh start /software/zookeeper-3.4.6/conf/zoo1.cfg
./zkServer.sh start /software/zookeeper-3.4.6/conf/zoo2.cfg
./zkServer.sh start /software/zookeeper-3.4.6/conf/zoo3.cfg

停止：
./zkServer.sh stop /software/zookeeper-3.4.6/conf/zoo1.cfg
./zkServer.sh stop /software/zookeeper-3.4.6/conf/zoo2.cfg
./zkServer.sh stop /software/zookeeper-3.4.6/conf/zoo3.cfg

查看状态：
/zkServer.sh status /software/zookeeper-3.4.6/conf/zoo1.cfg
/zkServer.sh status /software/zookeeper-3.4.6/conf/zoo2.cfg
/zkServer.sh status /software/zookeeper-3.4.6/conf/zoo3.cfg

2.9 Zookeeper真分布式部署在master、slave1、slave2 三台不同的服务器上

server1..../conf/zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zookeeper/zk
clientPort=2181

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

server2..../conf/zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zookeeper/zk
clientPort=2181

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

server3..../conf/zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zookeeper/zk
clientPort=2181

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

注意：

真分布必须是奇数台，因为必须满足n/2+1=m,m必须大于部署zk机器数的一半(n/2)可用才认为集群可用，而且奇数台更节省资源
2/2+1=2 一台不能坏
3/2+1=2 可以坏掉一台

4/2+1=3 只能坏一台
5/2+1=3 可以坏2台

三、ZK Shell的使用

1. 连接zk

zkCli.sh [-server ip:port]

示例：

连接到master（127.0.0.1 master）这台机器上2181的zookeeper

./zkCli.sh -server master 2181

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

2. 列出zk中的节点

ls、ls2

示例：

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

3. 创建节点

create [-s] [-e] path data acl

说明：

zk的节点分为两种：临时节点（随着zk session消亡而自动删除）、持久节点（一直存在）

-s: 顺序节点

-e: 临时节点

acl：访问权限控制

示例：

3.1 创建一个zk-test的节点，数据是123 不带-s 、-e默认是持久节点

create /zk-test "123"

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

3.2 创建顺序节点

create  -s   /zk-test  “test123”

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

多次执行创建顺序节点的命令，可以看到zookeeper的内部会对顺序节点的名称进行自增控制

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

3.3 创建临时节点

create -e /zk-test123 "test1234"

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

说明：

临时节点依赖于顺序节点，临时节点下不能再创建临时节点，顺序节点下才可以创建临时节点

3.4 创建子节点test

create  /zk-test ""
create  /zk-test/test "1"
ls /zk-test/test

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

4. 删除节点命令

delete

示例：

删除节点zk-test，如果zk-test下面还有子节点得先删除子节点，才能删除zk-test

delete /zk-test/test
delete /zk-test

递归删除一个znode

rmr path

示例：

删除zk-test及其下面的子节点

rmr /zk-test

5. 获取节点信息

get

示例：

create /zk-123  “abc”
get /zk-123

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

结果说明：

结果
cZxid = #创建节点时zk内部自己分配的id
Ctime = #创建节点的时间
mZxid = #修改的id
mtime = 修改的时间
pZxid = 子节点最后一次被修改的id
cVersion = 0  #拥有的子节点被改的话，该值随着改变
dataVersion = 0 #数据版本
aclVersion = 0 # 访问控制权限的版本
ephemeralOwner = 0X0 #临时节点还是持久节点 临时节点值不为0（值为当前会话id），持久节点值永远为0
dataLength = 3 #数据长度
numChildren = 0 #子节点个数

6. 更新节点数据

set  /zk-123 “d”

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

7. 连接到指定节点

connect host:port

示例：

连接到2181
connect master:2181

连接到2182
connect master:2182

连接到2183
connect master:2183

说明：

这个命令是在已经连接到zookeeper之后，在里面切换到其他zookeeper时使用

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

8. 设置配额

配额：给某个目录指定多少存储空间或者允许创建多少个节点

setquota -n|-b val path

参数说明：

n 指定可以设置多少个子节点

b 指定可以设置多大空间（byte）

示例：

setquota -n 5 /zk-123
create  /zk-123/1 1
create  /zk-123/2 2
create  /zk-123/3 3
create  /zk-123/4 4 
create  /zk-123/5 5 
create  /zk-123/6 6

说明：

对于配额不是硬性的提示，超过配额还是可以继续创建，只不过在日志里面有提示

配额的用途：

限制子节点的创建个数和分配空间的大小，如指定某个session有多少空间可以用

9. 查看配额

listquota path

10. 查看节点的状态

stat path

示例：

查看节点zk-123的状态

stat  /zk-123

Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用 - 文章图片

内容总结

以上是互联网集市为您收集整理的Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用全部内容，希望文章能够帮你解决Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/972627.html

来源：【匿名】

【上一篇】【一】ZooKeeper 学习 - Mac VirtualBox6 安装 CentOS7 【下一篇】php的zookeeper扩展怎么安装

更多 ►

【Zookeeper系列一：Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用】教程文章相关的互联网学习教程文章

Hadoop-Zookeeper环境搭建、Zookeeper的shell操作、Zookeeper的JavaAPI【代码】

环境搭建1、下载Zookeeper安装包 2、解压 3、到Zookeeper解压后的文件夹中，将conf中zoo_sample.cfg复制并重命名为zoo.cfg 4、将zoo.cfg中的autopurge.snapRetainCount=3 autopurge.purgeInterval=1取消注释以及设置机器的消息传输和选举端口 server.1=node01:2888:3888 server.2=node02:2888:3888 server.3=node03:2888:3888 5、在Zookeeper文件夹中新建zkdatas文件夹，在其中再新建myid 向myid中添加机器id echo 1 > myid 6、启...

一键启动zookeeper、hadoop、spark、hbase集群（shell脚本）【图】

1.启动集群文件名： start-cluster.sh#! /bin/bashecho "------正在启动集群------" echo "------正在启动Zookeeper------" '/home/grid/zookeeper/bin/zkServer.sh start' ssh grid@Slave1 '/home/grid/zookeeper/bin/zkServer.sh start' ssh grid@Slave2 '/home/grid/zookeeper/bin/zkServer.sh start'echo "------正在启动Hadoop-----" '/home/grid/hadoop/sbin/start-all.sh'echo "------正在启动Spark------" '/home/grid/sp...

shell & zookeeper 学习day1 (p17-p26)【代码】

shell & zookeeper 学习day1 (p17-p26) 局部变量 #!/bin/hash str = "hello" echo ${str}world环境变量，系统已经定义好的变量运算符注意是否留空格很重要 #！/bin/hash a=1; b=2; echo `expr $a + $b`; echo $((a+b)); echo $[a+b];然后在做乘法的时候要加 /*for循环的写法 #！/bin/hash for N in 1 2 3 doecho $N donezookeeper的官方定义是，管理分布式系统中一致性的问题翻译成大白话就是，现在有3个进程在3台主机上，与jav...

hbase shell 报错，ERROR [main] zookeeper.ZooKeeperWatcher: hconnection-0x17049300x0, quorum=master:2181【代码】

SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/csu/hbase-1.2.4/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/csu/hadoop-2.6.0/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explana...

Zookeeper（二）：环境搭建和Shell使用【代码】

环境搭建Zookeeper的安装依赖JDK1.7以上环境使用版本：3.6部署计划：node-1部署1个；node-2部署2个 node-1#创建ins目录，上传到该目录 [root@node-1 usr]# mkdir ins #创建zook目录， [root@node-1 usr]# mkdir zook #解压到zook目录 [root@node-1 ins]# tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz -C /usr/zook/ #定位到zook目录后，修改文件名 [root@node-1 zook]# mv apache-zookeeper-3.6.0-bin/ zk-standalone-model [roo...

ZooKeeper系列 (二) zookeeper-shell操作【代码】

目录 zk-shell基本操作创建 zk的四种节点类型读取更新删除zk自带命令行工具，bin目录下zkCli 脚本，linux下可通过执行 zkCli.sh 连接命令: ./zkCli.sh [-server ip:port] 远程地址可选，不填情况下连接本地服务器 zk-shell基本操作创建 create 更新 set 查询 get 删除 delete 创建 zk的四种节点类型持久节点持久顺序节点临时节点临时顺序节点1.持久节点数据节点创建后，一直存在，直到有删除操作主动清除创建方式...

linux – Startin HBase Shell – Zookeeper存在但失败了【代码】

我想在Ubuntu上运行HBase.我已经安装了它并且可以启动它(它会抛出一些警告,因为我使用的是64位系统,但我被告知我可以忽略它们).但是,当我尝试启动shell时,我收到下面的错误消息,但我是新手,所以我很难弄明白.它说Zookeeper存在但失败了4次 – 你知道为什么吗？2015-12-03 12:34:37,796 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicab...

ZooKeeper shell【代码】

# 1. 进入Zookeeper shell sh /usr/local/kafka/bin/zookeeper-shell.sh localhost:2181# 2. 基本操作 ### 2.1 创建节点 create [-s] [-e] path data acl# 其中，-s 或-e 分别指定节点特性，顺序或临时节点，若不指定，则表示持久节点；acl 用来进行权限控制。 ### 2.2 读取节点 ls path [watch] get path [watch] ls2 path [watch]# 与读取相关的命令有 ls 命令和 get 命令，ls 命令可以列出 Zookeeper 指定节点下的所有子节点，只...

ZooKeeper学习之路（三）—— Zookeeper常用Shell命令【代码】

一、节点增删改查 1.1 启动服务和连接服务 # 启动服务 bin/zkServer.sh start#连接服务不指定服务地址则默认连接到localhost:2181 zkCli.sh -server hadoop001:21811.2 help命令使用help可以查看所有命令及格式。 1.3 查看节点列表查看节点列表有ls path和 ls2 path两个命令，后者是前者的增强，不仅可以查看指定路径下的所有节点，还可以查看当前节点的信息。 [zk: localhost:2181(CONNECTED) 0] ls / [cluster, controller_ep...