博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ZooKeeper系列一:基本概念
阅读量:6505 次
发布时间:2019-06-24

本文共 4658 字,大约阅读时间需要 15 分钟。

1.角色

一般的,在分布式系统中,构成集群的每一台机器都有自己的角色,最为典型的集群模式就是Master/Slave主备模式。在该模式中,我们把能够处理所有写操作的机器称为Master节点,并把所有通过异步复制方式获取最新数据、提供读服务的机器称为Slave节点。

而 Zookeeper 中,则是引入了领导者(Leader)、跟随者(Follower)、观察者(Observer)三种角色和领导(Leading)、跟随(Following)、观察(Observing)、寻找(Looking) 等相应的状态。在Zookeeper集群中的通过一种Leader选举的过程,来选定某个节点作为Leader节点,该节点为客户端提供读和写服务。而Follower和Observer节点,则都能提供读服务,唯一的区别在于,Observer机器不参与Leader选举过程和写操作的"过半写成功"策略,Observer只会被告知已经commit的proposal。因此Observer可以在不影响写性能的情况下提升集群的读性能。

2.会话

Session指客户端会话。在Zookeeper中,一个客户端会话是指客户端和服务器之间的一个TCP长连接。客户端启动的时候,会与服务端建立一个TCP连接,客户端会话的生命周期,则是从第一次连接建立开始算起。通过这个连接,客户端能够通过心跳检测与服务器保持有效的会话,并向Zookeeper服务器发送请求并接收响应,以及接收来自服务端的 Watch 事件通知。

Session的sessionTimeout参数,用来控制一个客户端会话的超时时间。当服务器压力太大或者是网络故障等各种原因导致客户端连接断开时,Client会自动从Zookeeper 地址列表中逐一尝试重连(重试策略可使用 Curator 来实现)。只要在sessionTimeout规定的时间内能够重新连接上集群中任意一台服务器,那么之前创建的会话仍然有效。如果,在sessionTimeout时间外重连了,就会因为 Session 已经被清除了,而被告知SESSION_EXPIRED,此时需要程序去恢复临时数据。

3.数据模型

在Zookeeper中,节点分为两类,第一类是指构成集群的机器,称之为机器节点;第二类则是指 数据模型中的数据单元,称之为数据节点ZNode。Zookeeper将所有数据存储在内存中,数据模型的结构类似于树ZNodeTree),由斜杠(/)进行分割的路径,就是一个 ZNode,例如 /foo/path1。每个 ZNode 上都会保存自己的数据内容 和 一系列属性信息。

ZNode可以分为持久节点(PERSISTENT)和临时节点(EPHEMERAL)两类。所谓持久节点是指一旦这个ZNode被创建了,除非主动进行移除操作,否则这个节点将一直保存在Zookeeper上。而临时节点的生命周期,是与客户端会话绑定的,一旦客户端会话失效,那么这个客户端创建的所有临时节点都会被移除。在HBase中,集群则是通过 /hbase/rs/* 和 /hbase/master 两个临时节点,来监控 HRegionServer 进程的加入和宕机 和 HMaster 进程的 Active 状态。

另外,Zookeeper还有一种顺序节点(SEQUENTIAL)。该节点被创建的时候,Zookeeper 会自动在其子节点名上,加一个由父节点维护的、自增整数的后缀(上限:Integer.MAX_VALUE)。该节点的特性,还可以应用到 持久 / 临时节点 上,组合成 持久顺序节点(PERSISTENT_SEQUENTIAL)和临时顺序节点(EPHEMERAL_SEQUENTIAL)。

4.版本

Zookeeper的每个ZNode上都会存储数据,对应于每个ZNode,Zookeeper都会为其维护一个叫做Stat的数据结构,Stat中记录了这个ZNode的三个数据版本,分别是version(当前 ZNode数据内容的版本),cversion(当前ZNode子节点的版本)和aversion(当前 ZNode的ACL变更版本)。这里的版本起到了控制Zookeeper操作原子性的作用。

5.Watcher

Watcher(事件监听器)是Zookeeper 提供的一种发布/订阅的机制。Zookeeper允许用户在指定节点上注册一些Watcher,并且在一些特定事件触发的时候,Zookeeper服务端会将事件通知给订阅的客户端。该机制是Zookeeper实现分布式协调的重要特性。

6.ACL

类似于Unix文件系统,Zookeeper采用ACL(Access Control Lists)策略来进行权限控制。

Command Comment
CREATE (c) 创建子节点的权限
READ (r) 获取节点数据和子节点列表的权限
WRITE (w) 更新节点数据的权限
DELETE (d) 删除当前节点的权限
ADMIN (a) 管理权限,可以设置当前节点的 permission
Scheme ID Comment
world anyone Zookeeper中对所有人有权限的结点就是属于world:anyone
auth 不需要id 通过authentication的user都有权限
digest username:BASE64 (SHA1(password)) 需要先通过 username:password 形式的 authentication
ip id 为客户机的 IP 地址(或者 IP 地址段) ip:192.168.1.0/14,表示匹配前 14 个 bit 的 IP 段
super 对应的 id 拥有超级权限(CRWDA)

IP

@Beforepublic void init() throws Exception {  zoo = new ZooKeeper(HOST.concat(":" + CLIENT_PORT), TIME_OUT_MILLISECOND, null);  acls = new ArrayList<>();  acls.add(new ACL(ZooDefs.Perms.ALL, new Id(IP, "10.24.40.178")));  acls.add(new ACL(ZooDefs.Perms.ALL, new Id(IP, "127.0.0.1")));  aclsNoAuth = new ArrayList<>();  aclsNoAuth.add(new ACL(ZooDefs.Perms.ALL, new Id(IP, "127.0.0.1")));}@Testpublic void ipAcl() throws Exception {  if (zoo.exists(IP_PATH, null) != null) zoo.delete(IP_PATH, -1);  if (zoo.exists(IP_PATH_NO_AUTH, null) != null) zoo.delete(IP_PATH_NO_AUTH, -1);  zoo.create(IP_PATH, IP.getBytes(), acls, CreateMode.PERSISTENT);  assertEquals(IP, new String(zoo.getData(IP_PATH, false, null)));  zoo.create(IP_PATH_NO_AUTH, IP.getBytes(), aclsNoAuth, CreateMode.PERSISTENT);  try {    zoo.getData(IP_PATH_NO_AUTH, false, null);  } catch (KeeperException.NoAuthException e) {    assertEquals("KeeperErrorCode = NoAuth for ".concat(IP_PATH_NO_AUTH), e.getMessage());  }}复制代码

简单易用,直接在物理层面,对用户进行权限隔离;但是,如果不将 127.0.0.1 放入到 IP Acl 列表里,会给服务端的运维带来麻烦

DIGEST

@Beforepublic void init() throws Exception {  zoo = new ZooKeeper(HOST.concat(":" + CLIENT_PORT), TIME_OUT_MILLISECOND, null);  zoo.addAuthInfo("digest", "yuzhouwan:com".getBytes());  zooNoAuth = new ZooKeeper(HOST.concat(":" + CLIENT_PORT), TIME_OUT_MILLISECOND, null);}@Testpublic void digestAcl() throws Exception {  if (zoo.exists(AUTH_PATH_CHILD, null) != null) zoo.delete(AUTH_PATH_CHILD, -1);  if (zoo.exists(AUTH_PATH, null) != null) zoo.delete(AUTH_PATH, -1);  zoo.create(AUTH_PATH, bytes, ZooDefs.Ids.CREATOR_ALL_ACL, CreateMode.PERSISTENT);  try {    zooNoAuth.create(AUTH_PATH_CHILD, bytes, ZooDefs.Ids.CREATOR_ALL_ACL, CreateMode.PERSISTENT);  } catch (KeeperException.InvalidACLException e) {    assertEquals("KeeperErrorCode = InvalidACL for /auth_test/child", e.getMessage());  }  zoo.create(AUTH_PATH_CHILD, bytes, ZooDefs.Ids.CREATOR_ALL_ACL, CreateMode.PERSISTENT);  try {    zooNoAuth.delete(AUTH_PATH_CHILD, -1);  } catch (KeeperException.NoAuthException e) {    assertEquals("KeeperErrorCode = NoAuth for /auth_test/child", e.getMessage());  }  assertEquals(AUTH_PATH, new String(zoo.getData(AUTH_PATH, false, null)));}复制代码

可以建立角色,按照用户名、密码进行权限控制;但是,想要修改某个用户的密码,需要对所有的 ACLs 做更改

7. 参考文章

转载地址:http://tyqyo.baihongyu.com/

你可能感兴趣的文章
html定位有几种,POSITION定位有哪几种?各有什么特点?
查看>>
背锅侠逆袭之路
查看>>
演示:使用协议分析器取证IPv6的报文结构
查看>>
oracle 11gr2 rac中的4种IP解说
查看>>
为什么你找不到工作?
查看>>
20 个免费的 jQuery 的工具提示插件:
查看>>
汇编语言的应用
查看>>
device platform 相应的表
查看>>
php des 加密解密实例
查看>>
【Mac】Mac键盘实现Home, End, Page UP, Page DOWN
查看>>
实战使用Axure设计App,使用WebStorm开发(1) – 用Axure描述需求
查看>>
安德鲁斯----多媒体编程
查看>>
swift版的元组
查看>>
[zz]在linux中出现there are stopped jobs 的解决方法
查看>>
Delphi下实现全屏快速找图找色 一、数据提取
查看>>
查询表字段信息
查看>>
logback与Log4J的区别
查看>>
关于机器学习的最佳科普文章:《从机器学习谈起》
查看>>
dxFlowChart运行时调出编辑器
查看>>
NET Framework 3.0 (WinFX) RTM发布
查看>>