【SRE工程师培训】zookeeper服务部署与基础使用！

　　zookeeper由雅虎(Yahoo!)研究院开发，它是一个开源的分布式的协同服务系统，为分布式应用提供协调服务的Apache项目。

　　zookeeper的设计目标是将那些复杂且容易出错的分布式系统服务封装起来，抽象出一个高效可靠的原语集，并以一系列简单的接口提供给用户使用。

　　大数据生态系统里的很多组件的命名都是某个动物或者昆虫，比如Hadoop是大象，hive是蜜蜂，zookeeper是动物管理员，顾名思义就是管理大数据生态系统各组件的管理员。

　   |　zookeeper的发展历史

　　zookeeper最早起源于雅虎(Yahoo!)研究院的一个研究小组。在当时，研究人员发现，在雅虎内部很多软件系统都需要依赖一个系统来进行协同

　　但是这样的协调往往都存在单点问题。所以，雅虎的开发人员就开发了一个通用的无单点问题的分布式协同服务系统，这就是zookeeper

　　zookeeper之后在开源界被大量使用，下面列出了3个著名开源项目是如何使用zookeeper:

　　Hadoop：使用zookeeper做HDFS的nameNode的高可用和YARN组件的resourcemanager的高可用

　　HBase：保证集群中只有一个master，保存集群中的RegionServer列表，保存hbase:mete表的位置

　　Kafka：集群成员管理，controlller节点选举，包括partition的leader状态保存

　　温馨提示：

　　zookeeper和etcd有着类似的功能，但在java领域中最常用的依旧是zookeeper，而在Go领域中，常用的是etcd，比如Kubernetes的各种组件就用它存储数据

　　zookeeper应用场景

　　| zookeeper的应用场景概述

　　zookeeper是一个分布式数据一致性解决方案，致力于为分布式应用提供一个高性能，高可用，且具有严格顺序访问控制能力的分布式协调存储服务

　　zookeeper包括但不限于以下几点的应用场景:

• 　　维护配置信息;
• 　　分布式锁服务;
• 　　集群管理;
• 　　生成分布式唯一ID;
• 　　配置中心案例;

　　温馨提示:

　　zookeeper适用于存储和协同相关的关键数据，不适合用于存储大数据量存储

　　| 维护配置信息

　　Java编程经常会遇到配置项，比如数据库的url，schema，user和password等。通常这些配置项我们会防止在配置文件中，再将配置文件放置在服务器上当需要更改配置项时，需要去服务器上修改对应的配置文件

　　随着分布式系统的兴起，由于许多服务都需要使用到该配置文件，因此必须保证配置服务的高可用性(high availability)和各台服务器上配置数据的一致性

　　通常会将配置文件部署在一个集群上，然后一个集群动辄上千台服务器，此时如果在一台服务器逐步修改配置文件那将是非常繁琐且危险的操作，因此就需要一种服务，能够高效快速且可靠地完成配置项的更改等操作，并能够保证各配置项在每台服务器上的数据一致性

　　zookeeper就可以提供这样一种服务，其使用Zab这种一致性协议来保证一致性

　　现在有很多开源项目使用zookeeper来维护配置，比如hbase中，客户端就是连接一个zookeeper，获得必要的hbase集群的配置信息，然后才开源进一步操作

　　还有在开源的消息队列kafka中，也是用zookeeper来维护broker的信息。在alibaba开源的SOA框架dubbo中也广泛使用zookeeper管理一些配置来实现服务治理

　　| 分布式锁服务

　　一个集群是一个分布式系统，由多台服务器组成。为了提高并发度和可靠性，多台服务器上运行着同一种服务

　　当多个服务在运行时就需要协调各服务的进度，有时候需要保证当某个服务在进行某个操作时，其他的服务都不能进行该操作，即对该操作进行加锁，如果当前机器挂掉后，释放锁并"fail over"到其他的机器继续执行该服务

　　作为分布式协同工具zookeeper，当然也可有这标准的实现方式，下面介绍在zookeeper中如何实现排他锁，设计思路如下所示：

• 　　每个客户往"/Locks"下创建临时有序节点"/Locks/Lock_"，创建成功后"/Locks"下面会有每个客户端对应的节点，如"/Locks/Lock_000000001";
• 　　客户端取得"/Locks"下子节点，并进行排序，判断排在最前面的是否为自己，如果自己的锁节点排在第一位，代表获取锁成功;
• 　　如果自己的锁节点不在第一位，则监听自己前一位的锁节点。例如，自己锁节点"Lock_000000002"，那么则监听"Lock_000000001";
• 　　当前一位锁节点(Lock_000000001)对应的客户端执行完成，释放了锁，将会触发监听客户端;
• 　　监听客户端重新执行第2步逻辑，判断自己是否获得了锁;

　　| 集群管理

　　一个集群有时会因为各种软硬件故障或者网络故障，出现某些服务挂掉而被"移除"集群，而某些服务器"加入"到集群中的情况

　　zookeeper会将这些服务器"加入"和"移出"的情况通知给集群中其他正常工作的服务器，以及时间调整存储和计算等任务的分配和执行等

　　综上所述，zookeeper服务可以帮助我们实现服务器动态上下线的集群管理

　　此外，zookeeper还会对故障的服务器做出诊断并尝试修复

　　| 生成分布式唯一ID

　　在过去的单库单表型系统中，通常可以使用数据库字段自带的"auto_increment"属性来自动为每条记录生成一个唯一的ID

　　但是分库分表后，就无法再依靠数据库的"auto_increment"属性来唯一标识一条记录了。此时我们就可以使用zookeeper在分布式环境下生成全局唯一ID

　　设计思路：

• 　　连接zookeeper服务器;
• 　　指定路径生成临时有序节点;
• 　　取序列号及分布式环境下的唯一ID;

　　| 配置中心案例

　　生产环境中的APP程序会使用到数据库，因此通常会将连接数据库的用户名和密码放在一个配置文件中，应用读取该配置文件，配置文件信息放入缓存

　　若数据库的用户名和密码改变时候，还需要重新加载缓存，比较麻烦，通过zookeeper可以轻松完成，当数据库发生变化时自动完成缓存同步

　　设计思路：

• 　　连接zookeeper服务器
• 　　读取zookeeper中的配置信息，注册watcher监听器，存入本地变量
• 　　当zookeeper中的配置信息发生变化时，通过watcher的回调方法捕获数据变化事件
• 　　重新获取配置信息

　　篇幅较长,后续内容请看下一页：zookeeper服务部署与基础使用(二)!老男孩Linux培训班

　　老男孩教育Linux云计算SRE课程汇集了虚拟化、云计算、安全攻防、Python开发、SRE等技术，课堂效率高、内容丰富全面，由浅入深，循序渐进，帮助学员稳扎稳打，夯实基础，在有限的时间内帮助学员高效提升，成为符合企业需求的技术型人才。