云计算HadoopZooKeeper.ppt
Hadoop ZooKeeper,主要内容,ZooKeeper的数据模型ZooKeeper的数据读写机制ZooKeeper的使用方法,为什么需要ZooKeeper?,大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等）目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器ZooKeeper：提供通用的分布式锁服务，用以协调分布式应用（如为HBase提供服务）,ZooKeeper的数据模型,层次化目录结构命名符合常规文件系统规范，不能包含/节点Znode可以包含数据与子 节点客户端应用可在节点上设置 监视器节点数据不支持部分读写，而是一次性完整读写Ephemeral节点,节点创建属性,Ephemeral创建的节点不是持久节点一旦与客户端的会话结束，节点自动删除Sequence创建节点时，编号自动加1例如x-1,x-2,s-3,x-4等,ZooKeeper的读写机制,ZooKeeper是一个由多个Server组成的集群一个Leader，多个Follower每个Server都保存了一份数据副本全局数据一致分布式读写更新请求转发，由Leader实施,使用ZooKeeper的约定,更新请求顺序执行来自同一个Client的更新请求按其发送顺序依次执行数据更新原子性一次数据更新要么成功，要么失败。不存在部分数据写入成功或失败的情况全局唯一数据视图Client无论连接哪个Server，数据视图都是一致的实时性在一定时间范围内，Client能读到最新数据,ZooKeeper的API,String create(path,data,acl,flags)void delete(path,expectedVersion)Stat setData(path,data,expectedVersion)(data,Stat)getData(path,watch)Stat exists(path,watch)String getChildren(path,watch)void sync(path)Stat setACL(path,acl,expectedVersion)(acl,Stat)getACL(path),包含监视器,调用参数均包含节点路径,对比：Chubby的API,handle Open(path,)Close(handle,)GetContentsAndStat(handle,),GetStat(handle),ReadDir(handle,)SetContents(handle),SetACL(handle,)Delete(path)Acquire(),TryAcquire(),Release()GetSequencer(),SetSequencer(),CheckSequencer(),仅Open包含节点路径，生成handle供其他API使用,如何使用ZooKeeper？,关于ZooKeeper的锁服务这里的“锁”并非对ZooKeeper的资源加锁，用于对第三方资源加锁用例多个第三方分布式Server需要使用某第三方资源，谁获取了ZooKeeper中的独占锁，谁就可以使用第三方资源，否则等待,如何使用ZooKeeper？,Leader选举用于在多个节点中选取主控，如GFS中对外服务Master节点的选取,1)getData(“/servers/leader”,true)2)如果读取成功则从数据中获取leader信息，退出3)读取失败，执行create(“./servers/leader”,hostname,EPHEMERAL)（注意节点类型）如果创建成功则自己成为leader，写入信息，退出5)如果写入失败，则返回步骤1,getData设置了监视器，如果数据发生变化，会重启上述流程,如何使用ZooKeeper？,独占锁如果分布式应用需要对某资源独占使用，可以申请独占锁,1)id=create(“./locks/x-”,SEQUENCE|EPHEMERAL)2)getChildren(“./locks/”,false)3)如果id是第一个节点，则获取独占锁，退出4)exists(name of last child before id,true)（注意，设置了监视器）5)如果id之前不存在节点，返回步骤26)等待通知7)返回步骤2,有且仅有一个Client可以获取到独占锁,如何使用ZooKeeper？,共享锁,1)id=create(“./locks/s-”,SEQUENCE|EPHEMERAL)2)getChildren(“./locks/”,false)3)如果id之前没有x-类型的节点，获取共享锁，退出4)exists(name of the last x-before id,true)5)如果id之前不存在x-类型节点，返回步骤26)等待事件通知7)返回步骤2,如果之前没有独占锁，就可以获取共享锁,如何使用ZooKeeper？,其他应用(小数据存储)例如，GFS中master如何获知ChunkServer信息？,基于ZooKeeper的实现方法ChunkServer执行如下操作：1)id=create(“./chunkservers/cs-”,SEQUENCE|EPHEMERAL)2)向节点id中写入ChunkServer元信息Master执行如下操作：1)getChildren(“./chunkservers/”,true)2)读取子节点数据，获知ChunkServer元信息,其他,ZooKeeper的会话Client通过发送PING请求与Server保持会话通过PING，可以同时获知Client与Server是否活跃ZooKeeper的监视器监视器是一次性的，一次事件通知后就作废,性能,ZooKeeper适用于主要负载为读的应用场合,
