Redis学习笔记整理.doc

《Redis学习笔记整理.doc》由会员分享，可在线阅读，更多相关《Redis学习笔记整理.doc（33页珍藏版）》请在三一办公上搜索。

1、redis学习笔记整理一、redis 环境搭建2二、redis学习笔记之数据类型3三、redis学习笔记之排序11四、redis学习笔记之事务16五、redis学习笔记之pipeline20六、redis学习笔记之发布订阅23七、redis学习笔记之持久化28八、redis学习笔记之主从复制30九、redis学习笔记之虚拟内存31一、 redis 环境搭建 1.简介 redis是一个开源的key-value数据库。它又经常被认为是一个数据结构服务器。因为它的value不仅包括基本的string类型还有 list,set ,sorted set和hash类型。当然这些类型的元素也都是string

2、类型。也就是说list,set这些集合类型也只能包含string 类型。你可以在这些类型上做很多原子性的操作。比如对一个字符value追加字符串（APPEND命令）。加加或者减减一个数字字符串(INCR命令，当 然是按整数处理的).可以对list类型进行push,或者pop元素操作（可以模拟栈和队列）。对于set类型可以进行一些集合相关操作 (intersection union difference)。memcache也有类似与+,-的命令。不过memcache的 value只包括string类型。远没有redis的value类型丰富。和memcahe一样为了性能。redis的数据通常都是放

3、到内存中的。当然 redis可以每间隔一定时间将内存中数据写入到磁盘以防止数据丢失。redis也支持主从复制机制（master-slave replication）。redis的其他特性包括简单的事务支持和 发布订阅(pub/sub)通道功能,而且redis配置管理非常简单。还有各种语言版本的开源客户端类库。()2.安装下载地址： 2.0目前是最新稳定版可以在linux下运行如下命令进行安装 $ tar xzf redis-2.0.4.tar.gz$ cd redis-2.0.4$ makemake完后 redis-2.0.4目录下会出现编译后的redis服务程序redis-server,还有

4、用于测试的客户端程序redis-cli下面启动redis服务.$./redis-server注意这种方式启动redis 使用的是默认配置。也可以通过启动参数告诉redis使用指定配置文件使用下面命令启动.$ ./redis-server redis.confredis.conf是一个默认的配置文件。我们可以根据需要使用自己的配置文件。启动redis服务进程后，就可以使用测试客户端程序redis-cli和redis服务交互了.比如$ ./redis-cliredis set foo barOKredis get foobar这里演示了get和set命令操作简单类型value的例子。foo是key

5、 ,bar是个string类型的value没linux的可以通过这个在线的来练习，当然在线版的很多管理相关的命令是不支持的。http:/try.redis-3.java客户端hello,world客户端jar包地址 。版本目前有点老，支持到Redis 1.2.6。最新版2.0的还没release在eclipse中新建一个java项目，然后添加jredis包引用。下面是个hello,world程序 package jredisStudy;import org.jredis.*;import org.jredis.ri.alphazero.JRedisClient;public class App

6、 public static void main(String args) try JRedis jr = new JRedisClient(192.168.56.55,6379); /redis服务地址和端口号 String key = mKey; jr.set(key, hello,redis!); String v = new String(jr.get(key); String k2 = count; jr.incr(k2); jr.incr(k2); System.out.println(v); System.out.println(new String(jr.get(k2); ca

7、tch (Exception e) / TODO: handle exception 好了redis环境已经搭建好了。后面会写写redis的各种类型和类型相关的命令和一些具体的应用场景 二、 redis学习笔记之数据类型 本文介绍下redis支持的各种数据类型包括string,list ,set ,sorted set 和hash 1. keysredis本质上一个key-value db，所以我们首先来看看他的key.首先key也是字符串类型，但是key中不能包括边界字符由于key不是binary safe的字符串，所以像my key和mykeyn这样包含空格和换行的key是不允许的顺便说一

8、下在redis内部并不限制使用binary字符，这是redis协议限制的。rn在协议格式中会作为特殊字符。redis 1.2以后的协议中部分命令已经开始使用新的协议格式了(比如MSET)。总之目前还是把包含边界字符当成非法的key吧，免得被bug纠缠。 另外关于key的一个格式约定介绍下，object-type:id:field。比如user:1000:password，blog:xxidxx:title还有key的长度最好不要太长。道理很明显占内存啊，而且查找时候相对短key也更慢。不过也推荐过短的key，比如u:1000:pwd,这样的。显然没上面的user:1000:password可读

9、性好。下面介绍下key相关的命令exits key 测试指定key是否存在，返回1表示存在，0不存在del key1 key2 .keyN 删除给定key,返回删除key的数目，0表示给定key都不存在type key 返回给定key的value类型。返回 none 表示不存在key,string字符类型，list 链表类型 set 无序集合类型.keys pattern 返回匹配指定模式的所有key,下面给个例子redis set test dsfOKredis set tast dsafOKredis set tist adffOKredis keys t*1. tist2. tast3.

10、 testredis keys tiast1. tist2. tastredis keys t?st1. tist2. tast3. testrandomkey 返回从当前数据库中随机选择的一个key,如果当前数据库是空的，返回空串 rename oldkey newkey 原子的重命名一个key,如果newkey存在，将会被覆盖，返回1表示成功，0失败。可能是oldkey不存在或者和newkey相同renamenx oldkey newkey 同上，但是如果newkey存在返回失败dbsize 返回当前数据库的key数量expire key seconds 为key指定过期时间，单位是秒。返

11、回1成功，0表示key已经设置过过期时间或者不存在ttl key 返回设置过过期时间的key的剩余过期秒数 -1表示key不存在或者没有设置过过期时间select db-index 通过索引选择数据库，默认连接的数据库所有是0,默认数据库数是16个。返回1表示成功，0失败move key db-index 将key从当前数据库移动到指定数据库。返回1成功。0 如果key不存在，或者已经在指定数据库中flushdb 删除当前数据库中所有key,此方法不会失败。慎用flushall 删除所有数据库中的所有key，此方法不会失败。更加慎用2. string 类型string是redis最基本的类型，

12、而且string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象。从内部实现来看其实string可以看作byte数组，最大上限是1G字节。下面是string类型的定义。struct sdshdr long len; long free; char buf;buf是个char数组用于存贮实际的字符串内容。其实char和c#中的byte是等价的，都是一个字节len是buf数组的长度，free是数组中剩余可用字节数。由此可以理解为什么string类型是二进制安全的了。因为它本质上就是个byte数组。当然可以包含任何数据了。另外string类型可以被部

13、分命令按int处理.比如incr等命令，下面详细介绍。还有redis的其他类型像list,set,sorted set ，hash它们包含的元素与都只能是string类型。如果只用string类型，redis就可以被看作加上持久化特性的memcached.当然redis对string类型的操作比memcached多很多啊。如下：set key value 设置key对应的值为string类型的value,返回1表示成功，0失败setnx key value 同上，如果key已经存在，返回0 。nx 是not exist的意思get key 获取key对应的string值,如果key不存在返回n

14、ilgetset key value 原子的设置key的值，并返回key的旧值。如果key不存在返回nilmget key1 key2 . keyN 一次获取多个key的值，如果对应key不存在，则对应返回nil。下面是个实验,首先清空当前数据库，然后设置k1,k2.获取时k3对应返回nilredis flushdbOKredis dbsize(integer) 0redis set k1 aOKredis set k2 bOKredis mget k1 k2 k31. a2. b3. (nil)mset key1 value1 . keyN valueN 一次设置多个key的值，成功返回1表

15、示所有的值都设置了，失败返回0表示没有任何值被设置msetnx key1 value1 . keyN valueN 同上，但是不会覆盖已经存在的keyincr key 对key的值做加加操作,并返回新的值。注意incr一个不是int的value会返回错误，incr一个不存在的key，则设置key为1decr key 同上，但是做的是减减操作，decr一个不存在key，则设置key为-1incrby key integer 同incr，加指定值 ，key不存在时候会设置key，并认为原来的value是 0decrby key integer 同decr，减指定值。decrby完全是为了可读性，我

16、们完全可以通过incrby一个负值来实现同样效果，反之一样。append key value 给指定key的字符串值追加value,返回新字符串值的长度。下面给个例子redis set k helloOKredis append k ,world(integer) 11redis get khello,worldsubstr key start end 返回截取过的key的字符串值,注意并不修改key的值。下标是从0开始的，接着上面例子redis substr k 0 8hello,worredis get khello,world3. listredis的list类型其实就是一个每个子元素都

17、是string类型的双向链表。所以lrpush和lrpop命令的算法时间复杂度都是O(1)另外list会记录链表的长度。所以llen操作也是O(1).链表的最大长度是(2的32次方-1)。我们可以通过push,pop操作从链表的头部或者尾部添加删除元素。这使得list既可以用作栈，也可以用作队列。有意思的是list的pop操作还有阻塞版本的。当我们lrpop一个list对象是，如果list是空，或者不存在，会立即返回nil。但是阻塞版本的blrpop可以则可以阻塞，当然可以加超时时间，超时后也会返回nil。为什么要阻塞版本的pop呢，主要是为了避免轮询。举个简单的例子如果我们用list来实现一

18、个工作队列。执行任务的thread可以调用阻塞版本的pop去获取任务这样就可以避免轮询去检查是否有任务存在。当任务来时候工作线程可以立即返回，也可以避免轮询带来的延迟。ok下面介绍list相关命令lpush key string 在key对应list的头部添加字符串元素，返回1表示成功，0表示key存在且不是list类型rpush key string 同上，在尾部添加llen key 返回key对应list的长度，key不存在返回0,如果key对应类型不是list返回错误lrange key start end 返回指定区间内的元素，下标从0开始，负值表示从后面计算，-1表示倒数第一个元素

19、，key不存在返回空列表ltrim key start end 截取list，保留指定区间内元素，成功返回1，key不存在返回错误lset key index value 设置list中指定下标的元素值，成功返回1，key或者下标不存在返回错误lrem key count value 从key对应list中删除count个和value相同的元素。count为0时候删除全部lpop key 从list的头部删除元素，并返回删除元素。如果key对应list不存在或者是空返回nil，如果key对应值不是list返回错误rpop 同上，但是从尾部删除blpop key1.keyN timeout 从左

20、到右扫描返回对第一个非空list进行lpop操作并返回，比如blpop list1 list2 list3 0 ,如果list不存在list2,list3都是非空则对list2做lpop并返回从list2中删除的元素。如果所有的list都是空或不存在，则会阻塞timeout秒，timeout为0表示一直阻塞。当阻塞时，如果有client对key1.keyN中的任意key进行push操作，则第一在这个key上被阻塞的client会立即返回。如果超时发生，则返回nil。有点像unix的select或者pollbrpop 同blpop，一个是从头部删除一个是从尾部删除rpoplpush srckey

21、 destkey 从srckey对应list的尾部移除元素并添加到destkey对应list的头部,最后返回被移除的元素值，整个操作是原子的.如果srckey是空或者不存在返回nil4. setredis的set是string类型的无序集合。set元素最大可以包含(2的32次方-1)个元素。set的是通过hash table实现的，所以添加，删除，查找的复杂度都是O(1)。hash table会随着添加或者删除自动的调整大小。需要注意的是调整hash table大小时候需要同步（获取写锁）会阻塞其他读写操作。可能不久后就会改用跳表（skip list）来实现跳表已经在sorted set中使用

22、了。关于set集合类型除了基本的添加删除操作，其他有用的操作还包含集合的取并集(union)，交集(intersection)，差集(difference)。通过这些操作可以很容易的实现sns中的好友推荐和blog的tag功能。下面详细介绍set相关命令sadd key member 添加一个string元素到,key对应的set集合中，成功返回1,如果元素以及在集合中返回0,key对应的set不存在返回错误srem key member 从key对应set中移除给定元素，成功返回1，如果member在集合中不存在或者key不存在返回0，如果key对应的不是set类型的值返回错误spop ke

23、y 删除并返回key对应set中随机的一个元素,如果set是空或者key不存在返回nilsrandmember key 同spop，随机取set中的一个元素，但是不删除元素smove srckey dstkey member 从srckey对应set中移除member并添加到dstkey对应set中，整个操作是原子的。成功返回1,如果member在srckey中不存在返回0，如果key不是set类型返回错误scard key 返回set的元素个数，如果set是空或者key不存在返回0sismember key member 判断member是否在set中，存在返回1，0表示不存在或者key不存

24、在sinter key1 key2.keyN 返回所有给定key的交集sinterstore dstkey key1.keyN 同sinter，但是会同时将交集存到dstkey下sunion key1 key2.keyN 返回所有给定key的并集sunionstore dstkey key1.keyN 同sunion，并同时保存并集到dstkey下sdiff key1 key2.keyN 返回所有给定key的差集sdiffstore dstkey key1.keyN 同sdiff，并同时保存差集到dstkey下smembers key 返回key对应set的所有元素，结果是无序的5 sorte

25、d set和set一样sorted set也是string类型元素的集合，不同的是每个元素都会关联一个double类型的score。sorted set的实现是skip list和hash table的混合体当元素被添加到集合中时，一个元素到score的映射被添加到hash table中，所以给定一个元素获取score的开销是O(1),另一个score到元素的映射被添加到skip list并按照score排序，所以就可以有序的获取集合中的元素。添加，删除操作开销都是O(log(N)和skip list的开销一致,redis的skip list实现用的是双向链表,这样就可以逆序从尾部取元素。so

26、rted set最经常的使用方式应该是作为索引来使用.我们可以把要排序的字段作为score存储，对象的id当元素存储。下面是sorted set相关命令zadd key score member 添加元素到集合，元素在集合中存在则更新对应scorezrem key member 删除指定元素，1表示成功，如果元素不存在返回0zincrby key incr member 增加对应member的score值，然后移动元素并保持skip list保持有序。返回更新后的score值zrank key member 返回指定元素在集合中的排名（下标）,集合中元素是按score从小到大排序的zrevra

27、nk key member 同上,但是集合中元素是按score从大到小排序zrange key start end 类似lrange操作从集合中去指定区间的元素。返回的是有序结果zrevrange key start end 同上，返回结果是按score逆序的zrangebyscore key min max 返回集合中score在给定区间的元素zcount key min max 返回集合中score在给定区间的数量zcard key 返回集合中元素个数zscore key element 返回给定元素对应的scorezremrangebyrank key min max 删除集合中排名在给

28、定区间的元素zremrangebyscore key min max 删除集合中score在给定区间的元素6. hash redis hash是一个string类型的field和value的映射表.它的添加，删除操作都是O(1)（平均）.hash特别适合用于存储对象。相较于将对象的每个字段存成单个string类型。将一个对象存储在hash类型中会占用更少的内存，并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap（又称为small hash）来存储的。这个zipmap其实并不是hash table，但是zipmap相比正常的hash实现可以节省不少hash本身

29、需要的一些元数据存储开销。尽管zipmap的添加，删除，查找都是O(n)，但是由于一般对象的field数量都不太多。所以使用zipmap也是很快的,也就是说添加删除平均还是O(1)。如果field或者value的大小超出一定限制后，redis会在内部自动将zipmap替换成正常的hash实现. 这个限制可以在配置文件中指定hash-max-zipmap-entries 64 #配置字段最多64个hash-max-zipmap-value 512 #配置value最大为512字节下面介绍hash相关命令hset key field value 设置hash field为指定值，如果key不存在，

30、则先创建hget key field 获取指定的hash fieldhmget key filed1.fieldN 获取全部指定的hash filedhmset key filed1 value1 . filedN valueN 同时设置hash的多个fieldhincrby key field integer 将指定的hash filed 加上给定值hexists key field 测试指定field是否存在hdel key field 删除指定的hash fieldhlen key 返回指定hash的field数量hkeys key 返回hash的所有fieldhvals key 返回h

31、ash的所有valuehgetall 返回hash的所有filed和value三、 redis学习笔记之排序 在了解完各种redis类型后，这次介绍下redis排序命令.redis支持对list，set和sorted set元素的排序。排序命令是sort 完整的命令格式如下：SORT key BY pattern LIMIT start count GET pattern ASC|DESC ALPHA STORE dstkey 下面我们一一说明各种命令选项（1）sort key这个是最简单的情况，没有任何选项就是简单的对集合自身元素排序并返回排序结果.下面给个例子redis lpush ml

32、12(integer) 1redis lpush ml 11(integer) 2redis lpush ml 23(integer) 3redis lpush ml 13(integer) 4redis sort ml1. 112. 123. 134. 23(2)ASC|DESC ALPHAsort默认的排序方式（asc）是从小到大排的,当然也可以按照逆序或者按字符顺序排。逆序可以加上desc选项，想按字母顺序排可以加alpha选项，当然alpha可以和desc一起用。下面是个按字母顺序排的例子redis lpush mylist baidu(integer) 1redis lpush my

33、list hello(integer) 2redis lpush mylist xhan(integer) 3redis lpush mylist soso(integer) 4redis sort mylist1. soso2. xhan3. hello4. baiduredis sort mylist alpha1. baidu2. hello3. soso4. xhanredis sort mylist desc alpha1. xhan2. soso3. hello4. baidu（3）BY pattern 除了可以按集合元素自身值排序外，还可以将集合元素内容按照给定pattern组合

34、成新的key，并按照新key中对应的内容进行排序。下面的例子接着使用第一个例子中的ml集合做演示：redis set name11 nihaoOKredis set name12 woOKredis set name13 shiOKredis set name23 lalaOKredis sort ml by name* 1. 132. 233. 114. 12*代表了ml中的元素值，所以这个排序是按照name12 name13 name23 name23这四个key对应值排序的,当然返回的还是排序后ml集合中的元素(4)GET pattern 上面的例子都是返回的ml集合中的元素。我们也可以

35、通过get选项去获取指定pattern作为新key对应的值。看个组合起来的例子redis sort ml by name* get name* alpha1. lala2. nihao3. shi4. wo这 次返回的就不在是ml中的元素了，而是name12 name13 name23 name23对应的值。当然排序是按照name12 name13 name23 name23值并根据字母顺序排的。另外get选项可以有多个。看例子（#特殊符号引用的是原始集合也就是ml）redis sort ml by name* get name* get # alpha1. lala2. 233. nihao

36、4. 115. shi6. 137. wo8. 12最后在还有一个引用hash类型字段的特殊字符-，下面是例子redis hset user1 name hanjie(integer) 1redis hset user11 name hanjie(integer) 1redis hset user12 name 86(integer) 1redis hset user13 name lxl(integer) 1redis sort ml get user*-name1. hanjie2. 863. lxl4. (nil)很容易理解，注意当对应的user23不存在时候返回的是nil(5) LIM

37、IT start count 上面例子返回结果都是全部。limit选项可以限定返回结果的数量。例子redis sort ml get name* limit 1 21. wo2. shistart下标是从0开始的，这里的limit选项意思是从第二个元素开始获取2个(6)STORE dstkey 如果对集合经常按照固定的模式去排序，那么把排序结果缓存起来会减少不少cpu开销.使用store选项可以将排序内容保存到指定key中。保存的类型是listredis sort ml get name* limit 1 2 store cl(integer) 2redis type cllistredis

38、lrange cl 0 -11. wo2. shi这个例子我们将排序结果保存到了cl中 功能介绍完后，再讨论下关于排序的一些问题。如果我们有多个redis server的话，不同的key可能存在于不同的server上。比如name12 name13 name23 name23，很有可能分别在四个不同的server上存贮着。这种情况会对排序性能造成很大的影响。redis作者在他的blog上提到了这个问题的解 决办法，就是通过key tag将需要排序的key都放到同一个server上 。由于具体决定哪个key存在哪个服务器上一般都是在client端hash的办法来做的。我们可以通过只对key的部分

39、进行hash.举个例子假如我们 的client如果发现key中包含。那么只对key中包含的内容进行hash。我们将四个name相关的key，都这样命名name12 name13 name23 name23，于是client 程序就会把他们都放到同一server上。不知道jredis实现了没。 还有一个问题也比较严重。如果要sort的集合非常大的话排序就会消耗很长时间。由于redis单线程的，所以长时间的排序操作会阻塞其他client的 请求。解决办法是通过主从复制机制将数据复制到多个slave上。然后我们只在slave上做排序操作。并进可能的对排序结果缓存。另外就是一个方案是就 是采用sort

40、ed set对需要按某个顺序访问的集合建立索引。四、 redis学习笔记之事务 redis对事务的支持目前还比较简单。redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。 由于redis是单线程来处理所有client的请求的所以做到这点是很容易的。一般情况下redis在接受到一个client发来的命令后会立即处理并 返回处理结果，但是当一个client在一个连接中发出multi命令有，这个连接会进入一个事务上下文，该连接后续的命令并不是立即执行，而是先放到一 个队列中。当从此连接受到exec命令后，redis会顺序的执行队列中的所有命令。并

41、将所有命令的运行结果打包到一起返回给client.然后此连接就 结束事务上下文。下面可以看一个例子redis multiOKredis incr aQUEUEDredis incr bQUEUEDredis exec1. (integer) 12. (integer) 1从这个例子我们可以看到incr a ,incr b命令发出后并没执行而是被放到了队列中。调用exec后俩个命令被连续的执行，最后返回的是两条命令执行后的结果我们可以调用discard命令来取消一个事务。接着上面例子redis multiOKredis incr aQUEUEDredis incr bQUEUEDredis di

42、scardOKredis get a1redis get b1可以发现这次incr a incr b都没被执行。discard命令其实就是清空事务的命令队列并退出事务上下文。 虽说redis事务在本质上也相当于序列化隔离级别的了。但是由于事务上下文的命令只排队并不立即执行，所以事务中的写操作不能依赖事务中的读操作结果。看下面例子redis multi OKredis get aQUEUEDredis get bQUEUEDredis exec1. 12. 1发现问题了吧。假如我们想用事务实现incr操作怎么办？可以这样做吗？redis get a1redis multiOKredis set

43、a 2QUEUEDredis exec1. OKredis get a，2结 论很明显这样是不行的。这样和 get a 然后直接set a是没区别的。很明显由于get a 和set a并不能保证两个命令是连续执行的(get操作不在事务上下文中)。很可能有两个client同时做这个操作。结果我们期望是加两次a从原来的1变成3. 但是很有可能两个client的get a，取到都是1，造成最终加两次结果却是2。主要问题我们没有对共享资源a的访问进行任何的同步也就是说redis没提供任何的加锁机制来同步对a的访问。还好redis 2.1后添加了watch命令，可以用来实现乐观锁。看个正确实现incr命

44、令的例子,只是在前面加了watch aredis watch aOKredis get a1redis multiOKredis set a 2QUEUEDredis exec1. OKredis get a，2watch 命令会监视给定的key,当exec时候如果监视的key从调用watch后发生过变化，则整个事务会失败。也可以调用watch多次监视多个key.这 样就可以对指定的key加乐观锁了。注意watch的key是对整个连接有效的，事务也一样。如果连接断开，监视和事务都会被自动清除。当然了 exec,discard,unwatch命令都会清除连接中的所有监视.redis的事务实现是如

45、此简单，当然会存在一些问题。第一个问题是redis只能保证事务的每个命令连续执行，但是如果事务中的一个命令失败了，并不回滚其他命令，比如使用的命令类型不匹配。redis set a 5OKredis lpush b 5(integer) 1redis set c 5OKredis multiOKredis incr aQUEUEDredis incr bQUEUEDredis incr cQUEUEDredis exec1. (integer) 62. (error) ERR Operation against a key holding the wrong kind of value3. (

46、integer) 6可以看到虽然incr b失败了，但是其他两个命令还是执行了。最 后一个十分罕见的问题是 当事务的执行过程中，如果redis意外的挂了。很遗憾只有部分命令执行了，后面的也就被丢弃了。当然如果我们使用的append-only file方式持久化，redis会用单个write操作写入整个事务内容。即是是这种方式还是有可能只部分写入了事务到磁盘。发生部分写入事务的情况 下，redis重启时会检测到这种情况，然后失败退出。可以使用redis-check-aof工具进行修复，修复会删除部分写入的事务内容。修复完后就 能够重新启动了。五、 redis学习笔记之pipeline redis是一个cs模式的tcp server，使用和htt