首页 / REDIS / Redis之AOF重写及其实现原理

Redis之AOF重写及其实现原理

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Redis之AOF重写及其实现原理，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6868字，纯文字阅读大概需要10分钟。

内容图文

Reference: https://blog.csdn.net/hezhiqiang1314/article/details/69396887

AOF 重写
AOF 持久化是通过保存被执行的写命令来记录数据库状态的，所以AOF文件的大小随着时间的流逝一定会越来越大；影响包括但不限于：对于Redis服务器，计算机的存储压力；AOF还原出数据库状态的时间增加；
为了解决AOF文件体积膨胀的问题，Redis提供了AOF重写功能：Redis服务器可以创建一个新的AOF文件来替代现有的AOF文件，新旧两个文件所保存的数据库状态是相同的，但是新的AOF文件不会包含任何浪费空间的冗余命令，通常体积会较旧AOF文件小很多。
AOF 文件重写的实现
AOF重写并不需要对原有AOF文件进行任何的读取，写入，分析等操作，这个功能是通过读取服务器当前的数据库状态来实现的。
# 假设服务器对键list执行了以下命令s;
127.0.0.1:6379> RPUSH list "A" "B"
(integer) 2
127.0.0.1:6379> RPUSH list "C"
(integer) 3
127.0.0.1:6379> RPUSH list "D" "E"
(integer) 5
127.0.0.1:6379> LPOP list
"A"
127.0.0.1:6379> LPOP list
"B"
127.0.0.1:6379> RPUSH list "F" "G"
(integer) 5
127.0.0.1:6379> LRANGE list 0 -1
1) "C"
2) "D"
3) "E"
4) "F"
5) "G"
127.0.0.1:6379>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
当前列表键list在数据库中的值就为["C", "D", "E", "F", "G"]。要使用尽量少的命令来记录list键的状态，最简单的方式不是去读取和分析现有AOF文件的内容，，而是直接读取list键在数据库中的当前值，然后用一条RPUSH list "C" "D" "E" "F" "G"代替前面的6条命令。
AOF重写功能的实现原理
首先从数据库中读取键现在的值，然后用一条命令去记录键值对，代替之前记录该键值对的多个命令;
伪代码表示如下;
def AOF_REWRITE(tmp_tile_name):

f = create(tmp_tile_name)

# 遍历所有数据库
for db in redisServer.db:

# 如果数据库为空，那么跳过这个数据库
if db.is_empty(): continue

# 写入 SELECT 命令，用于切换数据库
f.write_command("SELECT " + db.number)

# 遍历所有键
for key in db:

# 如果键带有过期时间，并且已经过期，那么跳过这个键
if key.have_expire_time() and key.is_expired(): continue

if key.type == String:

# 用 SET key value 命令来保存字符串键

value = get_value_from_string(key)

f.write_command("SET " + key + value)

elif key.type == List:

# 用 RPUSH key item1 item2 ... itemN 命令来保存列表键

item1, item2, ..., itemN = get_item_from_list(key)

f.write_command("RPUSH " + key + item1 + item2 + ... + itemN)

elif key.type == Set:

# 用 SADD key member1 member2 ... memberN 命令来保存集合键

member1, member2, ..., memberN = get_member_from_set(key)

f.write_command("SADD " + key + member1 + member2 + ... + memberN)

elif key.type == Hash:

# 用 HMSET key field1 value1 field2 value2 ... fieldN valueN 命令来保存哈希键

field1, value1, field2, value2, ..., fieldN, valueN =\
get_field_and_value_from_hash(key)

f.write_command("HMSET " + key + field1 + value1 + field2 + value2 +\
... + fieldN + valueN)

elif key.type == SortedSet:

# 用 ZADD key score1 member1 score2 member2 ... scoreN memberN
# 命令来保存有序集键

score1, member1, score2, member2, ..., scoreN, memberN = \
get_score_and_member_from_sorted_set(key)

f.write_command("ZADD " + key + score1 + member1 + score2 + member2 +\
... + scoreN + memberN)

else:

raise_type_error()

# 如果键带有过期时间，那么用 EXPIREAT key time 命令来保存键的过期时间
if key.have_expire_time():
f.write_command("EXPIREAT " + key + key.expire_time_in_unix_timestamp())

# 关闭文件
f.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
实际为了避免执行命令时造成客户端输入缓冲区溢出，重写程序在处理list hash set zset时，会检查键所包含的元素的个数，如果元素的数量超过了redis.h/REDIS_AOF_REWRITE_ITEMS_PER_CMD常量的值，那么重写程序会使用多条命令来记录键的值，而不是单使用一条命令。该常量默认值是64– 即每条命令设置的元素的个数是最多64个，使用多条命令重写实现集合键中元素数量超过64个的键；
AOF后台重写
aof_rewrite函数可以创建新的AOF文件，但是这个函数会进行大量的写入操作，所以调用这个函数的线程将被长时间的阻塞，因为Redis服务器使用单线程来处理命令请求；所以如果直接是服务器进程调用AOF_REWRITE函数的话，那么重写AOF期间，服务器将无法处理客户端发送来的命令请求；
Redis不希望AOF重写会造成服务器无法处理请求，所以Redis决定将AOF重写程序放到子进程（后台）里执行。这样处理的最大好处是：
子进程进行AOF重写期间，主进程可以继续处理命令请求；
子进程带有主进程的数据副本，使用子进程而不是线程，可以避免在锁的情况下，保证数据的安全性。
使用子进程进行AOF重写的问题
子进程在进行AOF重写期间，服务器进程还要继续处理命令请求，而新的命令可能对现有的数据进行修改，这会让当前数据库的数据和重写后的AOF文件中的数据不一致。
如何修正
为了解决这种数据不一致的问题，Redis增加了一个AOF重写缓存，这个缓存在fork出子进程之后开始启用，Redis服务器主进程在执行完写命令之后，会同时将这个写命令追加到AOF缓冲区和AOF重写缓冲区
即子进程在执行AOF重写时，主进程需要执行以下三个工作：
执行client发来的命令请求；
将写命令追加到现有的AOF文件中；
将写命令追加到AOF重写缓存中。

效果
可以保证：
AOF缓冲区的内容会定期被写入和同步到AOF文件中，对现有的AOF文件的处理工作会正常进行
从创建子进程开始，服务器执行的所有写操作都会被记录到AOF重写缓冲区中；
完成AOF重写之后
当子进程完成对AOF文件重写之后，它会向父进程发送一个完成信号，父进程接到该完成信号之后，会调用一个信号处理函数，该函数完成以下工作：

将AOF重写缓存中的内容全部写入到新的AOF文件中；这个时候新的AOF文件所保存的数据库状态和服务器当前的数据库状态一致；
对新的AOF文件进行改名，原子的覆盖原有的AOF文件；完成新旧两个AOF文件的替换。
当这个信号处理函数执行完毕之后，主进程就可以继续像往常一样接收命令请求了。在整个AOF后台重写过程中，只有最后的“主进程写入命令到AOF缓存”和“对新的AOF文件进行改名，覆盖原有的AOF文件。”这两个步骤（信号处理函数执行期间）会造成主进程阻塞，在其他时候，AOF后台重写都不会对主进程造成阻塞，这将AOF重写对性能造成的影响降到最低。

以上，即AOF后台重写，也就是BGREWRITEAOF命令的工作原理。

触发AOF后台重写的条件
AOF重写可以由用户通过调用BGREWRITEAOF手动触发。
服务器在AOF功能开启的情况下，会维持以下三个变量：

记录当前AOF文件大小的变量aof_current_size。
记录最后一次AOF重写之后，AOF文件大小的变量aof_rewrite_base_size。
增长百分比变量aof_rewrite_perc。
每次当serverCron（服务器周期性操作函数）函数执行时，它会检查以下条件是否全部满足，如果全部满足的话，就触发自动的AOF重写操作：

没有BGSAVE命令（RDB持久化）/AOF持久化在执行；
没有BGREWRITEAOF在进行；
当前AOF文件大小要大于server.aof_rewrite_min_size（默认为1MB），或者在redis.conf配置了auto-aof-rewrite-min-size大小；
当前AOF文件大小和最后一次重写后的大小之间的比率等于或者等于指定的增长百分比（在配置文件设置了auto-aof-rewrite-percentage参数，不设置默认为100%）
如果前面三个条件都满足，并且当前AOF文件大小比最后一次AOF重写时的大小要大于指定的百分比，那么触发自动AOF重写。

总结
AOF重写的目的是为了解决AOF文件体积膨胀的问题，使用更小的体积来保存数据库状态，整个重写过程基本上不影响Redis主进程处理命令请求；
AOF重写其实是一个有歧义的名字，实际上重写工作是针对数据库的当前状态来进行的，重写过程中不会读写、也不适用原来的AOF文件；
AOF可以由用户手动触发，也可以由服务器自动触发。
ref:
blog1
Redis的设计与实现
---------------------
作者：hezhiqiang1314
来源：CSDN
原文：https://blog.csdn.net/hezhiqiang1314/article/details/69396887
版权声明：本文为博主原创文章，转载请附上博文链接！

内容总结

以上是互联网集市为您收集整理的Redis之AOF重写及其实现原理全部内容，希望文章能够帮你解决Redis之AOF重写及其实现原理所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/916465.html

来源：【匿名】

【上一篇】17 redis的过期策略能介绍一下？要不你再手写一个LRU？【下一篇】redis可以做什么？

更多 ►

【Redis之AOF重写及其实现原理】教程文章相关的互联网学习教程文章

Redis Sentinel基本实现原理

一.出现的背景：Redis 主从复制模式下一旦主节点由于故障不能提供服务，需要人工将从节点晋升为主节点，同时还要通知应用方更新主节点地址，对于很多应用这种场景的这种故障处理方式是非常浪费人力的。为了提供Redis主从的高可用性，Redis从2.8版本开始提供Redis Sential（哨兵）架构来解决问题。二.架构图：三.Redis Sentinel的高可用方案主要介绍：由上图可以看到Redis Sentinel是一个分布式架构，包含若干个Sentinel节点和Red...

Redis实现原理(1)--链表【代码】

链表是Redis中使用非常广泛的一种数据结构，很多地方如List结构底层就是用链表实现的。链表的定义在头文件adlist.h 中，很常见的双向链表，结构如下： 1// 链表节点 2 typedef struct listNode {3struct listNode *prev; //指向前一个节点 4struct listNode *next; //指向后一个节点 5void *value; //值域 6} listNode; 7// 链表遍历迭代指针 8 typedef struct listIter {9 listNode *next; //下一节点指针10int direction; //...

redis异步消息推送队列，实现原理

类似新浪微博的消息推送实现原理？有没有类似的demo？回复内容：类似新浪微博的消息推送实现原理？有没有类似的demo？Python实现的队列一定要用redis吗？可以使用websocket，或者openfire框架来实现，redis的话我想到的就是轮询的方法了。。。消息推送还是用消息队列吧。httpsqs ,rabbitmq之类的消息队列，后台起多个PHP进程发送。redis实现异步消息推送貌似效率不高啊。如果一定要使用redis实现，我能想到的就是订阅轮询了.. 通常...

Redis分区实现原理介绍【代码】【图】

Redis Partitioning即Redis分区，简单的说就是将数据分布到不同的redis实例中，因此对于每个redis实例所存储的内容仅仅是所有内容的一个子集。推荐：redis入门教程我们为什么要分区？分区的动机是什么？通常来说，Redis分区的好处大致有如下两个方面：1、性能的提升，单机Redis的网络I/O能力和计算资源是有限的，将请求分散到多台机器，充分利用多台机器的计算能力可网络带宽，有助于提高Redis总体的服务能力。2、存储的横向扩展，...

Redis的五种数据结构的底层实现原理

原文： Redis的五种数据结构的底层实现原理一、Redis的两层数据结构简介 redis的性能高的原因之一是它每种数据结构都是经过专门设计的，并都有一种或多种数据结构来支持，依赖这些灵活的数据结构，来提升读取和写入的性能。如果要了解redis的数据结构，可以从两个不同的层面来讨论它：（1）第一个层面，是从使用者的角度，这一层面也是Redis暴露给外部的调用接口，比如： stringlisthashsetsorted set （2）第二个层面，是从内部...

Redis五大类型及底层实现原理【代码】

目录简单动态字符串链表字典跳跃表整数集合压缩列表对象对象的类型与编码字符串对象列表对象哈希对象集合对象有序集合对象类型检查与命令多态内存回收对象共享对象的空转时长简单动态字符串导读Redis 只会使用 C 字符串作为字面量，在大多数情况下， Redis 使用 SDS （Simple Dynamic String，简单动态字符串）作为字符串表示。比起 C 字符串， SDS 具有以下优点：常数复杂度获取字符串长度。杜绝缓冲区溢出。减少修改字...

面试官：请讲一下Redis主从复制的功能及实现原理【图】

摘要：Redis在主从模式下会有许多问题需要考虑，这里写了一些关于redis在多服务器下的一些问题分析和总结。 Redis单节点存在单点故障问题，为了解决单点问题，一般都需要对redis配置从节点，然后使用哨兵来监听主节点的存活状态，如果主节点挂掉，从节点能继续提供缓存功能。主从配置结合哨兵模式能解决单点故障问题，提高redis可用性。从节点仅提供读操作，主节点提供写操作。对于读多写少的状况，可给主节点配置多个从节点，从而...

Redis详解（五）- redis的五大数据类型实现原理【图】

目录1、对象的类型与编码①、type属性 ②、encoding 属性和 *prt 指针2、字符串对象 3、列表对象 4、哈希对象 5、集合对象 6、有序集合对象 7、五大数据类型的应用场景 8、内存回收和内存共享①、内存回收 ②、内存共享 9、对象的空转时长前面两篇博客，第一篇介绍了五大数据类型的基本用法，第二篇介绍了Redis底层的六种数据结构。在Redis中，并没有直接使用这些数据结构来实现键值对数据库，而是基于这些数据结构创建了一个对象...

Redis分布式锁的实现原理【图】

一、写在前面现在面试，一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架（Spring Cloud、Dubbo）聊起，一路聊到分布式事务、分布式锁、ZooKeeper等知识。所以咱们这篇文章就来聊聊分布式锁这块知识，具体的来看看Redis分布式锁的实现原理。说实话，如果在公司里落地生产环境用分布式锁的时候，一定是会用开源类库的，比如Redis分布式锁，一般就是用Redisson框架就好了，非常的简便易用。大家如果有兴趣，可以去看...

拜托，面试请不要再问我Redis分布式锁的实现原理【图】

本文转载自石杉的架构笔记一、写在前面现在面试，一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架（Spring Cloud、Dubbo）聊起，一路聊到分布式事务、分布式锁、ZooKeeper等知识。所以咱们这篇文章就来聊聊分布式锁这块知识，具体的来看看Redis分布式锁的实现原理。说实话，如果在公司里落地生产环境用分布式锁的时候，一定是会用开源类库的，比如Redis分布式锁，一般就是用Redisson框架就好了，非常的简便...

redis的五大数据类型实现原理【图】

原文链接：https://www.cnblogs.com/ysocean/p/9102811.html#_labelTop 目录 1、对象的类型与编码 2、字符串对象 3、列表对象 4、哈希对象 5、集合对象 6、有序集合对象 7、五大数据类型的应用场景 8、内存回收和内存共享 9、对象的空转时长在Redis中，并没有直接使用这些数据结构来实现键值对数据库，而是基于这些数据结构创建了一个对象系统，这些对象系统也就是前面说的五大数据类型，每一种数据类型都至少用到了一种数据结...

Redis 过期策略及实现原理

在使用redis时，一般会设置一个过期时间，当然也有不设置过期时间的，也就是永久不过期。当设置了过期时间，redis是如何判断是否过期，以及根据什么策略来进行删除的。设置过期时间 expire key time(以秒为单位) 这是最常用的方式 setex(String key, int seconds, String value) 字符串独有的方式除了字符串自己独有设置过期时间的方法外，其他方法都需要依靠expire方法来设置时间如果没有设置时间，那缓存就是永不过期如果设置...

基于Swoole+Redis及时聊天IM的设计和实现原理，分层架构设计

swoole_im 基于Yii+Swoole+Redis实现的IM方案 github：https://github.com/melodyne/swoole-im 文档：https://github.com/melodyne/swoole-im/wiki 主要功能：支持群聊支持头像，昵称文本消息支持发送图片表情（待定）历史消息 WebSocket服务端在连接之后还需要做用户的校验. 需要支持获取历史消息的功能, 客户端和服务端之间的信息交换格式还需要确定下来. 支持广播和组播, 广播就是给所有聊天室的所有成员发消息. 组播就...