redis内存空间效率问题的深入探究

论坛 期权论坛 脚本     
niminba   2021-5-23 05:02   2422   0

前言

在使用redis时,我们会遇到一个问题,数据删除后,数据量已经不大了,但是使用top命令查看,还会发现redis占用了很对内存。实际上,因为数据删除后,redis释放内存由内存分配器管理,不会立刻返回给操作系统。所以,操作系统仍然记录着给redis分配了大量的内存

这往往会伴随一个潜在的风险点:Redis 释放的内存空间可能并不是连续的,那么,这些不连续的内存空间很有可能处于一种闲置的状态。这就会导致一个问题:虽然有空闲空间,Redis 却无法用来保存数据,不仅会减少 Redis 能够实际保存的数据量,还会降低 Redis 运行机器的成本回报率。

什么是内存碎片

通常情况下,内存空间利用率低,往往是因为操作系统发生了比较严重的内存碎片,那么什么是内存碎片呢?可以将内存看成是高铁上的作为,连续的空间相当于连座,内存碎片可以看成一个个零散的作为,如果你是3个人出行,火车上没有三个座位连着的,那么你就没法买到合适的作为,可能需要换一辆车

内存类似,如果需要申请一个N字节的连续空间,但是没有这么大的连续空间,那么,这些剩余空间就是内存碎片,redis内存碎片是什么原因导致的呢,了解了原因才有可能比较好的解决

内存碎片形成的原因

一般来说内存碎片形成的原因有两个,内因是操作系统的内存分配机制,外因是redis的负载特征

内因:内存分配器策略

内存分配器的分配策略就决定了操作系统无法做到“按需分配”。这是因为,内存分配器一般是按固定大小来分配内存,而不是完全按照应用程序申请的内存空间大小给程序分配。

Redis 可以使用 libc、jemalloc、tcmalloc 多种内存分配器来分配内存,默认使用 jemalloc。接下来,我就以 jemalloc 为例,来具体解释一下。其他分配器也存在类似的问题。

jemalloc 的分配策略之一,是按照一系列固定的大小划分内存空间,例如 8 字节、16 字节、32 字节、48 字节,…, 2KB、4KB、8KB 等。当程序申请的内存最接近某个固定值时,jemalloc 会给它分配相应大小的空间。

外因:键值对大小不一样和删改操作

redis通常作为公共缓存和键值数据库对外提供服务,所以对于不同大小的数据,redis申请内存空间大小不一,这是一个外因。

因为内存分配是按照固定大小分配,所以内存空间一般都会比申请的空间大一些,所以本身就会有一些内存碎片,降低内存空间存储效率。

第二个外因是,这些数据会被删除和修改,会导致空间空间扩充和释放,具体来说,一方面,如果修改后的键值对变大或变小了,就需要占用额外的空间或者释放不用的空间。另一方面,删除的键值对就不再需要内存空间了,此时,就会把空间释放出来,形成空闲空间

一开始,应用 A、B、C、D 分别保存了 3、1、2、4 字节的数据,并占据了相应的内存空间。然后,应用 D 删除了 1 个字节,这个 1 字节的内存空间就空出来了。紧接着,应用 A 修改了数据,从 3 字节变成了 4 字节。为了保持 A 数据的空间连续性,操作系统就需要把 B 的数据拷贝到别的空间,比如拷贝到 D 刚刚释放的空间中。此时,应用 C 和 D 也分别删除了 2 字节和 1 字节的数据,整个内存空间上就分别出现了 2 字节和 1 字节的空闲碎片。如果应用 E 想要一个 3 字节的连续空间,显然是不能得到满足的。因为,虽然空间总量够,但却是碎片空间,并不是连续的。

好了,到这里,我们就知道了造成内存碎片的内外因素,其中,内存分配器策略是内因,而 Redis 的负载属于外因,包括了大小不一的键值对和键值对修改删除带来的内存空间变化。

如何判断是否有内存碎片

Redis 是内存数据库,内存利用率的高低直接关系到 Redis 运行效率的高低。为了让用户能监控到实时的内存使用情况,Redis 自身提供了 INFO 命令,可以用来查询内存使用的详细信息,命令如下:

INFO memory
# Memory
used_memory:1073741736
used_memory_human:1024.00M
used_memory_rss:1997159792
used_memory_rss_human:1.86G
…
mem_fragmentation_ratio:1.86O memory

INFO memory
# Memory
used_memory:1073741736
used_memory_human:1024.00M
used_memory_rss:1997159792
H^yniXnKbBKXhKjhZ^[NyJKNi[hx.Y(
~;hk.x^kKKyJYZ{^K[[hiXnyJ[~i8#У3{33УjX[>KF>Xh^Zz{NiXxzyNih~z[K{NZIyX[7&VF>Xh^Zz{NiXxh^Z{J.zKK^XNih~zhn{~{XyNyX[>ih~z[ZJ~Z^YZIiJ
分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:1060120
帖子:212021
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP