摘要:Redis 的回收进程(Eviction Process)主要指的是内存淘汰策略,当 Redis 使用的内存达到配置的上限 (maxmemory) 时,为了能够继续接受新的写入操作,Redis 需要根据配置的策略,从已有的数据中淘汰一部分键值对,释放内存空间。
Redis 的回收进程(Eviction Process)主要指的是 内存淘汰策略,当 Redis 使用的内存达到配置的上限 (maxmemory) 时,为了能够继续接受新的写入操作,Redis 需要根据配置的策略,从已有的数据中淘汰一部分键值对,释放内存空间。
以下是 Redis 回收进程的工作原理和关键方面:
1. 触发条件:内存达到上限 (maxmemory)
Redis 通过 maxmemory 配置项来设置最大可用内存。当 Redis 尝试写入新的数据,并且当前使用的内存已经超过了 maxmemory 设置的值时,就会触发内存淘汰策略。注意:maxmemory 是一个软限制,Redis 实际使用的内存可能会略微超过这个值,因为淘汰过程需要时间,并且某些操作(如持久化)也可能暂时增加内存使用。2. 回收策略 (Eviction Policies):决定淘汰哪些键
Redis 提供了多种内存淘汰策略,可以通过 maxmemory-policy 配置项进行设置。不同的策略适用于不同的应用场景和数据访问模式。主要策略包括:
No Eviction (不淘汰):noeviction: 当内存达到上限时,Redis 不会淘汰任何键,而是直接返回错误,拒绝新的写入操作。适用于对数据完整性要求极高,不允许任何数据丢失的场景。但需要确保内存足够,否则 Redis 将无法正常工作。volatile Keys (针对设置了过期时间的键):volatile-LRU: 从设置了过期时间的键中,淘汰最近最少使用的 (Least Recently Used, LRU) 键。volatile-LFU: 从设置了过期时间的键中,淘汰最近最不常用的 (Least Frequently Used, LFU) 键。volatile-ttl: 从设置了过期时间的键中,淘汰剩余生存时间 (TTL) 最短的键。volatile-random: 从设置了过期时间的键中,随机淘汰一些键。这些策略只考虑设置了过期时间的键,如果所有设置了过期时间的键都未被淘汰,但内存仍然不足,则 Redis 会返回错误,拒绝新的写入操作。All Keys (针对所有键,包括没有设置过期时间的键):allkeys-lru: 从所有键中,淘汰最近最少使用的 (LRU) 键。allkeys-lfu: 从所有键中,淘汰最近最不常用的 (LFU) 键。allkeys-random: 从所有键中,随机淘汰一些键。这些策略会考虑所有键,即使键没有设置过期时间。如果内存不足,Redis 会根据策略淘汰键,直到内存足够为止。LRU (Least Recently Used) 和 LFU (Least Frequently Used) 的区别:
LRU: 基于键的最近访问时间进行淘汰。最近最少被访问的键被优先淘汰。LFU: 基于键的访问频率进行淘汰。访问频率最低的键被优先淘汰。LFU 相比 LRU 更能反映键的真实热度,但实现和维护访问频率信息会带来一定的性能开销。Redis 的 LFU 实现是近似的,并非精确 LFU,以减少性能影响。3. 回收过程步骤 (简化描述):
内存检查: 当 Redis 接收到写入命令时,会先检查当前内存使用情况。判断是否需要淘汰: 如果内存使用超过 maxmemory,则需要进行淘汰。选择淘汰策略: 根据 maxmemory-policy 配置选择相应的淘汰策略。扫描候选键: Redis 会根据策略扫描一部分键作为候选淘汰对象。对于 LRU 和 LFU 策略,Redis 并非扫描所有键,而是采用近似 LRU/LFU 算法,通过采样一部分键来估算 LRU/LFU 值,以提高性能。扫描的键的数量可以通过 maxmemory-samples 配置项控制,默认值为 5。增加 maxmemory-samples 可以提高 LRU/LFU 算法的精度,但也会增加 CPU 开销。选择淘汰键: 从扫描到的候选键中,根据选定的策略 (LRU, LFU, TTL, Random) 选择要淘汰的键。淘汰键: 删除选定的键,释放内存空间。重复淘汰: 如果淘汰后内存仍然不足,则重复步骤 4-6,直到内存足够或者无法再淘汰更多键 (例如,使用 noeviction 策略)。执行写入操作: 内存释放后,Redis 可以继续执行新的写入操作。4. 配置相关参数:
maxmemory : 设置 Redis 最大可用内存,单位可以是 bytes, kb, mb, gb。例如:maxmemory 1gb。maxmemory-policy: 设置内存淘汰策略。例如:maxmemory-policy allkeys-lru。maxmemory-samples : 设置 LRU/LFU 算法采样数量,用于近似估算 LRU/LFU 值。例如:maxmemory-samples 10。
5. 重要注意事项:
选择合适的策略: 根据应用场景和数据访问模式选择合适的淘汰策略非常重要。如果数据访问模式符合 LRU 或 LFU 特性,allkeys-lru 或 allkeys-lfu 通常是不错的选择。如果希望优先淘汰设置了过期时间的键,可以使用 volatile-* 系列策略。如果不允许任何数据丢失,可以使用 noeviction 策略,但需要确保内存足够。监控内存使用: 定期监控 Redis 的内存使用情况,可以使用 INFO memory 命令查看。性能影响: 内存淘汰过程会消耗 CPU 资源,可能会对 Redis 的性能产生一定影响,尤其是在淘汰大量键时。数据丢失: 内存淘汰意味着数据丢失,需要根据应用场景考虑数据丢失的容忍度,并做好数据备份和恢复策略。TTL 的作用: 合理使用 TTL (Time To Live) 为键设置过期时间,可以帮助 Redis 更有效地进行内存管理,减少内存淘汰的压力。总结:
Redis 的回收进程(内存淘汰策略)是其内存管理的重要组成部分。理解 Redis 的回收策略和工作原理,并根据应用场景合理配置 maxmemory 和 maxmemory-policy,可以帮助我们更好地利用 Redis 的内存资源,保证 Redis 的稳定性和性能。选择合适的策略需要根据具体的业务需求和数据访问模式进行权衡和测试。
来源:日暮竹亭外