redis字典去重，redis list去重复

一起讨论下,消息幂等(去重)通用解决方案

1、如果要保证一致性，需要生产者在失败后重试，不过重试又会导致消息重复的问题，一个解决方案是每个消息给一个唯一的id，通过服务端的主动去重来避免重复消息的问题，不过这一机制目前Kafka还未实现。

2、另外打造一个高可靠的幂等服务还需要考虑很多问题，比如一台机器虽然把全局ID先写入了存储，但是在写入之后挂了，这就需要引入全局ID的超时机制。使用全局唯一ID是一个通用方案，可以支持插入、更新、删除业务操作。

3、Kafka本身支持At least once消息送达语义，因此实现消息发送的幂等关键是要实现Broker端消息的去重。

相关问答

Q1: redis中的rehash?

Redis中所有数据都有key-value，这是通过哈希表实现的，redis的字典数据结构保存了两张哈希表，采取了渐进哈希的方法。

渐进式 rehash 采用了 分治 的思想，将 rehash 键值对所需的工作分摊到了每次对字典的增删改查操作上，虽然降低了 redis 服务器的整体吞吐量，但提升了响应速度，不会出现在某次操作时特别慢的情况。

Redis-shake是一个基于golang语言开发的，用于在两个redis之间同步数据的工具，满足用户非常灵活的同步、迁移需求。

例如，Redis会根据元素的大小选择合适的编码方式，对较小的整数值采用特殊编码形式，可以节约内存。可以通过合理设置整数值的范围来优化内存占用。调整集合的rehash阈值，避免频繁rehash。

Q2: Redis定期删除和惰性删除

（被动）惰性删除：当客户端请求到一个已经过期的key时，redis会检查是否过期并删除 所以，虽然key过期了，但是没被清理的话，还是会占内存的。

Redis 中数据过期策略采用定期删除+惰性删除策略。定期删除策略：Redis 启用一个定时器定时监视所有的 key，判断key是否过期，过期的话就删除。

redis 过期策略是：定期删除+惰性删除。所谓定期删除，指的是redis默认是每隔100ms就随机抽取一些设置了过期时间的key，检查其是否过期，如果过期就删除。

删除不需要的数据：检查 Redis 内存中的数据，删除不需要或者不再使用的数据。例如，可以使用 `DEL` 命令删除指定的键，或者使用 `FLUSHDB` 命令清空当前数据库中的所有键。

redis 过期策略是： 定期删除+惰性删除 。所谓定期删除，指的是 redis 默认是每隔 100ms 就随机抽取一些设置了过期时间的 key，检查其是否过期，如果过期就删除。

在实际项目开发中，我们都知道Redis不可能把所有的数据都缓存起来( 内存昂贵且有限 )，所以Redis需要对数据设置过期时间，并采用的是惰性删除+定期删除两种策略对过期键删除。

关于redis字典去重和redis list去重复的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。