redis实现布隆过滤器击穿，net 布隆过滤器

【golang】海量数据去重-布隆过滤器

在做域名爆破中，遇到了把一个300G的子域名json文件进行去重，一开始是考虑使用字典进行去重，但是数据量大了，会造成内存泄露。看网上资料介绍了一种方案，就是使用布隆过滤器。

相关问答

Q1: redis常用数据结构介绍和业务应用场景分析

String 字符串 字符串类型是 Redis 最基础的数据结构，首先键都是字符串类型，而且 其他几种数据结构都是在字符串类型基础上构建的，我们常使用的 set key value 命令就是字符串。

数据结构，可以存储一些集合性的数据。比如在微博应用中，可以将一个用户所有的关注人存在一个集合中，将其所有粉丝存在一个集合。

可用于缓存、事件发布订阅、高速队列等场景。

应用场景：消息队列，关注列表，粉丝列表等都可以用Redis的list结构来实现。描述： set是string类型的无序集合。

Q2: 缓存穿透有哪些解决办法?

1、如果非要用这种方式来解决穿透问题的话，尽量将无效的 key 的过期时间设置短一点比如 1 分钟。另外，一般情况下我们是这样设计 key 的： 表名：列名：主键名：主键值。

2、缓存穿透的原理缓存的正常使用如图：如图所示，缓存的使用流程：先从缓存中取数据，如果能取到，则直接返回数据给用户。这样不用访问数据库，减轻数据库的压力。如果缓存中没有数据，就会访问数据库。

3、解决方案：最简单的方法是如果一个查询返回的数据为空（不管是数据不存在，还是系统故障），我们就把这个空结果进行缓存，但它的过期时间会很短，最长不超过五分钟。一些不合法的参数请求直接抛出异常信息返回给客户端。

4、缓存穿透是指查询的key不存在，从而缓存查询不到而查询了数据库。解决方法：把所有存在的key都存到另外一个存储的Set集合里，查询时可以先查询key是否存在。

5、预防和解决缓存穿透问题，可以考虑以下两种方法：缓存空对象： 将空值缓存起来，但是这样就有一个问题，大量无效的空值将占用空间，非常浪费。

Q3: 生日悖论是啥?我用它省了上百G的内存

生日悖论 ： 是指在不少于 23 个人中至少有两人生日相同的概率大于 50%。例如在一个 30 人的小学班级中，存在两人生日相同的概率为 70%。对于 60 人的大班，这种概率要大于 99%。

虽然从引起逻辑矛盾的角度看，这似乎不是一个悖论，但在这个数学事实与一般直觉相冲突的意义上，它只能被称为悖论。悖论内容 如果一个房间里有23个人或者更多，那么至少有两个人同一天生日的概率大于50%。

（1）黄油猫悖论：猫在半空中跳下，永远用脚着陆。把黄油吐司抛到半空中，永远是涂上黄油的一面落地。这个悖论出现在，你把黄油吐司没有涂上黄油的一面黏着猫的背部之时，让猫从半空中跳下。

（1）理发师悖论：1919年，罗素把他提出的集合论悖论通俗化如下：萨魏尔村有一位理发师，他给自己订下一条规则：他只给村子里自己不给自己刮胡子的人刮胡子。

． 理发师悖论（罗素悖论）：某村只有一人理发，且该村的人都需要理发，理发师规定，给且只给村中不自己理发的人理发。

世界上最难的数学题无人能解，数学是一门伟大的学科，对于逻辑思维能力不好的人来说，数学就是拦路虎，很多人都头疼，但数学也有很有趣的猜想，下面分享世界上最难的数学题无人能解。

Q4: Redis使用bitmap、zset、hash、list等结构完成骚操作?

实现方式：Redis实现布隆过滤器——借鉴Guava的BF算法：SpringBootx中使用Redis的bitmap结构（工具类）注意：bitmap使用存在风险，若仅仅计算hash值，会导致bitmap占用空间过大。一般需要对hash值进行取余处理。

Redis支持的五种数据类型包括String、Hash、List、Set、Zset，其中，String类型的值可以是字符串、数字或二进制，但值最大不能超过512MB。

操作中key理解为集合的名字四 zset(排序set)zset是set的一个升级版本，他在set的基础上增加了一个顺序属性，这一属性在添加修改元素的时候可以指定，每次指定后，zset会自动重新按新的值调整顺序。

redis的五种数据类型分别是string、hash 、list、set、zset 。string string是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。string类型是二进制安全的。

关于redis实现布隆过滤器击穿和net 布隆过滤器的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。