哈希函数

面试必考场景题破解:1G内存处理10亿数据去重

选择哈希函数:使用均匀分布的哈希函数(如MD5、SHA-1或自定义哈希),将每条数据映射到固定数量的分片中。分片数计算:假设每条数据平均占10字节,1G内存可存储约1亿条数据(实际需预留哈希表开销)。为确保安全,将数据分到100个文件中,每个文件最多包含100

哈希 内存 哈希函数 2025-02-24 09:37  11

如何通过Redis快速实现布隆过滤器?

布隆过滤器是一种空间效率非常高的概率性数据结构,主要的作用是用来测试某个元素是否属于一个集合,能够实现用较少的空间来实现大数据量的存储,并且实现了快速查找操作。但是布隆过滤器可能会产生误报,也就是说通过布隆过滤器可以告诉你某个元素存在,但这个存在可能是一个误报

redis 哈希函数 布隆过滤器 2025-01-09 05:32  10