4 branSummer

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 81w+

关于大数据去重的一些总结

关于大数据去重的一些总结前言之前在实习的公司里, 涉及到从 Hbase 中去数据转储到 MongoDB 这一过程, 其中取数据的依据是 redis 中存放的 id 队列, 因为往这个队列中生产ID完全是另一个项目组的行为, 在这一过程中当然会涉及到数据重复的问题, 针对这一问题, 当时项目中的做法是: 利用 redis 中 HyperLoglog 这一数据结构来去重. HyperL...

2018-09-15 22:48:15
勋章 我的勋章
    暂无奖章