- 博客(1)
- 收藏
- 关注
RSS订阅转载 Hive、MapReduce、Spark分布式生成唯一数值型ID
在实际业务场景下，经常会遇到在Hive、MapReduce、Spark中需要生成唯一的数值型ID。一般常用的做法有：MapReduce中使用1个Reduce来生成;Hive中使用row_number分析函数来生成，其实也是1个Reduce;借助HBase或Redis或Zookeeper等其它框架的计数器来生成;数据量不大的情况下，可以直接使用1和2方法来生成
2017-04-12 22:19:39
703
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人