- 博客(1)
- 收藏
- 关注
RSS订阅原创 ElasticSearch数据请求自动分发网关
Elasticsearch在进行数据装载时遇见的问题及解决方案1.业务场景及基本技术方案在伯智客户画像项目上，需要用到ES进行客户标签筛选查询。标签源数据存储在hive中，项目初期大约有1.35亿客户、900多个标签。数据量大，使用Java编写sql读取hive数据导入ES或者采用ES-Hadoop 建立映射表导入ES效率都过于低下，故选择MapReduce直接读取hive存储在hdfs上的源文件，批量导入ES。系统逻辑关系如下图2.导入过程中遇到的问题1.初期投产经过ES参数、JVM调优之
2021-08-25 17:40:17
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人