- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 windows环境下Spark1.6.0搭建+整合Elasticsearch2.3.2
一、说明 主要是对Spark安装过程和与Elasticsearch的对接进行简单描述，期间遇到了较多的坑，特此记录一下。 因项目中使用的Elasticsearch2.3.2集群，所以需安装Spark1.6.0与之对应。对应关系是从Maven中心库发现的。 二、环境准备（相互之间都有对应关系）scala-2.10.6 hadoop-2.6....
2019-06-17 18:06:53
347
原创 Android Studio或Idea中必备插件、自定义注释和Javadoc
进行开发工作时，一个好的开始总会让人心情不那么糟糕。 必备插件（Settings-Plugins-Browse respositories，搜索即可）： 1、GsonFormat（json转javaBean）：目前的接口，绝大部分返回的都是json。为此，我们通常会将根据结果去创建对应的javaBean，在返回的结果包含的字段较多时，创建javaBe...
2019-05-28 22:07:29
2788
原创 java读取远程图片缺失或者不全问题解决
造成原因： 1、网络丢包 2、获取过程中，只取了一次，但服务端可能是分多次返回给你解决方法： 1、确认服务端是否返回ContentLengthresponse.setContentLengthLong(file1.length()); 2、调用时使用以下代码：获取总长度，读完后才停止public static String urlT...
2018-08-03 11:07:23
2551
原创 Elasticsearch+Kettle spoon：实现索引自动按月创建，数据插入到指定路由
背景 随着时间的推进，es里面的索引文件越来越大。要想保住系统的效率，就必须要分索引、分路由。那么问题来了，目前项目上采用的是Spoon7.1进行数据更新，这样就存在以下问题： 1、利用spoon连es时，索引的名称不支持动态变量？ 2、抽取数据时，对es里不存在的索引，spoon会自动生成，但不能生成我想要的mapping? 3、抽取到es，spoon不能指定文档插入的路...
2018-06-30 15:36:13
10109
2
原创 linux环境下Elasticsearch2.3.2集群搭建和插件安装
环境说明： 操作系统：CenterOs 7.4 jdk版本：1.8（操作系统自带） elasticsearch：2.3.2 elasticsearch-head-master：可视化管理插件，最新版本即可，安装在主节点（与es版本不存在冲突） delete-by-query：2.3.2 ：批量删除插件，所有节点都必须安装 下载地址：链接：...
2018-06-14 10:49:04
1817
原创 Elasticsearch2.3.2空间查询
写在前面：Elasticsearch提供强大的空间处理功能，本文只是完成了他的空间查询功能使用工具：elasticsearch_head1、新建设备type请求地址：http://10.163.130.220:9200/sbindex/sbtype/_mapping/请求类型：PUT 所有字段：SBID,SDMC,DZ,ZZJGDM,ZZJGMC,LOCATION,STATE请求参数：{ ...
2018-04-11 12:55:04
788
原创 elasticsearch集群搭建与优化
一、集群节点角色有哪些，各自起着什么作用？master节点： 主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些；但是master节点是最重要的，如果master节点挂了或者发生脑裂了，你的元数据就会发生混乱，那样你集群里的全部数据可能会发生丢失，所以一定要保证mas...
2018-04-10 22:49:23
452
原创 利用kettle Spoon从oracle或mysql定时增量更新数据到Elasticsearch
背景： 目前的业务数据数据已经很大了，关于查询内的需求比较多，传统数据库已经不能满足目前的需要。必须得使用全文检索了，了解了相关资料，发现Elasticsearch这个工具比较强大。于是就开始新一段的爬坑之旅了... Elasticsearch安装什么的很方便，但是更新却是个很大的问题。开始尝试了Logstash这个工具，各种尝试后，还是放弃了。主要原因是速度慢，数据源是oracle数...
2018-03-25 21:48:04
9801
17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人