- 博客(34)
- 收藏
- 关注
RSS订阅
原创 Elasticsearch进阶之路:动态模板和性能优化
项目背景：项目中使用Elasticsearch做业务数据库，主要用于持久化要多条件Term索引，不涉及分词功能;由于数据量大，一年大概有5TB数据量，读取并发量大。数据需要1年热备，永久冷备。基于以上条件做优化。由于需要多索引支持部分字段聚合，所以没选择Hbase.
2019-07-24 18:32:46
1212
原创 Elasticsearch 全文检索，高亮搜索，相似度排序优化
Elasticsearch 全文检索，高亮搜索，相似度排序优化POST index_name/_search{ "from":0, "size":10, "query":{ "bool":{ "filter": [ { "term": { "columnClassification": { "value": "新闻"
2021-11-24 18:32:41
2154
原创 ES GEO地理空间查询java版
ES GEO地理空间查询java版一、半径范围查询1、设置mapping,类型为geo_pointPUT /my_locations{ "mappings": { "properties": { "location": { "type": "geo_point" } } }}2、中心点查询半径内匹配点GET /my_locations/_search{ "query": { "bool": { "mus
2021-07-21 10:41:51
3418
1
原创 Elasticsearch Script 实现自定义标签
Elasticsearch Script 实现自定义标签1、 为数组数据字段追加数据PUT test_match/_doc/1{ "tags":["red"]}GET test_match/_searchPOST test_match/_update/1 { "script": { "source": "ctx._source.tags.add(params.tag)", "lang": "painless", "params": { "t
2021-07-07 15:43:21
453
原创 Elasticsearch复杂条件查询
Elasticsearch复杂条件查询select * from where （class2=“空气质量” and type3=“国家”) or (class2=“水质量”and class3=国家)PUT /_bulk{"index":{"_index":"test_join","_id":1}}{"context":"测试数据[空气质量-国家]","class1":"监测","class2":"空气质量","class3":"国家"}{"index":{"_index":"test_jo
2021-07-07 15:38:36
589
转载 IK Analysis for Elasticsearch
IK中文分词器IK Analysis for ElasticsearchVersionsInstallQuick ExampleDictionary Configuration热更新 IK 分词使用方法常见问题ChangesThanksIK Analysis for ElasticsearchThe IK Analysis plugin integrates Lucene IK analyzer (http://code.google.com/p/ik-analyzer/) into elasticse
2021-06-08 12:07:05
123
原创 ES跨集群数据迁移方案
需求背景测试环境 ES集群需要同步数据到生产环境ES集群。且测试环境和生产环境网络不通。迁移方案通过ES snapshot api 物理文件共享实现数据迁移测试环境（数据源）1、注册共享文件系统仓库修改elasticsearch.yml配置##添加共享目录path.repo: ["/data/share"]##重启所有节点服务$ service elasticsearch restart注册快照仓库$ curl -XPUT "localhost:9200/_snaps
2020-12-17 16:46:53
940
1
原创 Linux共享NFS服务搭建与客户端挂载
Linux共享NFS服务搭建也客户端挂载服务端1、检查NFS服务[root@localhost ~]# rpm -q nfs-utils rpcbindnfs-utils-1.3.0-0.21.el7.x86_64rpcbind-0.2.0-32.el7.x86_64如果未安排，使用yum安装（root权限安装）注：nfs 依赖rpcbind[root@localhost ~]# yum -y install nfs-utils rpcbind2、配置共享目标编辑文件 vim
2020-12-17 15:27:30
581
原创 EasyExcel写标注comment异常解决
异常信息：Multiple cell comments in one cell are not allowed, cell: A1java.lang.IllegalArgumentException: Multiple cell comments in one cell are not allowed, cell: A1 at org.apache.poi.xssf.usermodel.XSSFDrawing.createCellComment(XSSFDrawing.java:358) ~[poi.
2020-09-01 13:48:25
2376
原创 xcode-select: error: command line tools are already installed
记录OS系统XCODE版本引发的问题xcode-select: error: command line tools are already installed, use “Software Update” to installxcode-select --installxcode-select: error: command line tools are already installed, use "Software Update" to install updates引用：https://s
2020-07-30 16:29:42
3323
转载 如何打造一份有吸引力的简历
如何打造一份有吸引力的简历首先来看怎么写简历。大部分候选人都是倒在了简历筛选这一关。HR 或者面试官一般只会在简历上停留 10～30 秒，如果简历不吸引人，再优秀的候选人也会错失良机。好简历的特点结构清晰、主次分明。简历可以分为基本信息、项目经历、自我总结等部分，各个部分要做到主次分明，特别是项目介绍，建议按照发生时间倒序来排列，最新的项目放在最前。多个项目之间也要分主次。重点的项目、最能体现你能力和工作成果的项目，要详细介绍，次要的项目尽量简洁，同一类型的项目建议不要重复。关于项目怎么介绍已经
2020-06-03 18:14:06
378
原创 JavaSE知识点总结：JVM和GC篇
JVM虚拟机和GC文档源于JDK1.8 JVM注：图片来自网络，有版权问题请联系我删除。1、虚拟机结构JVM虚拟结构包括：类加载器、执行引器、运行时数据区运行时数据区：堆、虚拟机栈、本地方法栈、pc寄存器(程序计数器)、方法区(元空间)。方法区(元空间)主要用于存储运行时常量池、已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的法代码等。1.8后删除了永久代、元空间是分...
2020-03-17 10:05:47
161
原创 JavaSE知识点总结：IO和NIO
IO和NIOJava BIO java blocking IO 阻塞式IOJava NIO java non-blocking IO 非阻塞IO标准阻塞IO字节流：以 8 位（即 1 byte，8 bit）作为一个数据单元，数据流中最小的数据单元是字节。字符流：以 16 位（即 1 char，2 byte，16 bit）作为一个数据单元，数据流中最小的数据单元是字符， Jav...
2020-03-17 09:49:55
126
原创 JavaSE知识点总结：java集合篇
1、List集合List继承了Collection，是有序的列表.主要实现类有ArrayList、LinkedList、Vector、Stack等ArrayList ：数组队列，非线程安全。被始化为Object[]，查询修改快、增加删除慢，允许null值动态扩容，初始10，扩容size的1.5倍 newCapacity = size + (size >> 1)，阈值I...
2020-03-17 09:34:30
175
原创 jvisualvm安装Visual GC插件
jvisualvm安装Visual GC插件1.打开 Java visualVMpath: %JAVA_HOME%\bin\jvisualvm.exe2.打开主页链接visualVM主页 https://visualvm.github.io/?Java_VisualVM3.点击Plugins插件进入插件中心：选择JDK对应的插件更新源4.在visualVM中更新插件中心地址...
2020-02-24 22:16:27
341
原创 Elasticsearch之倒排索引
倒排索引Elasticsearch通过倒排索引的数据结构来实现全文搜索在关系数据库系统里，索引是检索数据最有效率的方式。但对于搜索引擎，它并不能满足其特殊要求，比如海量数据下比如百度或者谷歌要搜索百亿级的网页，如果使用类似关系型数据库使用的B+树索引，可想而知其对cpu的计算能力要求得有多高。其次关系型数据库中一般存储的都是结构化的数据，数据格式都是一定的，操作上一般也都是curd等比较简单的...
2020-02-20 15:15:53
268
原创 Mapping 索引映射
Mapping 索引映射核心数据类型字符串类型： string text and keyword数字类型： Numeric long, integer, short, byte, double, float, half_float, scaled_float日期类型： Date date纳秒日期类型：Date nanoseconds date_nanos...
2020-02-20 15:03:32
341
转载 大数据量下的集合过滤—Bloom Filter
大数据量下的集合过滤—Bloom Filter算法背景如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路，存储位置要么是磁盘，要么是内存。很多时候要么是以时间换空间，要么是以空间换时间。在响应时间要求比较严格的情况下，如果我们存在内里，那么随着集合中元素的增加，我们需要的存...
2020-02-08 20:14:51
271
转载 java dump 查看线程运行情况
一、指标通常应用服务性能关注以下两方面的指标：性能指标.jpg下面将主要是基于CPU指标进行实验模拟分析，下面是一些命令下，cpu指标：1、top 命令下个字段含义，参考：https://www.jianshu.com/p/078ed7895b0f2、vmstat 命令：us：用户占用CPU的百分比sy：系统(内核和中断)占用CPU的百分比id：CPU空闲的百分比二、实验1...
2020-01-21 11:17:59
1270
转载 日志采集工具--Logstash、Filebeat、Fluentd、Logagent对比
常见的日志采集工具有Logstash、Filebeat、Fluentd、Logagent、rsyslog等等，那么他们之间有什么区别呢?什么情况下我们应该用哪一种工具?LogstashLogstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。优势Logstash 主要的有点就是它的灵活性，主要因为...
2020-01-15 13:47:45
2233
原创 Springboot2 Mysql时区设置
问题描述：在springboot使用jdbctemplate操作数据库时，不同的springboot版本所对应的mysql驱动版本不同，导致在时间处理上会有时区问题，查询到的时间字段的数据库存储字段不一致。比如：2019-12-27 17:02:35 查询返回的结果是 2019-12-28 07:02:35在springboot版本不可变的前提下解决方案一：指定mysql驱动版本为5.1....
2019-12-30 10:39:40
1210
原创 Elasticsearch进阶之路:Java Restapi Upsert文档操作
Java Restapi Upsert 文档操作文档更新UpdateRequest request = new UpdateRequest( "posts", "doc", "1"); String jsonString = "{" + "\"updated\":\"2017-01-01\"," + "...
2019-11-05 17:36:02
3204
原创 geoPoint经纬度正则验证
来自：https://stackoverflow.com一、纬经度有效验证Latitude^(\+|-)?(?:90(?:(?:\.0{1,6})?)|(?:[0-9]|[1-8][0-9])(?:(?:\.[0-9]{1,6})?))$Longitude ^(\+|-)?(?:180(?:(?:\.0{1,6})?)|(?:[0-9]|[1-9][0-9]|1[0-7][0-...
2019-08-29 15:55:37
235
翻译 Spring for Apache Kafka
1 前言Spring for Apache Kafka项目将Spring核心概念应用于基于Kafka的消息传递解决方案的开发。 Spring 官方提供“template”作为发送消息的高级抽象。 还为消息驱动的POJO提供支持。2 升级注意事项2.1 从2.1到2.2 的改动这部分介绍 从2.1版到2.2版的改动。2.1.1 Kafka Client 版本此版本需要2.0.0 kafk...
2019-08-08 09:35:49
1167
原创 Java设计模式：策略模式
Define a family of algorithms,encapsulate each one,and make them interchangeable.
2019-08-07 09:52:57
106
原创 Java字节码分析
javap 基本用法Intellij idea 中配置javap第一步：设置Settings…第二步：选择Tools–External Tools第三步：设置Tools，保存第四步：在编译好的源代码上右键–External Tools–Javap -c (注意：要编译后有class文件)第五步：生成反编译文件Compiled from "JavaPTest.java"pu...
2019-08-06 14:46:56
326
原创 java各种List循环：性能效率对比
public final class JSONUtil{ public static <T> T readValue(String content, Class<T> valueType) { if (content == null) { return null; } T result = null...
2019-08-06 12:40:42
7057
转载 Elasticsearch进阶之路:调优实践
转自：腾讯技术工程背景Elasticsearch（ES）作为NOSQL+搜索引擎的有机结合体，不仅有近实时的查询能力，还具有强大的聚合分析能力。因此在全文检索、日志分析、监控系统、数据分析等领域ES均有广泛应用。而完整的ElasticStack体系（Elasticsearch、Logstash、Kibana、Beats），更是提供了数据采集、清洗、存储、可视化的整套解决方案。本文基于ES...
2019-08-02 10:54:00
1515
转载 Spring Boot 2.x 最佳实践之Spring for Apache Kafka集成
Spring Boot 2.x 最佳实践之Spring for Apache Kafka集成原文：https://blog.csdn.net/hadues/article/details/88974967这篇我们来讲解如何使用Spring Boot 2.x 和Spring Kafka 进行集成。1. 关于Kafka 需要了解的1.1 背景Kafka 最初是由微软旗下LinkedIn(领...
2019-07-29 16:18:23
1925
转载 java基础:IO流学习总结
Java IO流学习总结Java流操作有关的类或接口：Java流类图结构：流的概念和作用流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。IO流的分类根据处理数据类型的不同分为：字符流和字节流-根据数据流向不同分为：输入流和输出流字符流和字节流字...
2019-07-22 11:58:27
93
原创 java基础:maven项目获取resources资源文件
maven项目获取resources资源文件public class ClassResoucePath { public static void main(String[] args) throws ClassNotFoundException, IOException { //取当前类Class对象的三种方式 Class<ClassResouce...
2019-07-21 11:16:05
2748
原创 Elasticsearch进阶之路:集群部署
Elasticsearch进阶之路:集群部署安装环境：centos 6.8master1.bigdatamaster1.bigdataslave1.bigdataslave2.bigdataslave3.bigdataelasticsearch version 5.2.11、创建用户useradd elasticsearchpasswd elasticsearch2、创...
2019-07-18 11:11:00
153
原创 Spark之Elasticseach:常见异常处理
Spark之Elasticseach:常见异常处理一、关于es集合类型数据spark默认schema无法解析问题解决方案异常信息解决方法：二、spark submit --files程序引用错误提示解决方法一、关于es集合类型数据spark默认schema无法解析问题解决方案异常信息ERROR Executor: Exception in task 1.0 in stage 1.0 (TI...
2019-07-18 10:38:42
972
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人