- 博客(76)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 es笔记-管理集群
1.改善默认配置1.1 索引模版1.2 默认的映射1.2.1动态映射1.2.2动态映射和模版一起使用2.分配的感知2.1基于分片的分配2.2强制性分配感知3.监控瓶颈3.1检查集群状态3.2 cpu：慢日志，热线程和线程池（查询慢日志，索引慢日志等）3.3 内存：堆大小，字段和过滤器缓存3.4操作系统缓存3.5存储限流4.备份你的数据快照...
2019-12-22 20:57:41
208
原创 es笔记-提升性能
1.合并请求批量索引，更新，删除多条搜索，多条获取2.优化分段处理刷新和冲刷：刷新会刷新索引快照，使得新建的索引能被搜索到。冲刷将索引的数据从内存写入磁盘合并和合并策略：lucene数据存储在不可变文件中（即分段），会合并分段，使得分段可控，消耗性能，可以限制多久合并一次，分段可以合并到多大等。存储和存储限流：每秒写入字节数3.充分利用缓存过滤器缓存分片查询缓存...
2019-12-22 20:18:21
255
原创 es笔记-向外扩展
1.向集群中加入节点发现其他节点方式：广播，单播方式2.删除节点，停用节点3.升级节点：轮流重启4.cat api5.扩展策略：过度分片，将数据切分为索引和分片，最大化吞吐量（索引时，搜索时）6.为索引创建别名（别名创建可以使用过滤）7.路由（路由策略散列文档ID来决定索引到哪个分片，可以手动指定文档的路由）8.结合路由和别名...
2019-12-22 20:16:20
280
原创 es笔记-文档间关系
1.对象类型将一个字段作为文档字段的值2.嵌套类型对象类型所有的数据都存储在同一篇文档中，所以搜索可能查询多个子文档。嵌套类型则可以区分对象的边界。3.父子关系为不同类型的数据，使用完全独立的文档，就像活动和分组，不过仍然可以定义它们的关系，可以让分组作为活动的父辈。4.反规范化将数据进行复制（冗余），达到表示关系的目的。可以表达多对多的关系，其他选项只能用于一对多...
2019-12-22 20:08:52
218
原创 es笔记-使用相关性进行搜索
1.es的打分机制确定文档和查询有多么相关的过程被称为打分。我们希望更为相关的文档被优先返回。TF-IDF(TF:词频，IDF:逆文档频率)词频:一个词条出现在某个文档中次数越多就越相关。逆文档频率:该词条在不同文档中出现的次数越多，它就越不相关。调和因子：考虑搜索过多少文档以及发现了多少词条2.其他打分方法BM25:概率相关性算法3.boostin...
2019-12-22 19:48:59
792
原创 es笔记-聚集
1.聚集对一组数据进行分析分为度量型和桶型度量型：是指一组文档的统计分析（最大值，最小值，平均值，数量等）桶聚集：将匹配的文档切分为一个或多个容器（桶），有了桶聚集可以嵌套其他聚集2.度量聚集2.1统计数据2.2高级统计2.3近似统计3.多桶型聚集...
2019-12-22 19:43:38
197
原创 elasticsearch学习-分析器相关
es分析器分析：文档加入倒排索引之前，es在其主体上进行的操作。1，字符过滤器2，分词3，分词过滤器4，分词索引搜索也同样会用到过滤器，例如match,match_phraseTerm ,terms搜索之前不会分析设置分析器方法1:创建索引的时候指定分析器，可以为单独的字段设置不同的分析器2:在配置文件中配置分析器分析器由一个分词器，以及若干在此分...
2019-12-05 23:59:33
92
原创 elasticsearch学习-搜索相关
es搜索:1: 匹配搜索:match，match_all(返回所以匹配，或者只使用过滤器时使用),query_string,multi_search,match_phrase(es会对搜索进行分析，分词)2: 精确搜索:term,terms3: 组合查询:bool:must,must_not,should(查询或过滤器）4: exists missing查询过滤器range过滤...
2019-12-04 22:10:47
101
转载 Spring Boot使用logback
前言今天来介绍下Spring Boot如何配置日志logback,我刚学习的时候，是带着下面几个问题来查资料的，你呢如何引入日志？日志输出格式以及输出方式如何配置？代码中如何使用？正文Spring Boot在所有内部日志中使用Commons Logging，但是默认配置也提供了对常用日志的支持，如：Java Util Logging，Log4J, Log4J2和Logb...
2019-04-21 18:51:14
514
转载 Spring retry重试框架
spring retry是从spring batch独立出来的一个能功能，主要实现了重试和熔断。对于重试是有场景限制的，不是什么场景都适合重试，比如参数校验不合法、写操作等（要考虑写是否幂等）都不适合重试。远程调用超时、网络突然中断可以重试。在微服务治理框架中，通常都有自己的重试与超时配置，比如dubbo可以设置retries=1，timeout=500调用失败只重试1次，超过500ms调用仍未返...
2019-04-21 15:01:52
306
转载 VMware Workstation 与 Device/Credential Guard 不兼容 解决方案
win10专业版官方解决方案https://kb.vmware.com/s/article/2146361win10家庭版解决方案win10家庭版本身是不支持Hyper-V服务的，但是如果是“win10预览体验家庭版”，会在“服务”中发现有Hyper-V服务。解决方案：在Windows安全中心中关闭“内核完整性保护”（如果有的话）：在“服务”中禁用“HV主机服务”：打开Windo...
2019-04-21 13:41:34
158
原创 springcloud项目配置文件加载顺序
bootstrap.*里面的配置 >链接Config server，加载远程配置(git仓库等)>加载application.*里面的配置建议在bootstrap.yml中存放一些启动后就不想修改的配置，在结合configserver一起使用时，bootstrap属性文件更适合做一些引导下文的配置 如果没有设置spring.application.name则会默认读取appli...
2019-04-19 17:11:09
3062
原创 命令式和声明式编程的区别
命令式和声明式编程的区别声明式和命令式是两种编程范式。react是声明式的，jquery那样直接操作dom是命令式.一般来说，声明式编程关注于发生了啥，而命令式则同时关注于咋发生的。...
2019-04-17 14:50:09
1131
原创 quartz CronExpression表达式
一个cron表达式有至少6个（也可能7个）有空格分隔的时间元素。按顺序依次为1.秒（0~59）2.分钟（0~59）3.小时（0~23）4.天（月）（0~31，但是你需要考虑你月的天数）5.月（0~11）6.天（星期）（1~7 1=SUN 或 SUN，MON，TUE，WED，THU，FRI，SAT）7.年份（1970－2099）其中每个元素可以是一个值(如6),一个连续区间(9-12),...
2019-04-17 14:18:09
159
转载 ZooKeeper安装配置
一、Zookeeper的搭建方式Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。■单机模式：Zookeeper只运行在一台服务器上，适合测试环境；■伪集群模式：就是在一台物理机上运行多个Zookeeper 实例；■集群模式：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble）Zookeeper通过复制来实...
2019-03-12 18:45:11
229
转载 zookeeper理论
1.1 Zookeeper基本原理1.1.1 Zookeeper的保证l 顺序性，client的updates请求都会根据它发出的顺序被顺序的处理；l 原子性, 一个update操作要么成功要么失败，没有其他可能的结果；l 一致的镜像，client不论连接到哪个server，展示给它都是同一个视图；l...
2019-03-12 18:41:39
208
转载 分块编码（Transfer-Encoding: chunked）
参考链接：HTTP协议中的Transfer-Encoding分块传输编码 一、背景：持续连接的问题：对于非持续连接，浏览器可以通过连接是否关闭来界定请求或响应实体的边界；而对于持续连接，这种方法显然不奏效。有时，尽管我已经发送完所有数据，但浏览器并不知道这一点，它无法得知这个打开的连接上是否还会有新数据进来，只能傻傻地等了。 用Content-length解决：计算实...
2019-03-12 16:06:02
810
转载 如何运行一个Vue项目
一开始很多刚入手vue.js的人，会扒GitHub上的开源项目，但是发现不知如何运行GitHub上的开源项目，很尴尬。通过查阅网上教程，成功搭建好项目环境，同时对前段工程化有了朦朦胧胧的认知，因此将环境搭建过程分享给大家。首先，列出来我们需要的东西：node.js环境（npm包管理器）vue-cli 脚手架构建工具cnpm npm的淘宝镜像安装node.js从node.j...
2019-03-11 23:07:44
1828
转载 RabbitMQ详解
RabbitMQ 即一个消息队列，主要是用来实现应用程序的异步和解耦，同时也能起到消息缓冲，消息分发的作用。消息中间件在互联网公司的使用中越来越多，消息中间件最主要的作用是解耦，中间件最标准的用法是生产者生产消息传送到队列，消费者从队列中拿取消息并处理，生产者不用关心是谁来消费，消费者不用关心谁在生产消息，从而达到解耦的目的。在分布式的系统中，消息队列也会被用在很多其它的方面，比如：分布式事务...
2019-03-11 22:49:15
245
1
转载 Java stream概要
概述继Java 8系列之Lambda表达式之后，我们来了解Stream。Stream 是用函数式编程方式在集合类上进行复杂操作的工具，其集成了Java 8中的众多新特性之一的聚合操作，开发者可以更容易地使用Lambda表达式，并且更方便地实现对集合的查找、遍历、过滤以及常见计算等。聚合操作为了学习聚合的使用，在这里，先定义一个数据类：public class Student {...
2019-03-10 22:00:06
148
转载 Java 8新特性：lambda表达式
lambda 表达式是 java 8th 给我们带来的几个重量级新特性之一，借用 lambda 表达式可以让我们的程序设计更加简洁。一. 行为参数化行为参数化简单的说就是将方法的逻辑以参数的形式传递到方法中，方法主体仅包含模板类通用代码，而一些会随着业务场景而变化的逻辑则以参数的形式传递到方法之中，采用行为参数化可以让程序更加的通用，以应对频繁变更的需求。这里我们以 java 8 in...
2019-03-10 21:26:04
261
转载 认识JWT
1. JSON Web Token是什么JSON Web Token (JWT)是一个开放标准(RFC 7519)，它定义了一种紧凑的、自包含的方式，用于作为JSON对象在各方之间安全地传输信息。该信息可以被验证和信任，因为它是数字签名的。2. 什么时候你应该用JSON Web Tokens下列场景中使用JSON Web Token是很有用的：Authorization(授权) ...
2019-03-10 21:24:12
158
转载 异步校验工具awaitility快速入门
1.背景在编写自动化测试用例过程中，往往会遇见被测代码有异步或者队列处理的中间过程；如果需要校验这部分结果，必须等待异步操作结束或队列消费完，而这个中间等待的时间是不确定的，常常是根据经验值设定，通过 Thread.sleep(经验值) ，而这个时间通常会设置成最长的那次时间，但是可能99%次这个异步操作都低于这个最长的时间，这就造成了每次执行这个测试用例都花费了异步任务最长的那次时间。现介...
2019-03-10 21:20:03
1097
转载 Mockito教程
目录1Mockito 介绍 1.1Mockito是什么？ 1.2为什么需要Mock 1.3Stub和Mock异同 1.4Mockito资源 1.5使用场景2使用Mockito 2.1验证行为 2.2模拟我们所期望的结果 2.3RETURNS_SMART_NULLS和RETURNS_DEEP_STUBS 2.4模拟方法体抛出异常...
2019-03-10 21:13:16
231
转载 Elastic-job使用及原理
一、原理elastic-job有lite版和cloud版，最大的区别是有无调度中心，笔者采用的是lite版本，无中心化。tips: 第一台服务器上线触发主服务器选举。主服务器一旦下线，则重新触发选举，选举过程中阻塞，只有主服务器选举完成，才会执行其他任务。 某作业服务器上线时会自动将服务器信息注册到注册中心，下线时会自动更新服务器状态。 主节点选举，服务器上下线，...
2019-03-10 20:59:34
235
转载 Spring配置数据源的三种方式 （dbcp,c3p0,jndi）
1,使用org.springframework.jdbc.datasource.DriverManagerDataSource 说明：DriverManagerDataSource建立连接是只要有连接就新建一个connection,根本没有连接池的作用。 <bean id="dataSource" class="org.springframework.jdbc.datasourc...
2018-07-07 17:33:47
261
转载 jQuery jsonp跨域请求
跨域的安全限制都是对浏览器端来说的，服务器端是不存在跨域安全限制的。浏览器的同源策略限制从一个源加载的文档或脚本与来自另一个源的资源进行交互。如果协议，端口和主机对于两个页面是相同的，则两个页面具有相同的源，否则就是不同源的。如果要在js里发起跨域请求，则要进行一些特殊处理了。或者，你可以把请求发到自己的服务端，再通过后台代码发起请求，再将数据返回前端。 这里讲下使用jquery的jsonp如何发...
2018-07-07 17:15:21
131
原创 subList的用法
java.util.List中有一个subList方法，用来返回一个list的一部分的视图。List<E> subList(int fromIndex, int toIndex);它返回原来list的从[fromIndex, toIndex)之间这一部分的视图，之所以说是视图，是因为实际上，返回的list是靠原来的list支持的。所以，你对原来的list和返回的list做的“非结构性修...
2018-07-04 20:54:30
12898
转载 Maven常用命令
常用命令从某种意义上来说，软件是帮助不懂程序的人来操作计算机的，图形化界面尤其如此。在上个世纪，比尔盖茨之所以成为世界首富，微软之所以IT界的巨鳄，就是因为Windows开图形化操作之先河，并抢先占领了全球市场，笑傲江湖数十年，至今依然宝刀未老。诚然，现在几乎每种软件都有图形化界面，用鼠标点击几下就可以完成操作。Maven也不例外，在各类IDE中都有成熟的插件来简化操作。但是作为开发人员，应该时刻...
2018-07-03 20:30:40
1924
原创 Maven配置文件的相关总结
1.Profile详解 Profile能让你为一个特殊的环境自定义一个特殊的构建；profile使得不同环境间构建的可移植性成为可能。Maven中的profile是一组可选的配置，可以用来设置或者覆盖配置默认值。有了profile，你就可以为不同的环境定制构建。profile可以在pom.xml中配置，并给定一个id。然后你就可以在运行Maven的时候使用的命令行标记告诉Maven运行特定prof...
2018-07-03 20:15:34
1115
转载 Mycat相关介绍和不适应场景列举
工作需要使用Mycat作为数据库连接，所以去网上找了点相关资料。Mycat介绍Mycat是什么？从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了MySQL协议的的Server，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生（Native）协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能...
2018-07-03 19:58:25
1245
原创 查找
查找表：一种以同一类型的记录构成的集合为逻辑结构，以查找为核心运算的数据结构。一：静态表查找：对查找表操作不包括对表的操作，即仅对查找表进行查找或者读操作。静态查找表：顺序表，链表。1.顺序查找，2.二分查找：要求表中记录按关键字有序，且不能用链表做存储结构，因此适用于静态查找，插入和删除操作不方便。3.分块查找（索引顺序查找）：将线性表分成若干块，每一块中节点不一定有序，但块
2018-01-06 00:28:09
338
原创 内排序
一：插入排序1.直接插入排序2.希尔排序（对直接插入排序进行改进）二：交换排序1.冒泡排序2.快速排序三：选择排序1.直接选择排序2.树形选择排序3.堆排序四：归并排序五：基数排序1.多关键字排序2.链式基数排序
2018-01-04 22:57:30
159
原创 图
1.图由顶点集和边集组成2.图分为有向图和无向图，即构成图的边是否全部是有方向。3.图中每条边上面标上具有某种含义的数值，此数值则为该边上的权。边上标识权的图称为网。4.图的边达到最大值成为完全图。（无向完全图，有向完全图）5.当顶点集和边集都是另一个图的子集的时候，该图称为子图，并且当顶点集相等，则称为生成子图。6.顶点的度为与顶点关联的边的数目。入度，出度7.一个顶点到
2018-01-04 22:21:30
278
原创 Tomcat5 和 Tomcat6 类加载器架构
Tomcat5和 Tomcat6类加载器架构1. Tomcat 5 ClassLoader架构: Bootstrap | System | Common / \Catalina Shared / \ W
2018-01-04 22:18:57
197
原创 位运算取余
我们都知道，求一个数被另一个数整除的余数，可以用求余运算符“%”，但是，如果不允许使用求余运算符，又该怎么办呢？下面介绍一种方法，是通过位运算来求余，但是注意：该方法只对除数是2的N次方幂时才有效。 在移位运算中我们可知，计算机中的数据都是0和1的序列，当我们把某个数字左移一位，该数字会扩大为原来的2倍；而将其右移一位时，该数字就会缩小为原来的1/2，即相当于对该数字做了一次被
2018-01-04 22:16:53
11560
3
原创 java集合
JDK1.7的实现中：· 1. HashMap 和 HashSet的默认大小是16。· 2. Hashtable 的默认大小是11。· 3. ArrayList 和 Vector的默认大小是10。· 4. ArrayDeque 的默认大小是8。· 5. Prio
2018-01-04 22:15:49
149
转载 Java读取文件内容的几种方式
[java] view plain copy print?package com.readfile; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileReader; import java.io.IOException; imp
2017-08-25 22:40:47
17510
转载 Spring 使用注解方式进行事务管理
使用步骤：步骤一、在spring配置文件中引入<tx:>命名空间<beans xmlns=”http://www.springframework.org/schema/beans” xmlns:xsi=”http://www.w3.org/2001/XMLSchema-instance” xmlns:tx=”http://www.springframework.org/schema/tx”
2017-08-21 12:33:03
206
转载 Spring实现AOP的多种方式
目录一、基于XML配置的Spring AOP二、使用注解配置AOP三、AspectJ切点函数四、AspectJ通知注解五、零配置实现Spring IoC与AOP六、示例下载AOP（Aspect Oriented Programming）面向切面编程，通过预编译方式和运行期动态代理实现程序功能的横向多模块统一控制的一种技术。AOP是OOP的补充，是spring框架中的一个重要内容。利用AOP可以对业
2017-08-21 12:31:36
204
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人