- 博客(48)
- 收藏
- 关注
RSS订阅
原创 QueryBuilder构造ES查询条件 精准匹配、模糊搜索、in、范围查询 and or
package com.xzm.es;import java.net.InetSocketAddress;import java.util.ArrayList;import java.util.Iterator;import java.util.Map.Entry;import org.elasticsearch.action.ListenableActionFuture;im...
2019-04-11 14:47:40
47774
2
原创 解决分布式事务的问题
理论说明：1 数据库的2阶段提交协议（2PC或者称为XA Transactions）：第一阶段：事务协调器要求涉及事务的数据库都预提交，并反馈是否可以提交第二阶段：事务协调器要求每个数据库提交/回滚数据2 BASE理论（对CAP进一步补充）：Basically Available（基本可用） Soft state（软状态） Eventually consistent（最终...
2019-03-26 16:07:26
180
原创 Redis雪崩、穿透、更新
一、缓存雪崩1.1什么是缓存雪崩？回顾一下我们为什么要用缓存(Redis)：现在有个问题，如果我们的缓存挂掉了，这意味着我们的全部请求都跑去数据库了。在前面学习我们都知道Redis不可能把所有的数据都缓存起来(内存昂贵且有限)，所以Redis需要对数据设置过期时间，并采用的是惰性删除+定期删除两种策略对过期键删除。Redis对过期键的策略+持久化如果缓存数据设置的过期时...
2019-03-25 15:02:28
144
转载 Java cpu过载解决方案 --linux
查看：https://blog.csdn.net/puhaiyang/article/details/78663942
2020-05-19 23:49:01
260
原创 Java cpu过载解决方案 --Windows
步骤一：找到cpu过载的进程PID，在Windows中只需要打开任务管理器--查看--选择列--pid即可步骤二：将过载的进程当前的信息打印到日志文件中，使用jstack（jdk-bin下面的一个工具exe）就可以，打开cmd窗口，输入：jstack pid > C:\cdf.log 将进程信息打印出来，如果系统提示没有这个指令，那么就意味着Java的环境变量安装有点问题，不过没关系，我们直接进入jdk-bin 文件夹下面，执行该指令即可：1 cd C:\Program Files\Ja.
2020-05-19 23:42:24
1389
原创 接口安全二：OAuth2（open authorization，开放授权）
授权流程如下：简单以业务场景串起来就是：张三（客户端）想取货，先去找管理货物的领导，领导给他一个授权码，并指导他去门卫那里拿通行证，门卫核实授权码后给张三一个通行证（token 短时间有效），张三拿到通行证去仓库取货。领导给出授权码一共有4种方式：1 授权码模式（最常用）2 简化模式3 密码模式4 客户端模式授权码模式是最常用的一个模式：...
2020-04-18 12:33:34
1386
原创 接口安全一：jwt
认证协议：认证客户端的合法性；授权协议：认证身份后对受限资源访问的控制；JWT（json web token）是实现认证协议的一种框架，原理如下：用户提供用户名和密码给认证服务器，服务器验证用户提交信息信息的合法性；如果验证成功，会产生并返回一个Token（令牌），用户可以使用这个token访问服务器上受保护的资源。Token由3部分组成：header.claims.signatu...
2020-04-18 12:31:12
264
原创 spring boot 打包时跳过test环节实现快速打包
在pom.xml中加入如下一段配置信息：<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> <version>2.20.1</version&g...
2020-01-07 10:33:15
1090
原创 spring boot 日志（logback）
目前常用的日志框架有：log4j、log4j2、logback，注意slj4f是一种规范而不是一个框架，只要是符合它规范的都可以用它调用。由于spring boot默认采用的就是logback的日志框架，所以我项目中都是使用的logback，下面详细介绍logback的应用。步骤一：配置日志文件，保障springboot可以加载到日志配置文件：在boot项目resources文件夹下面...
2020-01-07 10:26:52
102
原创 linux openjdk 安装
openjdk 和 jdk 的区别：（对于使用者在服务器上部署环境变量而言没有区别）授权协议的不同： openjdk采用GPL V2协议放出，而JDK则采用JRL放出。两者协议虽然都是开放源代码的，但是在使用上的不同在于GPL V2允许在商业上使用，而JRL只允许个人研究使用。OpenJDK不包含Deployment（部署）功能： 部署的功能包括：Browser Plugin、Java W...
2020-01-05 23:40:51
241
原创 在阿里云一键安装快速部署Oracle11g
环境准备： 1. 购买阿里云ECS服务器（必须） 计费方式：可选包年包月，按量付费（用一小时算一小时价格），建议业务量较多的的，数据库要一直在线的，选包年包月。 地域选择：和你的应用服务器，最好是在同一个可用区（访问速度最快），也可以同一地域，不同可用区，用于多机房部署的情况。 CPU内存： 根据实际需要选择，但是一定要选择2682V4 和...
2019-10-31 01:14:24
541
原创 git常见指令
1 常用$ git remote add origin [email protected]:yeszao/dofiler.git # 配置远程git版本库$ git pull origin master # 下载代码及快速合并 $ git push origin master ...
2019-07-16 09:13:33
82
原创 Consul集群搭建
Consul简介：2018年6月28号eureka官方正式宣布：自2.0起不再维护该项目，并在github 项目wiki上放出了一段吓唬人的话:从2.x起，官方不会继续开发了，如果需要使用2.x，风险自负。目前业内服务注册中心的替代方案是consul。Consul原理：consul借助agent来运行，类似elk的logstash agent 或 zabbix监控系统的age...
2019-07-06 09:38:41
2258
原创 gitlab搭建
Git的家族成员Git：是一种版本控制系统，是一个命令，是一种工具。Gitlib：是用于实现Git功能的开发库。Github：是一个基于Git实现的在线代码托管仓库，包含一个网站界面，向互联网开放。GitLab：是一个基于Git实现的在线代码仓库托管软件，你可以用gitlab自己搭建一个类似于Github一样的系统，一般用于在企业、学校等内部网络搭建git私服。Gitlab的服...
2019-07-06 09:32:44
1867
原创 idea永不过期（给自己做备忘）
1 找到破解补丁，如下：2 将补丁放到idea bin目录下：3 修改配置文件：idea.exe.vmoptionsidea64.exe.vmoptions
2019-07-01 08:43:24
2204
原创 react native常见问题解决
1错误:Commandrun-androidunrecognized. Make sure that you have runnpm installand that you are inside a react-native project.解决办法执行命令yarn add react-native-cli
2019-05-26 22:22:36
149
转载 PowerDesigner逆向导入Oracle、Mysql数据库并显示中文注释
转载自：https://blog.csdn.net/u011781521/article/details/78960083（oracle）https://blog.csdn.net/u011781521/article/details/78958529（mysql）一、简介PowerDesigner的逆向工程是依托于系统中的ODBC数据源的，这就导致了如果系统中没有相应的数据库OD...
2019-05-17 16:51:26
529
原创 nginx--前端文件存储服务器
知识点一：location配置location /img/ { alias /var/www/image/;}#若按照上述配置的话，则访问/img/目录里面的文件时，ningx会自动去/var/www/image/目录找文件location /img/ { root /var/www/image;}#若按照这种配置的话，则访问/img/目录下的文件时，nginx...
2019-05-16 22:14:20
1132
转载 SpringBoot解决ajax跨域问题(转载)
一、第一种方式:1、编写一个支持跨域请求的 Configurationimport org.springframework.context.annotation.Configuration;import org.springframework.web.servlet.config.annotation.CorsRegistry;import org.springframewor...
2019-05-07 11:44:00
100
原创 springboot集成mybatis多数据源，小驼峰配置，字符串为空判断
集成步骤：步骤一：多数据源pom引入<!-- PERSISTENCE begin --><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId...
2019-05-05 15:48:46
708
原创 基于切面技术，实现全局的入参校验工作（底层还是依赖于BeanValidator），结合前面的全局异常处理机制，完美！！！
步骤一：实现切面类package com.jinp.jx.vediobigdata.common.bean;import com.jinp.jx.vediobigdata.common.exception.BusinessException;import org.aspectj.lang.JoinPoint;import org.aspectj.lang.annotation.Asp...
2019-04-29 15:07:31
253
原创 spring boot 集成多个kafka集群
有时候我们的集成软件需要在项目中集成多个kafka集群，实现步骤如下：步骤一：配置第二个kafka文件步骤二：定义第二个kafka的实现类/** * @Description: <br> * @Project: <br> * @CreateDate: Created in 2019/4/26 18:20 <br> * @Autho...
2019-04-29 11:22:20
11034
原创 数据抽取工具比对：Kettle、Datax、Sqoop、StreamSets
工具比对：Kettle（传统的ETL工具）特性：纯Java编写优点：可在Windows、linux、Unix上执行；数据抽取高效稳定；子组件spoon有丰富的Steps可以开发复杂业务逻辑场景，方便实现全量、增量同步；缺点：通过定时运行，实时性较差；组成部分：Spoon：允许使用图形化界面实现ETL数据转换过程Pan：批量运行Spoon数据转换过程Chef：job（...
2019-04-29 10:58:21
15107
2
原创 Spring boot中快速集成 kafka
Spring boot中集成 kafka步骤一：通过maven导入依赖<dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId></dependency>步骤二...
2019-04-25 16:38:14
176
原创 kafka常用指令总结
一：学习地址：1)Kafka官网：http://kafka.apache.org/2)下载地址：http://kafka.apache.org/downloads3)客户端库：https://cwiki.apache.org/confluence/display/KAFKA/Clients4)librdkafka库：https://github.com/edenhill/l...
2019-04-25 16:07:10
164
转载 Kafka介绍, kafka主题的副本机制
1、Kafka概览Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过kafka的消费者将消息实时写入hbase数据库中。卡夫卡以topic分类对记录进行存储，每个记...
2019-04-25 11:42:09
234
原创 kibana官网指导手册
https://www.elastic.co/guide/cn/kibana/current/visualize.html
2019-04-23 16:55:49
3410
转载 Kibana使用教程
Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示Elasticsearch查询...
2019-04-23 16:13:56
88460
2
原创 Netty初始（IO复用及Reactor线程模型）
Netty 是一个异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端。Netty是对Java自带的NIO的封装。虽然Java自带了网络应用程序的API，但是存在一系列问题，主要体现如下：使用复杂：NIO 的类库和 API 繁杂，使用麻烦。你需要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer 等。...
2019-04-19 15:12:10
555
转载 spring boot 日志 打印mybatis sql
我的做法是：<root level="DEBUG"> <appender-ref ref="CONSOLE"/> <appender-ref ref="FILE"/> </root>Spring Boot-日志配置(超详细)更新日志：20170810 更新通过 application.yml传递参数到 logback 中。Spring ...
2019-04-18 18:17:29
234
原创 elasticsearch为什么比关系型数据库快
要知道eselasticsearch为什么比关系型数据库快的原因必须先了解2者建立索引的过程ES建立索引的过程（原理是基于lucene的倒排索引）第一步：分词、倒排索引（每一个词都有自己的倒排索引的list）原始文档如下：索引后：注意：18,20这些叫做 term，而[1,3]就是posting list第二步：对team进行排序，通过二分查找形成 t...
2019-04-17 11:55:35
7815
2
原创 spark初识
Spark只是一个通用计算框架，是一个大一统的软件技术栈，设计方方面面的知识，它的价值在与利用它实现的应用。Spark vs Apache的MapReduce，基于内存的运算，使得spark的速度更快；丰富的API带来了更强大的易用性；spark不仅仅支持批处理任务，更支持交互式查询、流式计算、机器学习和图形计算等各种应用，满足不同应用场景下的需求。对应着spark的3个优点：1 易用性，...
2019-04-13 17:34:10
149
原创 数据仓库-HIVE初识
建立数据仓库的目的是将各业务系统中的数据进行多维度的抽取、汇聚以实现不同的目的，主要用于统计、BI等。数据仓库是一个从整体着手，然后逐步解决细节问题的体系结构，它是伴随着信息与决策支持系统诞生的，主要特性是：面向主题、数据集成（统一编码和规范）、非易失、随时间变化。建立过程：建主题--建表--迁移数据--分析数据仓库存储的数据颗粒度很重要:高科粒度（低细节，统计数据），低颗粒度（每一条...
2019-04-13 17:33:14
89
原创 Java Web全局统一异常处理
1 Java异常分类如下：2 为什么要用统一的异常处理机制在开发过程中，我们经常会遇到异常，不管是DAO、SERVICE、Controller那一层都有可能发生，对于异常处理，正常同时是try－catch或者直接throw出去不管了，这就导致了代码中四处散落着try－catch的代码，系统的代码耦合度高，工作量大且不好统一，维护的工作量也很大。那么，能不能将所有类型的异常处理从各...
2019-04-12 14:47:36
3358
原创 Swagger2常用注解说明
@Api：用在请求的类上，表示对类的说明：常用参数： tags="说明该类的作用，非空时将覆盖value的值" value="描述类的作用" 其他参数： description 对api资源的描述，在1.5版本后不再支持 basePath 基本路径可以不配置，在1.5版本后不再支持 ...
2019-04-05 13:41:00
217
原创 swagger2中不显示的常见原因：swagger2中如何匹配多个controller的正确写法
方法一：使用多个controller的共同拥有的父类，即精确到两个controller的上一级@Beanpublic Docket createRestApi() { return new Docket(DocumentationType.SWAGGER_2) .apiInfo(apiInfo()) .select() ...
2019-04-04 15:43:33
5378
原创 spring boot2集成swagger2自动生成API接口文档
步骤一：导入依赖，注意SWAGGER和UI最好保持版本一致，否则可能会遇到不同的坑<!-- swagger-ui --><dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger-ui</artifactId> ...
2019-04-04 14:47:15
2154
原创 IDEA创建类模板和方法模板
写代码是少不了注释的，但是自带的注释就几个，所以使用注释模板添加自定义的注释是个非常好用的功能创建类模板按照顺序打开File–>settings–>Editor–>File and Code Templates–>Includes输入类注释模板/** * 湖北金鹏信息技术有限公司 版权所有 © Copyright 2018<br> * * @...
2019-04-03 16:52:14
862
原创 本地jar导入到本地或者私服的maven库中
我们在开发的过程中，有时候会遇到对方提供的是jar包，我们通过maven无法编译通过的问题，并且后续的发布也比较麻烦，所以我们需要将这些jar包发布到maven库中。发布步骤如下：1 将jar放到本地文件夹中，eg：我放在本地 E:\outjar\ 中，注意：路径中最好不要有特殊字符，jar包名称为artemis-http-client-1.0-SNAPSHOT.jar，2 自定义...
2019-04-03 10:53:12
1344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人