自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(303)
  • 资源 (7)
  • 收藏
  • 关注

原创 【SpringCloudAlibaba】Sentinel如何实现持久化

通过上篇博客,我们已经了解了如何使用Sentinel来实现流量控制、降级以及热点控制,如果你一步一步操作下来,有没有感觉我上次添加了一个规则,但是重启了项目,这个规则就没了,还得再重新添加一次呢,有没有感觉一直在做重复的操作,有没有很烦呢?这篇博客就是主要解决每次项目启动都要重新在sentinel控制台添加配置文件的问题,也就是要实现sentinel持久化。我们把这个规则配置放到nacos上,然后项目再冲nacos上读取,这样,就实现了sentinel的配置规则持久化了。详细步骤如下:1、添加依赖.

2020-07-19 21:21:23 1710 3

原创 【SpringCloudAlibaba】Sentinel是什么呀,怎么下载和安装呢?

前几篇博客我们了解了SpringCloudAlibaba的Nacos框架,接下来,我们在认识下SpringCloudAlibaba的另一个框架Sentinel一、Sentinel是什么呢随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel是以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性1、优点单独一个组件单独界面化,统一配置2、Sentinel 分为两个部分(1)核心库(Java 客户端)不依赖任何框架/库,能够运行于所有 Java 运行.

2020-07-18 19:53:22 308 1

原创 【SpringCloudAlibaba】Nacos配置中心怎么持久化到数据库

上篇博客,我们用Nacos实现了配置中心,Naocs的配置文件存在了哪呢,它存在里Nacos默认用的是自带的嵌入式数据库derby里,那怎么将Nacos的数据库切换到MySQL,持久化到MySQL呢1、在本地mysql创建一个数据库nacos_config2、在nacos的conf这个文件下,找到nacos-mysql.sql这个文件,复制里边的sql语句,到数据库nacos_config下执行这些sql语句执行后效果如下3、然后配置application.properties这个文件在文件最

2020-07-12 20:46:52 2282

原创 【SpringCloudAlibaba】怎样用Nacos来实现服务配置中心呢

之前我们实现配置中心用的是config,在了解用Nacos来实现服务配置中心,可以先熟悉下之前用的SpringCloud Config配置中心config是什么,以及如何和Eureka整合使用配置中心config如何实现动态刷新配置文件—bus消息总线了解了SpringCloud的config实现的服务配置中心,那么怎么用Nacos来实现服务配置中心呢接下来就实现下,项目中读取nacos中的配置文件内容项目整体结构1、引入相关依赖<dependencies> <!--

2020-07-12 08:55:47 225

原创 【SpringCloudAlibaba】怎样用Nacos来实现服务注册中心呢

之前我们是用Eureka来实现服务注册中心的(关于Eureka实现注册中心的博客链接:一步一步进行搭建Eureka,实践中理解Eureka),那么Nacos该怎么实现服务注册中心呢关于Nacos实现服务注册中心,我们不在需要单独建一个eureka的项目的,只有生产者和消费者一些服务项目就可以了项目结构如下在将项目注册到naocos之前,先将nacos启动起来,上边博客已经讲了nacos如何安装与启动,因为我们的项目要向nacos上注册,它需要nacos先启动起来,然后我们新建的项目向里边注册,在配置

2020-07-11 20:26:36 268

原创 【SpringCloudAlibaba】Nacos是什么呢,又该如何下载和安装呢

现在SpringCloudAlibaba越来越火,它为什么火起来呢?这是因为在之前用的SpringCloud的那一套,又用到Spring Cloud Netflix中的组件,而Spring Cloud Netflix目前一直以后一段时间不再开发新的组件和功能了。所以大家渐渐的认识了SpringCloudAlibaba,并转向了SpringCloudAlibaba,因为其开发的一些组件相比之前,对于用户来着,操作简单,容易上手。说到SpringCloudAlibaba,就要认识下其下的Nacos了。Naco

2020-07-11 14:40:44 353

原创 【ELK】使用Java客户端如何管理elasticsearch

Java客户端管理es一、使用Java客户端创建索引库操作步骤代码实现二、使用Java客户端设置Mapping操作步骤代码实现XContentBuilder的使用三、使用Java客户端添加文档操作步骤代码实现(1)通过XContentBuilder构造json的方式直接放数据到elasticsearch中(2)使用实体类的方式向elasticsearch存数据四、使用Java客户端实现搜索查询方式1、根据id搜索2、根据Term搜索(关键词)3、使用QueryString搜索操作步骤代码实现关于elas

2020-06-14 16:58:21 332

原创 【ELK】elasticsearch中的分析器standard与IK分析器的区别,以及IK分析器如何安装

standard与IK一、标准分析器standard与IK分析器的区别1、standard分析器2、IK分析器二、在elasticsearch中安装插件IK分析器1、上传IK分析器的包elasticsearch-analysis-ik-6.2.4.zip到elasticsearch安装目录的plugins下2、解压3、删除压缩包4、重命名5、重启elasticsearch就可以了6、问题解决三、IK分析器详说一、标准分析器standard与IK分析器的区别1、standard分析器elasticsea

2020-06-13 20:03:33 1559

原创 【ELK】elasticsearch的集群搭建与启动

下载包ElasticSearch分为Linux和Window版本,本篇博客用的Linux版本ElasticSearch的官方地址: https://www.elastic.co/products/elasticsearch

2020-06-11 21:10:48 567 1

原创 【ELK】elasticsearch是什么呢,又有什么用呢,集群又是怎样的组成呢

elasticsearch简称es,是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。es也使用java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是他的目的是通过简单的restful api来隐藏Lucene的复杂性,从而让全文搜索变得简单...

2020-06-09 19:58:49 424

原创 【SpringCloud】SpringCloud整合五大组件Eureka、Ribbon、Hystrix、Feign、Zuul

Spring Cloud是一个基于Spring Boot实现的微服务架构开发工具,它为微服务架构中涉及的配置管理、服务治理、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等操作提供了一种简单的开发方式。特点约定优于配置适用于各种环境隐藏了组件的复杂性,并提供声明式、无xml的配置方式开箱即用,快速启动轻量级的组件。SpringCloud整合的组件大多比...

2020-05-03 20:10:43 3520 3

原创 【算法】最小生成树—Prim算法和Kruskal算法如何实现?

Prim算法和Kruskal算法都是解决最小生成树问题的经典算法。那么Prim算法和Kruskal算法该如何实现呢?1、Prim算法Java代码实现的案例 2、Kruskal算法Java代码实现的案例。

2024-03-31 23:29:56 194

原创 【算法】最小生成树—Prim算法与Kruskal算法

Prim算法和Kruskal算法都是解决最小生成树问题的经典算法。最小生成树是原图的最小连通子图,它包含原图的全部结点,且保持图连通的所有边代价和最小。一个连通图可能有多个最小生成树。

2024-02-29 21:54:11 729 1

原创 【MySQL】binlog是什么呢,为什么有时出现占用空间飙升呢

在MySQL中,binlog(二进制日志)是一种记录数据库操作的日志文件。它记录了数据库更改的所有操作。具体来说,binlog记录了对MySQL数据库执行的所有DDL(数据定义语言)和DML(数据操作语言,但不包括SELECT和SHOW等查询语句)操作,以及这些操作执行的具体时间。

2024-01-31 21:24:56 1085 1

原创 【问题处理】日志未打印到控制台的原因及解决方式

最近在排查一个问题,发现由于日志未打印到控制台,但却能打印到日志文件里,所以直接查看容器日志看不了,还得进容器指定目录里查看文件。那究竟是什么原因导致日志未打印到控制台呢?1、log的配置文件配置错误。2、服务启动时指定了特定的日志文件。

2023-11-30 22:40:06 1342

原创 【Spring】使用自定义注解方式实现AOP鉴权

AOP,是一种面向切面编程,可以通过预编译方式和运行期间动态代理实现程序功能的统一维护的一种技术。在软件开发中,鉴权(Authentication)是一项非常重要的安全措施,用于验证用户身份和权限。在应用程序中,我们通常会使用AOP(Aspect-Oriented Programming)来实现鉴权功能,以便在需要进行鉴权的地方进行统一的处理。一种常用的实现AOP鉴权的方式是使用自定义注解。

2023-08-26 11:32:01 632

原创 【问题处理】使用不同的镜像源竟然下载到的依赖不一样,导致项目构建和启动失败,怎么回事呢

通过这俩个问题呢,可以知道和之前相比构建失败的区别呢就是那个镜像源,启动失败呢也是因为那个新的镜像源,所以就是和依赖相关,遇到这种问题朝着这个方向走,就会少走很多弯路,省下不少时间。其实往往最终的解决方式很简单,但是找到这个解决方法的过程确实很不容易的,所以只能在每次的解决过程中吸取经验,争取在下次解决问题的时候快速定位问题及解决问题。

2023-07-16 11:46:21 263 1

原创 【大数据】初步认识StarRocks

StarRocks 致力于构建极速统一分析体验,满足企业用户的多种数据分析场景,支持多种数据模型(明细模型、聚合模型、更新模型),多种导入方式(批量和实时),支持导入多达10000列的数据,可整合和接入多种现有系统(Spark、Flink、Hive、 ElasticSearch)。支持多副本,具有弹性容错能力。StarRocks 充分吸收关系型 OLAP 数据库和分布式存储系统在大数据时代的优秀研究成果,在业界实践的基础上,进一步改进优化、升级架构,并增添了众多全新功能,形成了全新的企业级产品。

2023-06-30 23:57:28 617

原创 【监控】Prometheus常用的查询语法(PromSQL)

PromSql是 Prometheus的数据库查询语法,可以方便的查找监控指标的值并且做一些数学运算帮助我们能快速和方便的去统计数据以及设置告警阈值。

2023-05-28 19:33:57 2765 1

原创 【Spring】什么是AOP呢,又是如何实现的呢

是面向切面编程,就是横向作用于某一层,如何理解横向呢,举个例子,就比如我们一般项目开发会分层,有控制层、业务层、数据层,我们调某个一个接口的时候,往往是从控制层到业务层,再从业务层到数据层,都是作用于某一层的某个方法,这样的结构呢是纵向,而横向呢就是某个逻辑统一作用于某一层,作用这一层的所有方法,比如只作用于业务层。使用AOP实现的一般是不改变原来增删改的方法,给这个系统增加记录的方法,而且作用的也是一个层面的方法。

2023-01-31 23:08:57 381 2

原创 【Spring】普通类获取Spring容器的bean的方法

我们通常在项目中获取Spring容器里bean的方式,一般是使用注解的方式(@Autowired、@Resource)直接注入就可以直接使用了,那么如果在一个普通的类里(别人使用它的实例是以new的方式使用的),此时再用注解的方式注入的将会是null,那这种情况下,我们该如何使用Spring容器里的bean呢?本篇博客讲解五种方法,接下来就依次详细讲一下使用方式

2022-12-04 19:29:41 3061 3

原创 【Spring】SpringBoot+Actuator+Prometheus+Grafana监控实现及常见问题处理

当我们添加一个服务之后,不可避免的就是对这个服务的监控,如何才能更好的监控到服务的运行状况呢,这里有一种实现方式,就是使用actuator监控服务,然后通过pushgateway推送监控数据到prometheus,然后再在Grafana上配置相应dashboards,这样我们就能更方便的看到我们服务的一些基础监控数据了。

2022-10-29 20:22:00 2281 3

原创 【问题处理】Maven加载依赖失败的解决方式

Idea中使用Maven添加使用的依赖,无法下载对应的依赖,遇到的情况不一样,所以解决方法有多种,大家遇到可以分别尝试下边三种方法解决,然后刷新依赖即可。

2022-08-28 22:08:58 11514 2

原创 【大数据】Linkis安装及使用各种引擎过程中常见的一些问题及解决方法

我们都知道Linis是连接多个计算存储引擎的中间间,我们可以提交执行SQL、Pyspark、HiveQL、Scala等脚本。Linis中有一个专门处理引擎的模块(Linkis/linkis-engineconn-plugins),我们安装Linis后,默认的引擎只有,但其支持的引擎很多,所以,如果我们想要用默认之外的其他引擎,需要自己安装引擎安装(1)在Linkis/linkis-engineconn-plugins下找到要安装的引擎,进行编译打包(2)打包成功后相应target下会有个out.zip

2022-03-27 20:56:39 3809

原创 【大数据】Linkis是什么呢

Linkis,一个打通了多个计算存储引擎如Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的数据中间件。

2022-03-20 21:19:32 5259

原创 【大数据】Linkis前端管理台如何部署

上一篇文章部署了Linkis的后端,然而我们有些任务的管理及一些基础配置自然是需要一个管理台来管理,界面化也更便于操作,所以本篇博客来讲一下Linkis的前端管理台的部署。Linkis在1.0提供了单独的前端管理台功能,提供了展示Linis的全局历史、修改用户参数、管理ECM和微服务等功能,部署前端管理台前需要先将Linkis后端进行部署(Linkis如何安装部署,及一些常见问题)1、准备工作从linkis的release页面(点击这里进入下载页面)下载web安装包,apache-linkis-x.

2022-02-27 20:44:51 2966

原创 【大数据】Linkis如何安装部署,及一些常见问题

Linkis ,一个在上层应用程序和底层引擎之间的计算中间件。本篇博客主要介绍了Linkis的安装过程及安装遇到的一些问题。

2022-01-23 20:35:14 5051 5

原创 【算法】排序算法之选择排序

选择排序主要思想就是每一轮都选出剩下未排序元素中最小(大)的元素直接交换到序列的起始位置

2022-01-09 23:59:08 408 1

原创 Caused by: java.lang.NoSuchMethodError:xxx——依赖冲突的解决

前因后果1、背景最近在给一个项目的配置迁移Apollo,遇到了一个问题,就是我引入了Apollo的相关依赖,但就是用不了,测试的时候就疯狂报错,最终原因是Caused by: java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.createStarted()Lcom/google/common/base/Stopwatch2、处理过程这个原因呢,一看就知道是依赖冲突的问题,我的是guava依赖的问题,就用了常用的方法排除依赖,

2021-11-13 23:30:18 8581

原创 【大数据】ClickHouse是什么呢

一、ClickHouse是什么ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)说到列式数据库,一定会想到行式数据库,那我们就以行式数据库与列式数据库存储形式的对比来了解下列式数据库究竟是什么样的在行式数据库系统中,数据按如下顺序存储:rowidnamesex18343829382张三男23247832994李四男31943058349王五女N………在列式数据库系统中,数据按如下顺序存储:

2021-10-24 23:13:38 842

原创 【大数据】如何将数据导入ClickHouse?

最近在研究如何提升InfluxDB+Grafana的查询速度,因为随着数据量的上涨,查询速度逐渐变慢,采用了连续查询,也没有得到明显的效果,其实单从数据量上,采用连续查询,按道理是可以得到很好的效果的,但鉴于我们的索引也是比较多大(经查资料,InfluxDB的series不超过100000,是不会影响InfluxDB的查询性能的,然后我看我们的series已经达到了300000以上),而这些索引又是必须的,所以一直也没有在这个的基础上得到更好的解决方案,所以想着换条路走走,那就是ClickHouse,当然.

2021-08-28 21:49:50 4359 2

原创 【大数据】InfluxDB的连续查询有什么作用呢

InfluxDB尽管每秒可以处理数十万的数据,但如果长时间存储大量数据,对于存储是很大的压力。那么我们既想数据保存得久一些或者永久保存,又想减轻存储的压力,该怎么办呢,这就要用到连续查询了,其实是用连续查询和保留策略(Retention Policy 简称RP)来一起实现一、保留策略1、保留策略是什么呢保留策略指的是InfluxDB保存数据的时间,InfluxDB会比较服务器本地的时间戳和请求数据里的时间戳,并删除比在RPs里面用DURATION设置的更老的数据一个数据库中可以有多个保留策略,但.

2021-08-15 22:46:52 798 1

原创 【大数据】SpringBatch究竟是什么呢,又有何作用呢

现在有许多应用程序都需要批量处理,比如:(1)自动,复杂地处理大量信息,无需用户交互即可最有效地进行处理(2)定期应用非常大的数据集重复处理复杂的业务规则(3)从内部和外部系统接收的信息的集成,需要格式化,验证和以事务方式进行处理,记录到系统中遇到上述场景,就可以考虑SpringBatch了一、Spring Batch是什么Spring Batch是一个轻量级,全面的批处理框架,旨在开发对企业系统日常运营至关重要的强大批处理应用程序,是Spring提供的一个数据处理框架,其处理过程如下二.

2021-08-08 23:38:56 4433 4

原创 【大数据】巧用Grafana,更好的监控数据

关于监控,Grafana是一个不错的选择,它是一个跨平台的开源的度量分析和可视化工具,可以通过将采集的数据查询然后可视化的展示,并及时通知,具有报警功能。一、认识Grafana1、展示的方式多种多样,有折线图、图表、柱状图等等2、Grafana支持的数据源:InfluxDB,OpenTSDB,Prometheus,Elasticsearch等。3、在同一图表中混合使用不同的数据源,可以基于每个查询指定数据源这次我们主要以InfluxDB作为数据源,来更好的了解Grafana的一些使用吧。二、.

2021-07-25 22:52:45 1721 1

原创 【大数据】InfluxDB的常用查询及常用函数

通过上篇博客,我们已经简单认识了InfluxDB了,其实在实际使用中,我们最常用的就是查询了,这篇博客就详细了解下InfluxDB的查询操作一、常用查询1、从单个measurement查询所有的field和tagSELECT * FROM measurement_name where tag='serverA'2、从单个measurement查询所有的fieldSELECT *::field FROM measurement_name3、从单个measurement查询特定的field和.

2021-07-11 21:54:25 12446 7

原创 【大数据】InfluxDB是什么呢,又该怎么用呢

说到数据库,我们常用且熟知的就是Mysql了,但现在随着大数据的席卷而来,时序数据库也应用而生了,那它究竟是什么呢,就让我们一起来了解下InfluxDB是什么呢(1)InfluxDB是一个用于存储和分析时间序列数据的开源数据库。简单说,Influxdb就是一个时序数据库。什么是时序数据库呢,简单说就是数据格式里包含Timestamp字段的数据,比如某一时间环境的温度,CPU的使用率等。(2)InfluxDB里存储的数据被称为时间序列数据,其包含一个数值,就像CPU的load值或是温度值类似的。时.

2021-07-11 20:49:36 2210 1

原创 【大数据】Flume源码分析之启动过程

要分析flume的源码,首先要从Flume的启动开始,然后再分析Flume的各个组件服务Source、Channel、Sink的源码,接下来我们就来看下Flume是如何启动的吧Flume的启动入口org.apache.flume.node.Application1、校验命令行Options options = new Options(); Option option = new Option("n", "name", true, "the name of this agent".

2021-06-20 14:26:16 845

原创 【大数据】Flume该如何安装使用呢

通过上一篇博客(【大数据】Flume是个什么呢),我们可以基本了解认识到Flume是什么了,以及它主要是干嘛用的,纸上谈兵终觉浅,那究竟Flume该如何安装使用呢?一、安装1、先安装jdk我安装的是jdk1.82、下载flume包下载地址http://flume.apache.org/download.html3、解压tar zxvf apache-flume-1.9.0-bin.tar.gz4、切到解压后的路径下,查看是否安装成功./bin/flume-ng version.

2021-04-18 21:38:53 179

原创 【大数据】Flume是个什么呢

一、Flume的简介Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的,因此Flume可用于传输大量事件数据,包括但不限于网络流量数据,社交媒体生成的数据,电子邮件消息以及几乎所有可能的数据源。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制,具有强大的功能和容错能力二、Flume的架构说到Flume的架构,先来了解下Flume的核心组件吧(1)Agen

2021-04-11 18:11:32 256 1

原创 实现搜索关键词高亮的方式—elasticsearch与AC算法

实现搜索关键词高亮,如果你用的是elasticsearch,直接可以用elasticsearch自带的dsl语法highlight即可,如果用的是mysql,那实现的思路就是根据关键词取出搜索的内容,然后再内容中关键词的前后加上html标签即可。接下来我就具体介绍下实现步骤1、使用Elasticsearch,实现关键词高亮使用elasticsearch,实现高亮,只需要在dls语句中加上highlight语法即可,这样就会返回加油高亮标签的字段值了,它主要是依赖于Elasticsearch底层的Luce

2021-01-31 18:35:00 901

redis安装包.zip

这是一个redis的安装包,是在Linux上用的,版本为4.0.9,是redis-4.0.9.tar.gz

2020-06-20

analysis-ik.zip

这是一个elasticsearch的插件elasticsearch-analysis-ik-6.2.4的zip包,安装在elasticsearch的plugins下,重启elasticsearch就可以使用IK分析器了

2020-06-12

SpringCloud整合配置中心.zip

这是一个简单的SpringCloud整合配置中心config的demo,代码是在之前《SpringCloud与五大组件的整合》的代码的基础上增加的config,旨在认识配置中心,以及配置中心如何使用

2020-05-23

Dubbo与SpringBoot的整合.zip

这是一个实践Dubbo与SpringBoot整合的例子,旨在了解Dubbo在SpringBoot项目中如何配置,如何使用

2020-05-08

SpringCloud与五大组件的整合.zip

这是一个简单的SpringCloud整合五大组件注册中心Eureka、负载均衡Ribbon、熔断器Hystrix、伪装Feign、服务网关Zuu,旨在认识这五大组件,以及这五大组件该如何使用

2020-05-03

eureka实践源码.zip

这是一个Eureka实践的源码,包含服务提供者、服务消费者和注册中心Eureka三个工程,三个都启动,可以体现Eureka的作用。

2020-04-29

dubbo-admin-2.5.10.war

这是dubbo-admin的2.5.10版本,是已经打包好的war包,可以直接放到服务器上解压使用。他是通过本地运行源码,然后在本地打包的war包,已经亲自测试使用过了,是可以的。

2020-04-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除