- 博客(262)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Spring Cloud灰度部署
在我们系统发布生产环境时，有时为了确保新的服务逻辑没有问题，会让一小部分特定的用户来使用新的版本（比如客户端的内测版本），而其余的用户使用旧的版本，那么这个在Spring Cloud中该如何来实现呢？
2023-06-21 08:33:22
793
原创 Spring Cloud Alibaba实现服务的无损下线功能
最近用到了`Spring Cloud Alibaba`开发微服务，在开发的过程中发现，当我们的`服务上线`或`下线`的时候，我们的`Spring Cloud Gateway`需要一段时间才能感知到，那么有没有办法能够让服务立即感知到呢？`答案是可以的`。
2023-03-13 12:32:11
1020
原创 SpringBoot扩展点EnvironmentPostProcessor
之前项目中用到了Apollo配置中心，对接Apollo配置中心后，配置中心的属性就可以在程序中使用了，那么这个是怎么实现的呢？配置中心的属性又是何时加载到程序中的呢？那么我们如果找到了这个是怎么实现的是否就可以 从任何地方加载配置属性、配置属性的加解密功能呢？
2022-04-25 13:19:20
1060
原创 Spring Cloud Gateway + Jwt + Oauth2 实现网关的鉴权操作
Spring Cloud Gateway + Jwt + Oauth2 实现网关的鉴权操作一、背景二、需求三、前置条件四、项目结构五、网关层代码的编写1、引入jar包2、自定义授权管理器3、token认证失败、或超时的处理4、用户没有权限的处理5、将token信息传递到下游服务器中6、网关层面的配置7、网关yaml配置文件六、演示七、代码路径一、背景随着我们的微服务越来越多，如果每个微服务都要自己去实现一套鉴权操作，那么这么操作比较冗余，因此我们可以把鉴权操作统一放到网关去做，如果微服务自己有额外的鉴权
2021-08-25 20:54:04
1918
6
原创 netty实现websocket发送文本和二进制数据
最近在学习netty相关的知识，看到netty可以实现 websoket，因此记录一下在netty中实现websocket的步骤，主要实现传递文本消息和传递二进制消息（此处只考虑是图片），如果是别的消息可以考虑使用自定义协议。需求： 1、使用 netty 实现 websocket 服务器 2、实现 文本信息 的传递 3、实现 二进制 信息的传递，默认...
2018-11-09 12:44:09
13346
16
原创 ForkJoinPool在生产环境中使用遇到的一个问题
在我们的项目中有这么一个场景，需要消费kafka中的消息，并生成对应的工单数据。早些时候程序运行的好好的，但是有一天，我们升级了容器的配置，结果导致部分消息无法消费。而消费者的代码是使用来实现的。ForkJoin???2核4G4核8G只有3个topic。
2024-03-24 16:00:16
805
原创 MapReduce实现TopN的效果
最近在学习Hadoop的MapReduce，此处记录一下如何实现 `TopN` 的效果，以及在MapReduce中如何实现 `自定义分组`。
2023-07-17 14:08:21
247
原创 MapReduce的基础知识
1. Hadoop MapReduce 是一个 `分布式计算框架`，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）2. MapReduce 是一种`面向海量数据`处理的一种指导思想，也是一种用于对大规模数据进行分布式计算的编程模型。
2023-07-03 12:30:03
228
原创 hdfs的透明加密记录
我们知道，在hdfs中，我们的数据是以block块存储在我们的磁盘上的，那么默认情况下，它是以密文存储的，还是以明文存储的呢？如果是明文存储的，那么是否就不安全呢？那么在hdfs中是如何做才能做到数据的透明加密呢？
2023-06-19 12:11:21
528
原创 hdfs中acl权限管理的简单实用
在我们开发的过程中有这么一种场景，/projectA目录是用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户root由上图可以，root用户想访问/projectA目录，在hdfs中可以通过acl来实现。
2023-06-05 12:28:56
1023
原创 hdfs开启回收站(废纸篓)
我们知道，在mac系统上删除文件，一般情况下是可以进入废纸篓里的，如果此时我们误删除了，还可以从 废纸篓中恢复过来。那么在hdfs中是否存在类似mac上的废纸篓这个功能呢？答案是存在的。
2023-05-25 20:03:38
433
原创 hdfs集群的扩容和缩容
当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。
2023-04-04 12:23:14
895
原创 hdfs disk balancer 磁盘均衡器
在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。**比如：** 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡呢？借助Hadoop提供的`Diskbalancer`命令行工具可以实现。
2023-03-31 12:26:48
308
原创 HDFS Balancer负载均衡器
当我们的hadoop集群运行了一段时间之后，各个`DataNode`上的`数据分布`并`不一定`是`均匀分布`的。**比如说：** 我们向现有集群中添加了一个新的DataNode。
2023-03-30 12:29:23
739
原创 HDFS Short-Circuit Local Reads
在`HDFS`中，读取操作通常是通过`DataNode`。因此，当客户端要读取文件时，DataNode 会从磁盘上读取文件，然后通过`TCP套接字`将数据发送给客户端。**如果我们的客户端和数据在同一台机器上的时候，** 那么是否可以绕过DataNode，允许客户端直接读取数据呢？通过`Short-Circuit Local Reads`可以实现这一功能。
2023-03-27 20:06:53
267
原创 java excel合并内容相同的单元格
最近在做导出的过程中，导出的excel，列值的内容有很多相同的部分，针对这部分需要进行单元格的合并。那么在java中是如何实现的呢？
2023-03-21 21:30:25
1550
原创 hdfs的异构存储
在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个`热`、`温`、`冷`等这些特性。那么针对`数据的热度`，我们可以采用不同的策略，存储到不同的存储介质上。
2023-03-21 07:45:00
294
原创 mac系统上hdfs java api的简单使用
在上一节中，我们简单学习了在命令行上如何操作hdfs shell api，此处我们通过java程序来操作一下。
2023-03-02 12:41:27
566
原创 hdfs file system shell的简单使用
此处我们通过命令行，简单的学习一下 `hdfs file system shell ` 的一些操作。
2023-03-01 12:33:10
509
原创 Centos7搭建hadoop3.3.4分布式集群
最近在学习`hadoop`，本文记录一下，怎样在Centos7系统上搭建一个`3`个节点的`hadoop`集群。
2023-02-21 12:41:06
2917
原创 Centos7系统编译Hadoop3.3.4
最近在学习`hadoop`，此篇文章简单记录一下通过源码来编译`hadoop`。为什么要重新编译`hadoop源码`，是因为为了匹配不同操作系统的本地库环境。
2023-02-20 12:33:57
719
原创 centos7给已有分区进行扩容
最近我在虚拟机上安装软件，发现磁盘空间不足，通过上网查找资料，发现可以通过如下方法进行磁盘扩容，此处进行记录一下。
2023-02-18 14:32:12
2678
原创 es中将sql转换成dsl
在es中，有些时候我们知道sql语句是怎么写的，但是如果我想通过dsl来实现，那么该如何处理呢？其中在es中提供了将sql转换成dsl的api，此处我们来简单使用下。
2023-02-13 12:54:32
1520
原创 elasticsearch使用painless的一些简单例子
此篇文档仅仅是简单的记录一下painless的一些简单的例子，防止以后忘记，不过多涉及painless的语法。
2023-02-09 12:27:16
599
原创 elasticsearch中使用bucket script进行聚合
此篇文档简单的记录一下在`es`使用`bucket script`来进行聚合的一个例子。
2023-02-07 12:35:04
686
原创 elasticsearch中使用runtime fields
在我们使用es的开发过程中可能会遇到这么一种情况，比如我们的线路名称字段lineName字段在设置mapping的时候使用的是text类型，但是后期发现需要使用这个字段来进行聚合操作，那么我们除了对索引进行reindex操作外，还有什么办法可以解决这个问题呢？此处我们通过runtime field来解决。
2023-02-02 07:30:00
593
原创 在elasticsearch中简单的使用script_fields
在我们使用es时，有些时候需要动态返回一些字段，而这些字段是通过动态计算得出的，那么此时该如何操作呢？ 比如：我们索引中有一个sex字段，保存的是1或0，而在页面上需要展示男或女，那么这个时候就可以使用script_fields来解决。可能有些人说，我通过后台进行格式化一下不就行了吗，但是假设我们需要在kibana等可视化工具上展示呢？
2023-01-31 13:11:58
2378
原创 如何在es中查询null值
在我们向es中写入数据时，有些时候数据写入到es中的是null，或者没有写入这个字段，那么这个时候在es中该如何查询出这种为null的数据呢？
2023-01-29 21:15:02
8072
7
原创 elasticsearch实现简单的脚本排序(script sort)
我有一堆学生数据，其中`湖北省`的学生需要排在所有数据的最前面。`其余省`正序排序，对于`同一个省`的数据，按照`年龄`倒序排序。
2023-01-13 07:45:00
3194
原创 elasticsearch之metric聚合
此篇文章简单的记录一下 `elasticsearch`的`metric`聚合操作。比如求 平均值、最大值、最小值、求和、总计、去重总计等。
2022-12-27 12:22:58
847
原创 elasticsearch global 、 filters 和 cardinality 聚合
此处将单记录一下 `global` 、 `filters`和`cardinality`的聚合操作。
2022-12-10 11:36:32
803
2
原创 elasticsearch 聚合之 date_histogram 聚合
此处来简单学习一下 `elasticsearch` 的 `date_histogram`直方图聚合。它和普通的直方图`histogram`聚合差不多，但是`date_histogram`只可于 `日期或日期范围` 类型的值一起使用。
2022-12-01 07:45:00
2947
原创 elasticsearch 之 histogram 直方图聚合
`直方图聚合`是一种基于多桶值聚合，可从文档中提取的`数值`或`数值范围值`来进行聚合。它可以对参与聚合的值来动态的生成固定大小的桶。
2022-11-25 13:27:22
1757
原创 elasticsearch bucket 之rare terms聚合
我们知道当我们使用 `terms`聚合时，当修改默认顺序为`_count asc`时，统计的结果是不准备的，而且官方也不推荐我们这样做，而是推荐使用`rare terms`聚合。`rare terms`是一个`稀少`的term聚合，可以一定程度的解决升序问题。
2022-11-23 07:45:00
288
原创 elasticsearch多字段聚合实现方式
我们知道在`sql`中是可以实现 `group by 字段a,字段b`，那么这种效果在`elasticsearch`中该如何实现呢？此处我们记录在`elasticsearch`中的3种方式来实现这个效果。
2022-11-15 08:00:00
7738
4
原创 elasticsearch聚合之bucket terms聚合
此处简单记录一下`bucket`聚合下的`terms`聚合。记录一下`terms`聚合的各种用法，以及各种注意事项，防止以后忘记。
2022-11-14 07:45:00
592
原创 记录在linux上单机elasticsearch8和kibana8
此处简单记录一下，`elasticsearch8`和`kibana8`在`Centos7`下的单机安装步骤。
2022-10-31 07:30:00
1138
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人