- 博客(163)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Flink大数据流处理-第二篇（流式数据处理初体验）
通过一个简单的 Flink 程序来介绍如何构建及运行Flink 程序。以上就是Flink的入门程序，下一篇，我们将重点学习Flink的概念。
2023-05-22 20:59:33
642
1
原创 Kafka消息队列大数据实战教程-第六篇（Kafka客户端Consumer API）
consumer采用【poll模式】从broker中主动拉取数据，【poll模式】的不足之处，如果kafka没有数据，消费者可能会陷入循环当中，一直返回空数据。至此，本篇就结束了，常用的消费者时间的配置是重点，以及异步提交offset是企业主要使用的消费模式，下一篇消费者拦截器。
2023-05-17 23:41:21
649
3
原创 K8S应用实战-第三篇（仪表盘Dashboard）
k8s的集群搭建已经完成，那么页面怎么管理呢？本文详细介绍k8s-dashboard页面管理。注意：完结撒花，注意页面访问是Https请求，需要证书认证，我们可以使用【火狐浏览器】，直接跳过Https签名认证。
2023-05-14 10:57:57
867
原创 Flink大数据流处理-第一篇（Local模式部署）
Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式。下一篇：Flink的Standalone模式安装部署。
2023-05-11 21:53:57
690
原创 K8S应用实战-第二篇（Spring Boot项目部署）
K8S部署应用，比如微服务，都是目前最流行的解决方案，本篇就先来学习如何部署一个单体的Spring Boot项目，下一篇：概念部分帮助你了解 Kubernetes 系统的各个部分以及 Kubernetes 用来表示集群的抽象概念， 并帮助你更深入地理解 Kubernetes 是如何工作的。
2023-05-05 22:03:27
633
1
原创 K8S应用实战-第一篇（集群部署）
K8S最全安装教程，简单方便，三台服务器组成的集群环境，后续通过该环境做应用部署等。K8S的集群安装比较繁琐，注意错误信息的追踪，一步步解决错误点即可，下一篇如何部署S。
2023-05-05 21:51:12
528
原创 Kafka消息队列大数据实战教程-第五篇（Broker工作原理以及节点服役）
Kafka与zookeeper之间的关联，以及broker的工作原理，正式环境中新节点的服役退役，数据的存储结构是我们必须要掌握的重点。
2022-12-12 16:11:31
557
原创 Kafka消息队列大数据实战教程-第四篇（Kafka客户端Producer API）
1.2 构建Producer1.3 消息acks应答机制消息的可靠性是很重要的，所以Kafka在生产者端acks的参数配置能够对可靠性产生很大的影响。1、acks=0，生产者在成功写入消息之前不会等待任何来自服务器的响应。2、acks=1，只要集群的Leader节点收到消息，生产者就会收到一个来自服务器成功响应。3、acks=-1，只有当所有参与复制的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应。问题： Leader收到数据之后，所有Follower开始同步数据，假设一个Follow
2022-12-07 11:36:01
738
1
原创 Kafka消息队列大数据实战教程-第三篇（Kafka分区和副本的创建）
本篇我们就来了解一下怎么合理的配置分区和副本，是我们使用Kafka的关键。具体实现思路：自定义分区器实现Partitioner接口，重写partition()方法，将分区器配置到生产者配置信息中即可，代码如下。四、生产者如何提高吞吐量4.1 设置缓冲区大小4.2 设置批次大小4.3 设置延迟时间4.4 设置压缩类型算法五、为什么要使用副本呢？为了保证数据的高可靠性，常常需要将主节点数据进行备份存储，即保存一份与主节点相同的数据集，一旦主节点发生宕机等故障，通过副本还能进行数据的恢
2022-12-04 18:17:38
596
原创 Kafka消息队列大数据实战教程-第二篇（Kafka集群搭建）
本节我们将准备三台机器虚拟机，搭建Kafka集群，Kafka 使用 Zookeeper 来维护集群成员的信息，所以我在搭建Kafka之前，要先搭建好zookeeper集群。至此，整个kafka集群搭建完毕，下一篇我们将要说如何创建主题和分区以及副本，这也是很重要的章节。
2022-09-07 12:35:33
684
原创 Kafka消息队列大数据实战教程-第一篇（Kafka基础入门）
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。
2022-09-07 09:31:05
649
原创 最新SpringCloud微服务中后台管理系统，快极速体验
文章目录前言一、DT MICRO二、使用步骤1.引入库2.读入数据总结前言好久没有更新博客了，主要是最近工作时间原因，再加上没有什么动力输出，在这个大千互联网世界中，还需要继续努力，有时候你做一些东西，别人就会喷，这样那样的，其实任何人不管你在什么位置，你都要学习，都要努力，别人认为的不一定是好，也不一定是坏，所以只要还有人看我文章，我就会继续写文章，业余时间还是会做各种业务需求场景的开源系统,和大家共勉，后面也会陆续更新博文，Kafka系列文章，ES系列文章后面都会统一发布出来，共同分享，至于我的东西
2022-05-29 17:21:46
1242
2
原创 最新一款SpringBoot vue 打造的CMS管理系统开源了，极速体验
文章目录前言一、系统目标二、系统界面1.登录页面2.系统首页3.系统模块总结前言DT CMS 是一款SpringBoot2.x与Vue整合前后端分离内容管理系统，项目源码完全由个人精心编写，致力于做更简洁高性能RBAC内容服务系统，追求 快速的用户体验 、 二次编码 ，以及 核心技术模块的整合 使用。后端新技术框架的加持、前端UI的设计与美化，会持续升级，持续完善。开源地址： https://gitee.com/summerydf/dtcmsservice 欢迎点赞，评论，记得一定要start！！
2021-11-06 13:36:41
4553
原创 三分钟撸完前后端crypto-js加解密，你学废了吗？
文章目录前言一、AES概念1.密钥KEY二、前端加密1.安装依赖库2.实现AES加密算法总结前言扣扣扣扣一、AES概念1.密钥KEY用来加密明文的密码，在对称加密算法中，加密与解密的密钥是相同的。密钥为接收方与发送方协商产生，但不可以直接在网络上传输，否则会导致密钥泄漏，通常是通过非对称加密算法加密密钥，然后再通过网络传输给对方，或者直接面对面商量密钥。密钥是绝对不可以泄漏的，否则会被攻击者还原密文，窃取机密数据。二、前端加密企业项目一般都对安全系数有要求，这里我们前后端统一采用AE
2021-09-04 14:36:36
1836
原创 Docker基础操作，原来这才是正确打开Docker的新方式！
文章目录前言一、Docker操作镜像1、拉取镜像2、查看镜像3、删除镜像4、保存镜像5、读取镜像5、镜像帮助命令二、Docker容器基础操作1、创建并运行容器2、查看容器运行状态3、查看容器启动日志4、停止容器5、启动容器6、暂停容器7、恢复容器8、进入容器9、删除容器三、Docker容器数据卷操作1.数据卷基础命令1.1 创建数据卷1.2 查看数据卷1.3 删除数据卷2.数据卷挂载四、Dockerfile自定义镜像1、编写Dockerfile文件2、构建镜像3、运行镜像4、访问测试总结前言一、Do
2021-08-18 19:04:20
3707
10
原创 最新版Spring Cloud Alibaba微服务架构-Config配置中心篇
文章目录前言一、Config引入背景1、文件相对分散2、无法区分环境3、无法实时更新4、安全无法保证二、Config引入配置1、新建配置文件2、导入pom依赖3、添加配置文件2.读入数据总结前言在一个微服务架构下，配置文件会随着微服务的增多，而变的越来越多，而且分散在各个微服务中，不好统一配置和管理，为了适应微服务的各个服务配置，我们引入了统一的Nacos配置管理中心来帮我们更加方便、安全的来管理我们的配置文件。一、Config引入背景1、文件相对分散在一个微服务架构下，配置文件随着微服务的增多
2021-08-14 14:49:16
1421
原创 最新版Spring Cloud Alibaba微服务架构-Openfeign服务调用篇
全网最新Openfeign企业实战教程，Spring Cloud OpenFeign是Feign的**升级版**，目前Github上面已经更新到11.6版本了，Feign是Netflix开发的声明式、模板化的HTTP客户端， Feign可以帮助我们更快捷、优雅地调用HTTP API。
2021-08-11 21:55:48
1914
2
原创 最新版Spring Cloud Alibaba微服务架构-Ribbon负载均衡篇
一文直接干翻Ribbon，Raibbon是基于Netflix Ribbon实现的一套客户端负载均衡工具。Raibbon客户端提供了一系列的配置，如超时、重试、负载均衡等，对Spring Cloud Ribbon的理解和使用，对于我们使用Spring Cloud来构建微服务非常重要，比如微服务之间的调用，API网关的转发请求等，实际上都是通过Ribbon来完成的。
2021-08-08 12:51:34
1827
2
原创 全网最细Linux之Centos8安装MySQL8.0以上版本，您值得收藏！
文章目录前言一、安装步骤1、检查系统是否安装MySQL2、检查操作系统版本3、下载并安装 MySQL 官方的 Yum Repository4、进行repo的安装5、安装MySQL Server6、启动MySQL7、进入MySQL终端8、设置远程连接1、开启防火墙2、开放3306端口2、远程连接授权总结前言小编博客发布了很多版本MySQL的方式，之所以又发布了一篇关于MySQL的文章，是因为之前小编都用的Docker安装，问什么不用Docker安装呢？因为之前小编使用Docker安装的MySQL，有
2021-07-24 23:34:08
1229
1
原创 全网最细Docker安装Minio，填满最新版大坑（强烈推荐收藏）
文章目录前言一、pandas是什么？二、安装步骤1.查询minio服务版本2.拉取minio3.启动总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、安装步骤1.查询minio服务版本docker searc
2021-07-24 12:08:51
6298
26
原创 最全Spring Boot2.x系列Config配置集成篇-1参数配置
文章目录前言一、两种配置文件1、加载顺序上的区别2、应用场景二、不同环境配置文件三、读取配置文件信息1、@Value注解读取文件2、Environment读取文件3、@ConfigurationProperties读取配置文件总结前言使用过Spring Boot的小伙伴都知道，他的配置参数必不可少，比如MySql的连接，端口号的配置等等，都需要Spring Boot的config参数配置，下面我们就来认识一下，我们工作开发中，常用的一些配置，以及获取配置参数的方式。一、两种配置文件首先我们知道Sp
2021-07-14 23:14:19
1069
7
原创 最细致的Spring Boot结合Vue前后端分离项目打包部署步骤（搭配Nginx）
文章目录前言一、环境准备二、SpringBoot项目打jar包1.1 使用Maven的package插件打包1.2 上传至Linux服务器三、Vue项目打包1.1 修改后台请求地址1.2 生成dist文件1.3 上传至linux服务器三、配置Nginx四、启动项目1.1 启动Nginx服务器1.2 启动SpringBoot1.3 访问项目总结前言Java企业开发少不了Spring Boot 加 Vue，在如今大街小巷都遍布的前后端分离项目标配，已经成为公司开发必不可少的技术，最近小编开源了一个关于RB
2021-07-05 21:51:13
3028
17
原创 DT CMS致力于Spring Boot2.3.5 Vue前后端分离的RBAC权限框架（盛世美颜！）
文章目录前言一、核心技术二、系统架构1.模块设计1、后端模块2、前端模块2.安全设计3.接口设计三、页面演示1、登录首页2、首页展示3、用户列表1、用户添加2、角色分配4、角色列表1、权限分配5、菜单列表1、新增菜单2、添加节点3、添加图标6、机构列表四、Swagger测试文档五、DRUID数据监控总结前言DT CMS 是一款精心打造的权限(RBAC)及内容管理系统，致力于做更简洁的后台管理框架，权限级别细致到按钮权限，今后会整合到SpringCloud微服务中，并且加入单点登录等等内容。一、核心
2021-06-29 23:18:39
762
9
原创 全网最新Spring Boot2.5.1整合Activiti5.22.0企业实战教程＜监听器篇＞
文章目录前言一、Event的选项包含二、使用步骤1.引入库2.读入数据总结前言可以使用监听器来完成很多Activiti流程的业务一、Event的选项包含Create：任务创建后触发Assignment：任务分配后触发Delete：任务完成后触发All：所有事件发生都触发二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn
2021-06-27 23:21:37
431
1
原创 全网最新Spring Boot2.5.1整合Activiti5.22.0企业实战教程＜流程挂起与激活篇＞
文章目录前言一、单个流程实例挂起1.1 部署流程1.2 启动流程1.3 挂起流程（suspendProcessInstanceById）1.4 执行任务1.5 激活流程（activateProcessInstanceById）二、全部流程实例挂起1.1 激活1.2 挂起1.3 代码总结前言某些情况可能由于流程变更需要将当前运行的流程暂停而不是直接删除，流程暂停后将不会继续执行。默认当我们部署了一个流程，是激活状态：（SUSPENSION_STATE_ = 1）流程定义数据表( act_re_pro
2021-06-27 16:22:30
282
1
原创 全网最新Spring Boot2.5.1整合Activiti5.22.0企业实战教程＜指定任务委派人篇＞
文章目录前言一、流程设计二、部署流程二、启动流程实例二、我的待办任务三、指定委派人四、执行任务总结前言任务委派人：任务负责人。简单的来说就是，我们可以指定多个备胎，帮我去完成流程审批，比如出差申请，需要总经理申批，但是总经理只要一个人，如果他那天有事情，没办法去审批，那天的流程就作废了，会一直在激活状态，没人去处理，如果我们的总经理有好几个委派人，那么张三有事，李四可以去处理，李四有事，王五可以去处理，或者当他们三个人都有事的时候，可以随意指定一个公司的委派人来处理这个申请审批。一、流程设计
2021-06-27 11:54:19
303
原创 全网最新Spring Boot2.5.1整合Activiti5.22.0企业实战教程＜网关篇＞
文章目录前言一、网关概念二、网关类型1.排它网关（独占网关）1.部署流程1.1 经理审批（李四）1.2 董事长审批（王五）1.3 部署流程代码2.启动流程3.执行任务2.并行网关1.执行任务3.包含网关（包容性网关）1.部署流程2.启动流程3.执行任务4.事件网关总结前言上一篇我们说了流程的UEL表达式，这篇我们来学习网关，网关能够干什么呢？它能够控制整个流程的执行顺序，具体什么意思，比如：张三发起了请假申请，公司有规定，>=5天的，需要公司董事长审批，否则只需要部门经理审批即可，整个请假申请流
2021-06-26 19:52:04
306
1
原创 全网最新Spring Boot2.5.1整合Activiti5.22.0企业实战教程＜UEL表达式篇＞
文章目录前言一、表达式分配负责人1、UEL 表达式1.部署流程2.启动流程3.我的待办4.执行任务2、UEL-method 方式1.创建SpringBean2.部署流程3.启动流程4.执行任务3、UEL-method 与 UEL-value 结合1.创建Service2.创建Spring Bean3.部署流程4.启动流程5.待办任务5.执行任务4、其它方式总结前言在上面的文章中，我们实现了简单的请假申请流程，我是基于固定分配方式，任务只管一步一步执行任务，执行到每一个任务将按照 bpmn 的配置去分配
2021-06-25 23:02:56
459
原创 全网最新Spring Boot2.5.1整合Activiti5.22.0企业实战教程＜基础篇＞
文章目录前言一、新建流程图1、新建processes文件夹2、绘制流程图3、完整的xml文件二 Service总览三、部署流程四、查询流程定义五、启动流程实例六、节点审批七、审批结束总结前言创建Activiti工作流主要包含以下几步：1、定义流程，按照BPMN的规范，使用流程定义工具，用流程符号把整个流程描述出来2、部署流程，把画好的流程定义文件，加载到数据库中，生成表的数据3、启动流程，使用java代码来操作数据库表中的内容一、新建流程图上一篇我们搭建了基础框架，这一篇我们就来实际操作：
2021-06-24 23:10:00
365
2
原创 全网最新Spring Boot2.5.1整合Activiti5.22.0企业实战教程＜入门篇＞
文章目录前言一、开发准备1、安装STS2、安装actiBPM插件二、开发步骤1、引入pom.xml依赖2、配置application.yml3、启动主程序4、启动报错1.1 启动类配置排除Security1.2 pom.xml依赖排除Security1.3application.yml设置MySQL连接参数三、认识25张表总结前言工作流在我们日常的工作中用得可谓相当普及，尤其在企业内部管理系统，如考勤、财务、合同等系统中更是离不开它。后面几篇文章我们就来了解并且学会如何在企业开发中使用，网上很多教程
2021-06-23 21:03:07
449
2
原创 最详细的MyBatis批量添加、更新、删除实战篇（日常开发）
MyBatis批量操作前言一、批量添加1.Mapper.xml2.Controller层3.Json集合数据二、批量更新1.Mapper.xml2.Controller层3.Json集合数据三、批量删除1.Mapper.xml2.Controller层3.Json集合数据四、批量查询1.Mapper.xml2.Controller层3.Json集合数据总结前言工作中，经常会遇到很多批量操作的需求：批量添加、批量更新、批量删除、批量导入、批量审核等等，下面这篇文章我们将一一复现。一、批量添加1.M
2021-06-15 22:57:01
19114
5
原创 大数据量数据，MySql批量插入时，如何不插入重复的数据？
文章目录前言一、insert ignore into二、on duplicate key update三、replace into总结前言Mysql插入不重复的数据，当大数据量的数据需要插入值时，要判断插入是否重复，然后再插入，那么如何提高效率？解决的办法有很多种，不同的场景解决方案也不一样，数据量很小的情况下，怎么搞都行，但是数据量很大的时候，这就不是一个简单的问题了。一、insert ignore into会忽略数据库中已经存在 的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就
2021-06-14 21:36:17
19618
13
原创 Mybatis-Plus批量插入数据太慢，使用rewriteBatchedStatements属性优化，堪称速度与激情！
rewriteBatchedStatements神秘属性前言一、rewriteBatchedStatements参数二、批量添加员工信息1.普通saveBatch批量插入2.设置rewriteBatchedStatements=true批量插入总结前言最近小编手上一堆项目，实在特别忙，每天一堆批量操作，更新、导入、新增、删除，公司使用的Mybatis-Plus操作SQL，用过Mybatis-Plus的小伙伴一定知道他有很多API提供给我们使用，真爽，再不用写那么多繁琐的SQL语句，saveBatch是
2021-06-14 11:41:38
7998
8
原创 一文吃透Json解析工具类合集（FastJson、Jackson、Gson）
Json解析工具类前言一、各个JSON技术的简介1.1 FastJson角色1.2 Jackson角色1.3 Gson角色二、使用步骤2.1 引入库1、FastJson依赖2、Jackson依赖3、Gson依赖2.2 将JSON 字符串转换为Java 对象1、FastJson版本2、Jackson版本3、Gson版本2.3 将Java对象转换为JSON 字符串1、FastJson版本2、Jackson版本3、Gson版本2.4 将JSON 字符串数组转为JSON数组1、FastJson版本2、Jackson
2021-06-13 19:42:31
2856
1
原创 SpringBoot集成logback彩色日志配置以及banner启动设置（炫酷到爆炸！）
文章目录前言一、banner配置1.1 banner图像在线生成工具1.2 banner配置颜色1.3 banner启动状态控制二、logback彩色日志配置2.1 引入依赖2.2 logback-spring.xml配置2.3 logback-spring.xml官方彩色配置总结前言最近小编实在无聊，每天看着IDEA的控制台打印，丑到爆，实在不爽，影响我粘贴复制的速度，于是来一波炫酷的操作，其实就是单纯的为了好玩，炫酷！！！！！！真的是这样吗？不，那是必须要掌握的知识，学SpringBoot 这都不
2021-06-04 22:16:46
5301
1
原创 精细篇Java8强大的stream API接口大全（代码优雅之道）
系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、Stream特点二、Stream实例化方式2.1 通过集合2.2 通过数组2.3 通过Stream的of方法2.4 通过无限流三、Stream的API方法3.1 filter3.2 limit3.3 skip3.4 distinct3.5 map3.6总结前言Ja
2021-06-01 21:14:02
2090
3
原创 必看企业级Redis锁资产巡检扫描业务场景实现（加锁限制扫描次数）
Redis实现资产巡检扫描前言一、需求一：限制扫描次数1.1 业务分析1.2 代码实现二、需求二：限制同一个位置同一时间只能有一个人扫描1.1 业务分析1.2 伪代码实现1.3 具体代码实现1.4 调用API总结前言最近小编在公司遇到这么一个需求，现在分享出来给大家一起讨论，用户需求：对设备资产巡检扫描做一个次数限制，就比如我们保安巡逻，每天固定巡逻几次，不能超出限制，还有很多列子，比如一个API接口限制请求次数，大概业务逻辑就是这样。一、需求一：限制扫描次数首先Redis的环境准备，这里小编不
2021-05-27 22:54:24
346
原创 两行配置解决github官网访问速度慢的问题（速度贼快！）
文章目录前言一、配置步骤1.1 CMD查看网络连通情况1.2 获取Github相关网站的ip二、配置本机host地址三、Github官网总结前言小伙伴们会不会因为github官网速度慢而烦恼呢，想上班去摸鱼都不方便，下面小编带你快速解决github访问速度慢的问题。一、配置步骤1.1 CMD查看网络连通情况首先打开电脑的CMD命令窗口，输入以下命令：请求超时了，再去访问github贼慢，简直受不了。1.2 获取Github相关网站的ip这里小编提供1个网站可以获取相关的IP：htt
2021-05-26 20:14:52
1501
2
原创 Vscode插件Vue VSCode Snippets生成Vue模板代码使用大全
Vue VSCode Snippets插件前言一、Vue VSCode Snippets插件安装二、使用步骤1.生成vue基本模板代码2.自定义模板3.常用快捷键总结前言最近使用了Vscode编辑器写Vue前端代码，发现很坑，很多东西都不会提示，而且超级难找，所以这里记录一下小编的初使用过程中遇到的坑。一、Vue VSCode Snippets插件安装这里小编第一次安装完成之后，发现他的一些命令根本不生效，我重启了Vscode还是没啥反应，解决方式：查看底部的状态栏当前的语法格式：如果是
2021-05-23 15:17:45
17022
3
原创 Spring Boot集成ShedLock分布式定时任务实例
ShedLock使用大全系列前言一、ShedLock是什么？二、落地实现1.1 引入依赖包1.2 配置数据库连接信息1.3 创建Mysql数据表1.4 配置LockProvider1.5 创建定时Job1.6 主启动类1.7 执行成功分析1.7 修改表名总结前言ShedLock确保您计划的任务最多同时执行一次。如果一个任务正在一个节点上执行，则它会获得一个锁，该锁将阻止从另一个节点（或线程）执行同一任务。请注意，如果一个任务已经在一个节点上执行，则在其他节点上的执行不会等待，只是将其跳过。Shed
2021-05-22 11:11:26
1004
空空如也
mysql 缴费分期表怎么设计？
2021-06-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人