u012954380的博客

原创 FlinkCDC数据实时同步Mysql到ES

flincdc 同步mysql 至ES

原创 kinbana discover 定时自动刷新

原创 flink 修改total task slot

【代码】flink 修改total task slot。

原创 阿里巴巴矢量图标库使用在线字体图标

阿里巴巴矢量图标库使用在线字体图标

原创 helm 常用命令

helm 常用命令

原创 helm upgrade 部署失败 MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

Error: UPGRADE FAILED: cannot patch "mh-crm-admin-v1" with kind Deployment: Deployment.apps "mh-crm-admin-v1" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"mh-crm-admin", "bm-org":"bluemoon", "elk":"true",

原创 k8s 常用命令

k8s 常用命令

原创 WIN10使用内置Check Point Capsule

如果使用check point软件去连接公司内网，会出现每隔一段时间软件自动弹出窗口，需要重新输入密码，每天如此反复出现。为此烦恼且使用WIN10系统的同事可以根据此教程彻底解决该问题。 4.点击安装后会跳转到win10内置的应用商店中，如果发现应用商店无法正常加载，请把蓝灯等工具关闭后再重试。5.安装完毕后，点击win10右下角wifi图标，随后点击6.点击添加7.选择check point capsule 连接名称随意，服务器名称或地址填入公司，如14.119.109.195，随后提交8.保存后，确保没

原创 springboot 整合 shardingsphere 实现数据加密

❝大家好呀，我是小羊，如果大家喜欢我的文章的话，就关注我一起学习进步吧~❞最近 公司在做安全这块，准备把数据库中的敏感字段进行加密处理，防止数据被滥用。大家讨论了一下，最终确定使用shadingsphere 进行加密解密。这里和大家分享一下。Apache ShardingSphere(Incubator) 是一套开源的分布式数据库中间件解决方案组成的生态圈。说到 ShardingSphere 的起源，我们不得不提 Sharding-JDBC 框架，该框架是一款起源于当当网内部的应用框架，并于

原创 mysql explain 无效

最近分析一段sql 是不是命中索引的，发现有的时候 explain 是可以的，有的时候 又不行显然我们是要下面的结果。经过分析，原来是中间件的原因，直连mysql 的可以用 explain 连mycat 就不行。解决办法可以使用 desc ,也能达到同样效果...

原创 win10 禁止自动更新最简单有效的办法

win10 的自动更新真的很烦，经常后台占用资源不说，还自动重启，强制更新，我的笔记本是华为荣耀，有一个win10 版本一直更新失败，然后win10 又自动更新，这就陷入死循环了，很影响体验，找了很多办法，什么禁止服务，修改注册表等等，都没有效果。后面发现联想有一个小工具 Lenovo Quick Fix 挺好用的，装好了现在一直没有自动更新过。官方链接Lenovo Quick Fix...

原创 elk match_phrase range 联合查询语句

GET /logstash_mh_oms_admin_log_2021.08.31/_doc/{ "query": { "message":"推送订单入参" }}GET /_cat/indices?vGET /logstash_mh_oms_admin_log_2021.08.31/_doc/_searchGET /logstash_mh_oms_admin_log_*/_search{"query": { "match": { "content"...

原创 mvn 命令自定义 setting 配置文件

mvn -s "D:\program\maven-3.6.3\maven3\conf\settings.xml" clean install

原创 arthas 入门

java -jar arthas-boot.jar[appadm@moonmall_F1 ~]$ java -jar arthas-boot.jar [INFO] arthas-boot version: 3.5.0[INFO] Found existing java process, please choose one and input the serial number of the process, eg : 1. Then hit ENTER.* [1]: 118918 embedde

原创 dubbo 禁用 qos 解决 qos-server can not bind localhost:22222 问题

线上如果有多个dubbo 应用服务同时启动，就会报 2222 端口被占用，这个是dubbo qos2021-08-20 14:10:46.817 ERROR 62345 --- [ main] com.alibaba.dubbo.qos.server.Server : [DUBBO] qos-server can not bind localhost:22222, dubbo version: 2.6.6, current host: 192.168.240.3..

原创 一些可以提高工作效率的bat 脚本

1.批量启动程序，程序员打开的软件很多，所以我写了一个批量启动的脚本，一般我是刚开机的时候启动的，打开脚本的时候泡一杯茶，茶泡好了，程序也启动完成了start "" "D:\Program Files\JetBrains\IntelliJ IDEA 2020.1\bin\idea64.exe"start "" "D:\Program Files\PremiumSoft\Navicat Premium 15\navicat.exe"start "" "D:\Program Files\WXWork\

原创 从一个小问题来分析jvm 垃圾回收器

最近在看jvm gc 相关的内容，想看一下jdk1.8 默认的垃圾回收器，然后输入命令来查看java -XX:+PrintCommandLineFlags -XX:+PrintGCDetails -version可以发现 jdk 1.8 默认的 垃圾收集器 是ParallelGC 在新生代使用的是PSYoungGen，也就是Parallel Scavenge， 老年代是使用的ParOldGen，这是一款以吞吐量为目标的垃圾收集器。然后我在换另外一台机器使用同样的命令，...

原创 kafka 学习笔记（四）kafkaProduct源码分析，一条消息是怎么被发送出去的？

1.先简单写一个java kafka demo，然后通过分析源码，看看消息是如何发送出去了,由于涉及到的内容比较多，先说几个比较关键的步骤，然后再对每个步骤进行分析kafka_demo1.调用org.apache.kafka.clients.producer.KafkaProducer.send(ProducerRecord<K, V> record)方法发送消息，2,。经过一些方法跳转，到达了org.apache.kafka.clients.producer.Kafka..

原创 kafka 学习笔记（三）springboot 集成 kafka

springboot 是我们java 开发常用的框架，这篇博客就总结一下springboot 集成kafka ,以及kafka 的一些常用配置。

原创 kafka 学习笔记（二）搭建 kafka window 环境

目录一 jdk 环境搭建一 jdk 环境搭建jdk环境搭建二 zookeeper 环境搭建1.首先下载zookeeper，官方下载地址：zookeeper 官网下载完成后，将其解压。2.打开解压得到的文件夹，找到conf文件夹打开，将zoo_sample.cfg重命名成zoo.cfg。3.配置环境变量，变量名：ZOOKEEPER_HOME ，变量值：zookeeper的目录地址（如：D:\zookeeper\zookeeper-3.4.13）并在Path后添加 ...

原创 kafka 学习笔记（一）kafka 简介

一、简介Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。 高吞吐率。即使在非常廉价的商用机器

转载 IDEA Services窗口启动应用后不显示端口号

DEA Services窗口启动应用后不显示端口号解决不显示端口号的问题启动应用后, 在应用名称的后边会显示当前应用的端口号, 点击后会自动打开浏览器并填充主页地址正常显示如下解决不显示端口号问题打开文件管理器 打开路径C:\Users\l用户名\AppData\Local\Temp(用户名请替换你电脑的用户名) AppData文件夹默认是看不见的, Windwos资源管理器默认是隐藏了受保护的操作系统文件 如果想显示这个文件夹: 打开资源管理器选择 查看->选项.

原创 centos7 通过 rancher 安装 k8s

目录1.环境准备2.安装rancher3.添加集群4.等待安装5.部署测试rancher 是一套 管理k8s集群得解决方案，是完全基于docker 来的，创建k8s 集群基本上只要点点点就可以了，非常简单方便。1.环境准备准备两台centos7 虚拟机，关闭防火墙，关闭selinux,并安装最新版本的docker环境，一个用于安装rancher，一个用于安装k8s,需要注意的一点是，centos7 自带的yum 源docker 比较旧，所以需要更新一下关闭防火墙和s.

原创 jenkins 结合 rancher 部署 k8s 服务

公司测试环境使用了 rancher 来管理 k8s 集群，项目管理使用的是 rancher 的流水线，提交代码到gitlab上面会自动触发构建，但是使用了一段时间后发现还是有很多问题，1.性能不好，失败率很高2.自定义构建步骤很麻烦3.速度很慢感觉rancher 流水线不够灵活，所以在尝试结合jenkins 来部署 rancher 上面的服务。感觉比rancher 流水线要好不少。这里简单介绍一下.为了方便，rancher jenkins 是在虚拟机中创建的，代码仓库用的是github,

原创 docker 常用命令

查看镜像列表docker images查看容器列表docker ps查看未启动的容器列表docker ps -a拉取远程仓库镜像docker pull yangzheng123/mytest:0.0.1启动容器docker start fecaf9bdd941关闭容器docker stop fecaf9bdd941进入容器内使用命令 ls optdocker exec -it fecaf9bdd941 ls opt实时查看容器日志.

原创 开发、测试环境 dubbo springcloud服务调用冲突、 kafka 消息消费冲突的解决方案

一.开发、测试环境 dubbo eureka kafka 兼容方案1.dubbo && eureka我们在开发环境中进行开发的时候经常会调用公司本地的服务，测试环境的注册中心服务是最完整的，所以推荐直接使用测试环境的注册中心。但是这样会导致我们本地电脑上面的服务注册到注册中心，测试环境就有可能调用到我们本地的服务，所以会有冲突，解决方案是关闭开发环境服务注册到注册中心。修改apollo配置apollo 依赖 # 禁止向注册中心注册服务 eurek..

原创 mysql 查询重复

根据单个字段查询重复select shop_order_id,count(shop_order_id) from ec_oms_order group by shop_order_id having count(shop_order_id) > 1根据多个字段查询重复select shop_order_id,shop_code,count(1) from ec_oms_order group by shop_order_id,shop_code having count(1) >

原创 jmeter 压测 kafka

jemter 使用了第三方的依赖包来实现kafka 消息发送第三方包为kafkameter， 需要使用maven 命令打包，官方有说明kafkameter-0.2.0.jar官方地址 jemter 版本apache-jmeter-5.2官方地址将kafkameter-0.2.0.jar 放入到 apache-jmeter-5.2\lib\ext 目录jemter 添加 java请求点击启动就可以发送消息了...

原创 jmeter 压测 dubbo 接口

jemter 调用 dubbo 网上有很多方法，我这里使用了第三方的依赖包来实现接口调用，不需要集成额外的api，配置好注册中心地址即可。使用的是jmeter-plugins-dubbo-2.7.7-jar-with-dependencies.jar 官方地址jemter 版本apache-jmeter-5.2官方地址将jmeter-plugins-dubbo-2.7.7-jar-with-dependencies.jar 放入到 apache-jmeter-5.2\lib\...

原创 dubbo 调整线程池配置

,项目是springbot 依赖中用的是<dependency> <groupId>com.alibaba.boot</groupId> <artifactId>dubbo-spring-boot-starter</artifactId> <version>0.2.0</version></dependency>网上找到的很多配置都没有用，研究了一下dubbo 默认线程池.

原创 check point 关闭开机自启动

公司用 check point vpn 管理内网，电脑安装之后每次都开机自启，有点烦，所以就把开机自启动给禁用了，使用脚本的方式启动服务和程序，这样就不用忍受开机弹窗了。1.windows 服务禁用 这两个服务2.禁用 check point 开机自启(我这里用360，其他办法能禁止开机自启动也可以)这样checkout 开机就不会启动了，但是双击check point 程序启动 是不能用的，因为服务还没有启动，所以需要用bat脚本来实现服务和程序同时启动3. 新建bat脚本.

原创 el-table 控制行勾选

有的时候需要根据后端数据来控制表格的勾选状态，可以用以下方式实现<el-table max-height='320' border :data="orderProductList" row-key="workOrderCode" ref="orderRefundProductTable" show-summary :summary-method="totalRule"> <el-table-column type="se

原创 微服务调用失败的一种解决方案

一.简介今天微服务和远程调用已经使用的很广泛了，可以解决我们很多的问题，不过由于远程调用不可控因素更多，失败的可能性更大，但是一些接口可能需要很高的要求，需要每一次调用都需要成功。比如订单流转。调用失败订单就丢失了，影响很大。我这里介绍一种简单的解决办法，采用消息队列解构接口调用，定时器重新发送，mysql持久化。配合人工处理可以较好的解决这个问题。二.流程...

原创 json对象和java对象互相转换

网上搜到的答案很多是用idea gson插件来做，这个不是对象互相转换，是把json转换成java实体类。我们经常会需要拿数据来测试代码功能是否正常，json是常用的格式，可以用阿里的fastjson框架来实现这个逻辑。项目引入依赖<dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.28.

原创 mysql 时间处理函数

时间格式变成日期格式SELECT * FROM android_identificationWHERE DATE_FORMAT(creating_time,"%Y-%m-%d") = "2016-02-18";小时加减SELECT * FROM android_identificationWHERE TIMESTAMP(creating_time,"08:00:00") &gt...

原创 vue 使用js XLSX读取 excel 转换日期格式

最近要实现一个功能，大概就是前端读取excel 文件，excel内容展示在页面上，用户确认无误后再上传至后端，使用的XLSX来解析excel,读取日期的时候是数字，解决这个问题花了蛮久时间，记录一下xlsx 官方github1.首先要 安装 XLSXnpm install xlsxnpm install moment2.再导入import XLSX from 'xlsx'...

原创 mysql 导入导出常用命令

导出数据库mysqldump -uroot -p123456 subscription > subscription.sql导出数据库表mysqldump -uroot -p123456 subscription client_upload_install_event > client_upload_install_event.sql导出表 条件过滤mysql...

原创 centos 定时任务

输入命令crontable -e输入内容报存PATH=/sbin:/bin:/usr/sbin:/usr/binMAILTO=rootHOME=/# For details see man 4 crontabs# Example of job definition:# .---------------- minute (0 - 59)# | .----------...

原创 redis-cluster 集群搭建和迁移（二）

上一篇写了redis-cluster集群的搭建过程，这里讲一下redis的迁移过程，因为以前的生产环境是单实例的，所有迁移起来比较麻烦，参考了一下网上的资料，可以使用修改卡槽的办法来实现迁移。具体的思路是这样，redis 包含16348 个卡槽，是hash分布的，所有的数据都分布在上面，先把redis-cluster所有的卡槽全部集中到一个节点9000上，然后在单节点上通过rds 持久化数据，...

原创 redis-cluster 集群搭建和迁移（一）

最近给公司搭建了一个redis-cluster集群，把原来的单实例的数据迁移到了集群上，踩了一些坑，记录一些使用的redis 版本是5.0.5操作系统 centos7安装redis-cluster集群需要ruby环境，centos7 yum 源中的ruby 版本太低，不能安装redis,所以必须离线安装。我选择的版本是2.5.3一.安装rubywget https:...