- 博客(144)
- 收藏
- 关注
RSS订阅
原创 【ELFK】ELFK几个常见问题记录（持续更新）
前言elasticsearches最近从7.16.3更新至8.0.0.0，记录一些常见的问题以及解决方案。elasticsearch升级要求参考官网To upgrade to 8.0.0 from 7.16 or earlier, you must first upgrade to 7.17. This enables you to use the Upgrade Assistant to identify and resolve issues, reindex indices created b
2022-02-17 13:51:39
1012
原创 【Clickhouse】Clickhouse-copier数据复制-迁移案例
Clickhouse-copier数据复制-迁移案例背景方案调研方案一：拷贝数据目录操作流程方案二：使用 remote 表函数操作流程方案三：Clickhouse-copier(已采用)Clickhouse-copier的工作流介绍配置task.xml将task.xml写入zk执行过程启动任务日志分析补充说明背景因新环境上线，需要从旧环境中迁移数据至新环境。方案调研方案一：拷贝数据目录先观察一下 ClickHouse 在文件系统上的目录结构（配置文件 /ect/clickhouse-server/
2021-12-29 15:24:34
4289
14
原创 【Clickhouse】CLICKHOUSE几个常见问题处理以及常用命令（持续更新）
@TOC删除旧集群表后重建，5分钟左右出现zk中该表的配置文件消失的情况网上的解决方案测试后无效网上案例确认metadata和data下无该表数据。确认zk中无该表数据。重建表后5分钟左右配置文件消失，但metadata和data下有该表（日志中会出现 No node, path）。此时该表形同虚设，无法正常使用。标记该问题为bug，可能部分数据存在于缓存中导致无法重建解决方案：更换表名后，zk中该表的配置文件不会消失。通过此方式解决该问题。需谨慎使用。如何处理socket_ti
2021-12-09 17:18:05
9174
1
原创 【Gitlab】Gitab版本升级13至14+数据迁移
Gitlab数据迁移迁移条件：两边的gitlab版本相同云服务器安装gitlab安装docker运行Gitlab镜像# 拉取gitlab镜像docker pull gitlab/gitlab-ce#!/bin/bashmkdir -p /data/gitlab# 运行gitlab容器，挂载配置文件与数据IMAGE_NAME='gitlab/gitlab-ce'CONTAINER_NAME='gitlab-ce-zh'CONTAINER_ID=`docker run \
2021-11-23 11:07:11
5374
转载 JAVA远程调试配置JDK8到JDK11/JDK17
原因是根据此答案，Java 9更改了默认行为：从Java 9开始，除非另有说明，否则JVM仅接受本地连接。需要将address=8787更改为–debug *:8787。JAVA远程调试配置JDK8到JDK11/JDK17。在jdk8，使用远程调试这样就可以了。对于jdk 11/17，您应该使用。
2023-05-19 09:56:21
922
原创 【Clickhouse】CLICKHOUSE容器化相关对每自定义节点数量进行1次分片
【Clickhouse】CLICKHOUSE容器化相关对每2节点进行1次分片
2022-10-08 12:04:32
282
原创 【Centos】Centos通过Dockerfile构建+Docker-compose部署禅道
Centos通过Dockerfile构建+Docker-compose部署禅道
2022-09-07 11:45:46
532
原创 【Zabbix】对docker模板增加健康状态healthy status的自动发现规则
【Zabbix】对docker模板增加健康状态healthy status的自动发现规则
2022-07-31 23:28:06
331
原创 【ELFK】将filebeat收集到的json格式的日志传到logtash格式化存储到elastichsearch在kibana中展现
logstash格式化日志
2022-06-30 23:36:52
632
原创 【Centos】Centos8升级至CentOS Stream release 8
Centos8升级至CentOS Stream release 8前言升级准备下载Centos8的最新repo源Centos8.3.2011升级至CentOS Stream release 8注意事项升级完成后验证系统版本，查看内核需要重启,才能使最新的内核生效前言最近因集团安全部门要求对业务运行中的服务器进行安全漏洞排查，根据生成的报告显示：高危漏洞①：内核版本过低。高危漏洞②：版本过低需要升级或降级。升级准备官网faqQ7: How do I migrate my CentOS Li
2022-05-23 17:57:26
1014
原创 【Docker】记录一些工作中个人对DockerBuild与启动脚本中的实用的奇淫巧技
记录一些工作中个人对DockerBuild与启动脚本中的实用的奇淫巧技前言Centos最新镜像DockefileJava Dockerfile以apollo-adminservice 编译完成的包作为Dockerfile Copy前言该文主要用于记录给自己看的，言语逻辑上不通的地方请各位看官多多海涵。Centos最新镜像DockefileFROM centos:latestENV LANG C.utf8ENV TZ=Asia/Shanghai## 自定义用户，下载gosuRUN grou
2022-04-29 14:17:39
2158
原创 【team】服务器聚合链路相关问题记录
【team】服务器聚合链路相关问题记录服务器网卡链路聚合bood模式与交换机相关对照服务器网卡链路聚合team模式与交换机相关对照问题记录GOC网络丢包现象服务器网卡链路聚合bood模式与交换机相关对照服务器网卡链路聚合team模式与交换机相关对照team有五种工作模式，分别是broadcast 广播容错、roundrobin平衡轮询、activebackup主备、loadbalance负载均衡，lacp (implements the 802.3ad Link Aggregation Contr
2022-03-18 17:00:12
873
转载 【Centos】解决Centos8 yum 官方源下线后无法使用问题
1、错误情况更新yum时报错：CentOS-8 - Base - mirrors.aliyun.com 299 B/s | 2.3 kB 00:07 Errors during downloading metadata for repository 'base': - Status code: 404 for https://mirrors.aliyun.com/centos/8/BaseOS/x86_64
2022-02-14 11:57:31
4319
6
原创 【VirtualBox】Centos8通过命令行管理VirtualBox
【VirtualBox】Centos8通过命令行管理VirtualBox背景X11vncViritulbal安装与使用管理命令启动后可以通过客户端VNC view远程连接服务端X11vnc进行图形化管理，安装操作系统等。问题记录背景因业务需求安装应用程序在低配置（2H4G）服务器上，并且不能装有其他容器等，或者修改服务器IP、mac地址、增减或者减少容器、网络变化等环境变动，否则会造成授权失效。那么公司的服务器配置都比较高，单独买台低配的服务器又没必要，就考虑到可以通过虚拟化进行处理。X11vnc
2022-01-27 14:41:18
1178
原创 【X11vnc】Centos8 x11vnc以及图形化安装
# ################################################################## 脚本名称 : Centos8.5.2111 X11VNC# 脚本描述 : 自动安装配置和自动启动X11Vnc # 编辑日期 ：2022.01.11# 编写日期 : 2022.01.11# 原 作 者 : Wayne Xu# 软件版本 : 0.1# 免责声明 : 使用自由，后果自付 转载请注明原作者 # ################
2022-01-26 17:53:21
2749
3
原创 【Clickhouse】clickhouse-copier 对百亿级数据过程中出现计划与实际同步数据量不同报错
clickhouse-copier 对百亿级数据过程中出现计划与实际同步数据量不同报错同步计划解决方案①解决方案②（采纳）同步计划开始时间：2021年12月28日14:56:39计划同步数据量：50869051971带宽占用：常熟联通40~50Mb/S结束时间：2021年12月29日 07:44:06实际同步数据量：15260647381计划同步数据量截图实际同步数据量截图根据下图日志中反馈发现在写入piece 2的时候出现这种错误的原因在报错中已经体现出来，就是ClickHouse默
2021-12-29 15:05:18
579
原创 【Rocketmq】RocketMQ单机&集群浅入浅出
RocketMQ单机&集群浅入浅出Rocketmq集群模式1、单点（不推荐，测试使用）2、主从3、双主（不推荐）4、双主双从、多主多从刷盘策略同步刷盘异步刷盘同步方式同步复制异步复制选择单机部署集群部署Rocketmq集群模式1、单点（不推荐，测试使用）优点：本地开发测试，配置简单，同步刷盘消息一条都不会丢缺点：不可靠，如果宕机，会导致服务不可用2、主从主节点可收发消息，从节点不能接收消息。 具备 HA。不支持主从切换。优点：同步双写消息不丢失, 异步复制存在少量丢失 ，主节点宕
2021-12-09 17:24:16
2544
原创 【X11vnc】Ubuntu18.04 x11vnc启动失败，报错error opening logfile: /var/log/x11vnc.log
Ubuntu18.04 x11vnc启动失败，报错error opening logfile: /var/log/x11vnc.log前提概要报错解决方案前提概要之前在Ubuntu18.04 安装了x11vnc，最近通过vnc view连不上了，使用ssh登录后，根据journalctl -u x11vnc 发现报错创建/var/log/x11vnc.log后查看x11vnc.log报错root@VM-16-8-ubuntu:/home/ubuntu# cat /var/log/x11vnc.l
2021-10-14 11:04:49
4832
1
原创 【Zabbix】Zabbix常见告警问题记录与解决（持续更新）
Zabbix告警问题记录Mysql 相关`告警：MySQL: Replication lag is too high (over 30m for 5m)``告警：MySQL: Buffer pool utilization is too low (less 50% for 5m)`Zabbix Server相关`告警：More than 100 items having missing data for more than 10 minutes `解决方案解决方案Redis相关`告警：Redis: Memo
2021-10-11 16:42:02
12099
4
原创 Centos8 死循环登录问题
Centos8 死循环登录问题现象分析验证现象服务器登录报错，no shell no such file or directory报错后立即返回至输入账号界面。分析根据报错返回，问题关键在于no shell，猜测是误操作，修改了root的默认shell导致解决进入单用户模式，重启服务器选择内核界面按e，在linux 这一段落最后输入rd.break，f10或ctrl+x保存重启。以读写模式重新挂载只读模式的文件系统mount -o remount,rw /sysroot修改
2021-10-11 16:25:16
2346
原创 Mysql8.0优化参数项
Mysql8.0优化参数项查看当前Mysql配置返回结果修改mysql.env后up mysql测试自动配置原则如下：并且根据8.0的新特性中部分参数已经进行过优化优化参数项查看当前Mysql配置M_USER=rootM_AUTH=passmysql -u $M_USER -p$M_AUTH -e 'show variables like "innodb_dedicated_server";' 2>/dev/nullmysql -u $M_USER -p$M_AUTH -e 'show va
2021-09-03 16:19:00
4121
原创 Mysql binlog主从延迟，relay_log更新不完。磁盘io高
Mysql binlog主从延迟，relay_log更新不完现象①测试MySQL中update修改数据与原数据相同会再次执行测试环境查看当前配置ROW模式下测试Update测试开始Statement模式下测试update测试开始MIXED模式下测试update测试开始解决问题业务逻辑现象②解决问题现象①根据binlog发现imdb.im_alarm update执行次数过多问题，但实际不更新数据，重复update sql。例如state是0仍然update state=0.也就是说执行了update，但
2021-09-03 16:09:00
1764
原创 记录一个有意思的cpu逻辑cpu核数问题（已解决）
top命令查看逻辑cpu个数的时候发现只有20个实际上服务器的的逻辑cpu个数是32个物理cpu核数PS：该问题也存在于部分新旧服务器上，网上没找到答案，特此记录。希望未来可以得到答案。
2021-08-23 20:41:59
1617
3
原创 使用UltraISO软碟通离线安装Centos8.3.2011过程中遇到的问题
使用UltraISO软碟通离线安装Centos8.3.2011过程中遇到的问题前言以下是在本次软碟通离线安装过程中用到的软件与系统。进入安装系统时候报错出现dracut-initqueue timeout读取不到iso。三种解决方案如下：1. 把U盘转换为NTFS格式，然后重新把ISO映像文件写入到U盘。2. 找到U盘下的“\EFI\BOOT\grub.cfg”文件，用记事本打开，把“LABEL=CentOS-8-3-2011-BaseOS-x86_64”这串文字改为“LABEL=CentOS-8-3”3.
2021-08-10 12:18:37
2441
转载 [实战]Zabbix 5.0下Agent2内置Redis监控配置
Zabbix 5.0 LTS已经发布了2周了，我看网友对于Zabbix5.0的更新反应了不少的问题，大多数其实是部署的问题，本人已经测试过5.0版本一段时间，基本运行还是比较稳定的，唯一的小缺陷就是汉化的部分不是特别完整。关于Agent2，这里我就不多说了，其实Agent2在4.4的版本时已经推出，目前Agent2集成了redis的监控插件，Zabbix 5.0 LTS版本内也集成了Redis的Template。我本人也针对这个内置的监控模版，做了一个测试，测试场景如下：首先，配置redis.con
2021-06-24 18:49:37
1754
1
原创 【Clickhouse】Clickhouse集群概念+可用性测试
Clickhouse集群概念+可用性测试集群部署核心概念：集群分布式分布式集群Clickhouse分布式集群规划个人观点常用命令集群部署核心概念：集群简单的理解，集群就是把多台计算机（服务器）拼凑在一起，它们相互合作和组合，在物理上构成了一个整体。分布式分布式的概念是相对于单个任务而言的，一个大任务或者复杂任务，将其按照一定的逻辑拆分成多个小任务，每个小任务单独处理，然后合并每个小结果成一个大结果。下面是一个简单的分布式架构示例：分布式集群分布式集群兼以上三个特点而有之，能够处理大型任务
2021-06-23 15:14:06
3427
2
原创 【Clickhouse】Centos7 Clickhouse离线安装
Centos7 离线安装clickhouse官方文档list=( clickhouse-client-20.6.3.28-2.noarch.rpm clickhouse-common-static-20.6.3.28-2.x86_64.rpm clickhouse-common-static-dbg-20.6.3.28-2.x86_64.rpm clickhouse-server-20.6.3.28-2.noarch.rpm CLICKHOUSE-KEY.GPG)wget https://repo.
2021-05-31 19:13:49
2343
转载 解决 Failed to Access denied
解决 Failed to *** : Access denied问题：[root@xxx ~ ]# systemctl status *.serviceFailed to get properties: Access denied办法：kill -TERM 1
2021-05-26 14:13:17
4562
原创 CKA-中英文题目+个人答案+官网文档解析
前言考试时可打开两个浏览器Tab，一个是考试窗口，一个用来查阅官方文档](https://kubernetes.io/docs/)第一题：RBACCreate a new ClusterRole namedd that only allows the creation of the following resource types:DeploymentStatefulSetDaemonSetCreate a new ServiceAccount named cicd-token in the
2021-03-28 21:56:56
4506
原创 CKA-英文题目-个人答案-（模拟练习用
Introduction做之前记得切换到对应contextYou can open two browsers Tab, one is the test window，A is used to refer to (official documentation )Q1：RBACCreate a new ClusterRole named deployment-clusterrole at only allows the creation of the following resource types:
2021-03-28 21:56:31
3602
5
原创 CKA 报考指南与准备事项
报名流程我是英文考试老外监考，个人认为需要注意的点：安静-整洁-单人的稳定快速的一个科学网络环境。-付完钱后预约时间，不能约当天以及第二天。报完名会有考试链接发到邮箱。考试前30分钟做好一切上述准备，打开考试环境验证，有倒计时。以及考试系统考试环境验证：https://training.cncf.io/portal考试前十五分钟可以看到考试系统：https://www.examslocal.com/Candidate真正开始考试前按照监考官的要求做对应的操作：要求开启共享摄像头à点一下
2021-03-28 21:55:40
3057
2
原创 tesseract4.10源码编译安装
tesseract4.10源码编译安装#报错缺少libtoolize: command not found 以及安装相关第三方依赖yum -y install libtool libtiff-devel libjpeg-devel libpng-devel#编译安装 报错Leptonica 1.74 or higher is required./configure #首先安装leptonica 1.78版本wget http://www.leptonica.org/source/lept
2021-03-25 11:21:04
1123
原创 Centos7 Nginx GeoIP2模块
nginx GeoIP2模块 ，指定地区跳转，返回不同页面等。https://blog.csdn.net/zgs_shmily/article/details/90551651GeoLite 官网库地址http://geolite.maxmind.com/download/geoipgeoip2核心识别库https://github.com/maxmind/libmaxminddb/releaseswget https://github.com/maxmind/libmaxminddb/rele
2021-02-22 10:26:19
2041
原创 Centos7 Nginx GeoIP模块
nginx GeoIP模块 ，指定地区跳转，返回不同页面等。最近在研究nginx如何集成geo模块来实现IP自动识别从而进行地区屏蔽的内容。但是度娘N篇文章，发现大家都在转载很久之前的东西。geo1.0官方都不提供下载了，以及准确率较低，不知道那些小伙伴是怎么实现模块按照和IP库下载的。这个就不互相伤害了，如何集成最新版的geoip2直接继续浏览即可。编译–with-http_geoip_module模块先看nginx有没有编译geoip模块，如果有就直接修改就行，没有就得先安装。nginx -V
2021-02-22 10:25:27
2030
8
原创 Centos7 OpenResty
OpenResty引导：http://openresty.org/cn/getting-started.htmlOpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。OpenResty® 通过汇聚各种设计精良的 Nginx 模块（主要由 OpenResty 团队自主开发），从而将 Nginx 有效地变成一个强大的通用
2021-02-22 10:19:11
1239
原创 Docker安装grafana数据持久化+配置SMTP
Docker安装grafana数据持久化+配置SMTPDocker安装grafana数据持久化+配置SMTP查看grafana镜像源新建grafana目录首次运行grafana将配置文件拷贝至宿主机方便修改配置删除grafana容器启动Grafana容器时候用环境变量覆盖环境变量配置的默认路径启动Grafana容器配置SMTP服务器问题记录Grafana报错mkdir: cannot create directory '/var/lib/grafana/plugins': Permission denied
2021-01-11 14:22:49
5094
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人