- 博客(505)
- 收藏
- 关注
RSS订阅原创 MySQL告警“Connection attributes of length 570 were truncated“
performance_schema库中两个表记录了这些属性的详细信息：1.performance_schema.session_account_connect_attrs:当前会话的连接属性，会该账号关联的其它会话2.performance_schema.session_connect_attrs：所有会话的连接属性。如果客户端发送的连接属性数据的聚合大小大于此数量，性能模式将截断属性数据，状态变量Performance_schema_session_connect_attrs_lost 递增。
2023-09-01 09:18:01
353
原创 搭建openGauss 5.0 一主一从复制集群
- 节点1的IP，如果服务器只有一个网卡可用，将backIP1和sshIP1配置成同一个IP -->-- 节点2的IP，如果服务器只有一个网卡可用，将backIP1和sshIP1配置成同一个IP -->-- 节点2上的节点部署信息，其中“name”的值配置为主机名称 -->-- 节点IP，与数据库节点名称列表一一对应 -->-- 节点1所在的AZ及AZ优先级 -->-- 节点2所在的AZ及AZ优先级 -->-- openGauss整体信息 -->-- 每台服务器上的节点部署信息 -->
2023-08-14 17:39:39
1037
原创 PostgreSQL Patroni_exporter 监控 patroni高可用工具
description: '{{ $labels.instance}} of {{$labels.job}} patroni 处于 pause 1m'为了方便，这里采用静态注册：静态的将服务的IP和抓取指标的端口号配置在Prometheus yaml文件的scrape_configs配置下。对于Patroni高可用工具自身的监控，有啥子监控方案吗？针对patroni服务非正常关闭，os systemd自动重启拉起，保障工具的高可用性。patroni异常终止，自动重新拉起。一起来看看 ，鲜为人知的。
2023-08-01 17:12:57
1059
原创 打造自己的分布式MinIO对象存储
当MinIO中有多个可用的Server Pool时，单个对象总是写入其中的一个Server Pool，如果一个Server Pool发生故障，并不会影响其他Server Pool的读写。下文将演示创建一个单独的Server Pool,包含2个minio服务器节点，每一个服务器节点拥有3个驱动器(磁盘)，总共6块盘。3、带有顺序挂载点的本地JBOD存储多节点系统必须保持同步的时间和日期，以保持稳定的节点间操作和交互。4、时间同步多节点系统必须保持同步的时间和日期，以保持稳定的节点间操作和交互。
2023-06-30 13:09:58
786
原创 烂sql导致clickhouse集群memory_tracking直线飙升触发熔断
异 常 时 间 段 c l i c k h o u s e 集 群 日 志 报 错 D B : : E x c e p t i o n : C a n n o t s c h e d u l e a t a s k ( v e r s i o n 1 9 . 1 7 . 4 . 1 1 ( o f f i c i a l b u i l d ) ) ( f r o m。的 1 2 0 G ， 当 总 内 存 使 用 超 过 1 2 0 G 后。
2023-06-28 16:19:54
712
原创 MySQL 磁盘爆了，是 optimize table 的锅
2023-06-26 22:17左右，收到某系统的主库磁盘使用率告警。2023-06-26 23:02左右收到该系统的从库磁盘使用率告警。收到告警后，登录数据库查看各表的磁盘使用。经分析发现DB存在一个当日的备份表t_eap_sys_navigation_log_bak_20230626 ，且在OS层面存在的表文件（），按照经验推断#开头为中间表，磁盘使用率告警恢复后，该中间表也了。
2023-06-27 11:05:28
539
原创 OOM 如何监控可视化、告警推送、服务自愈
虚拟内存OOM发生在用户空间，用户空间分配的就是虚拟内存，不能分配物理内存，用户空间虚拟内存OOM表现为malloc、mmap等内存分配接口返回失败，错误码为ENOMEM。程序在运行的时候触发缺页异常从而需要分配物理内存，kernel 自身在运行的时候也需要分配物理内存，如果此时物理内存不足了，就会发生物理内存OOM。RestartSec=5: 重启间隔，比如某次异常后，等待5(s)再进行启动，默认值0.1(s)OOM分为虚拟内存OOM和物理内存OOM，两者是不一样的。
2023-06-09 15:11:39
1288
原创 percona-server-rocksdb-8.0.32 安装
RocksDB存储基于日志结构的合并树(LSM tree)。它针对快速存储进行了优化，有出色的空间和写入效率以及可接受的读取性能。MyRocks是关系型数据库Mysql 基于RocksDB 的存储引擎，一个可嵌入的、持久的键值存储。2. rocksdb读性能对比innodb还是差不少，但是跟压缩后的innodb相比，某些场景下，还是有一定优势。1. rocksdb压缩率非常高，大约只有innodb的1/3，同时也要比压缩后的innodb小。4. 非常适合写多读少，并且对容量比较敏感的业务场景。
2023-05-12 13:57:18
575
1
原创 调优PostgreSQL 14和更早版本的统计信息收集器
PostgreSQL 15的一项重大改进:PostgreSQL 15:统计收集器不见了？虽然对这个即将到来的改进高兴，但我们可以在以前的版本中看到一些关于“效率低下”的评论。这让我意识到，尽管调整stats collector的特性是官方文档和建议的一部分，而且过去有许多关于它的博客帖子，但我很少看到有人在实践中尝试调整它。所以我觉得值得再提醒一下。
2023-05-11 17:13:40
623
原创 如何在ProxySQL中保持散列格式的密码
在这篇博客文章中，我们将看到如何在ProxySQL中保存哈希格式的密码。此外，即使有人以明文形式存储密码，我们也可以很容易地将其转换成散列格式。纯文本密码极易受到未经授权的访问，因为任何有权访问数据库或配置文件的人都可以轻易地读取它们。虽然将这些文件存储在安全的位置可以缓解一些安全问题，但仍然存在数据泄露的风险。另一方面，散列密码与MySQL服务器中的密码以相同的格式存储(MySQL 8.0版本之前)或者列(自MySQL 8.0版本使用插件)，提供了额外的安全层。
2023-04-28 13:32:18
668
原创 starrocks基于prometheus实现监控告警
你也可以使用开源 Prometheus+Grafana 方案，StarRocks 提供了兼容 Prometheus 的信息采集接口，可以通过直接连接 BE 或 FE 的 HTTP 端口来获取集群的监控信息。支持多种数据源，详情可参考官网文档。通过灵活可配置的 Dashboard，快速的将这些数据以图表的形式展示给用户。如果选择不同的 Cluster，下方的图表将展示对应集群的监控信息。选择不同的 FE，下方的图表将展示对应 FE 的监控信息。选择不同的 BE，下方的图表将展示对应 BE 的监控信息。
2023-04-26 15:11:46
865
原创 StarRocks 3.0 集群安装手册
StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用 StarRocks 来支持多种数据分析场景的极速分析。StarRocks 架构简洁，采用了全面向量化引擎，并配备全新设计的 CBO (Cost Based Optimizer) 优化器，查询速度（尤其是多表关联查询）远超同类产品。
2023-04-25 14:51:33
2183
原创 Elasticsearch ILM DSL 索引生命周期管理
冷热架构也叫冷暖架构，是“Hot-Warm” Architecture的中文翻译。冷热架构本质是给节点设置不同的属性，让每个节点具备了不同的属性。为演示 ILM，需要首先配置冷热架构，三个节点在 elasticsearch.yml 分别设置的属性如下：查看es冷热集群架构。
2023-04-24 16:11:01
488
原创 PostgreSQL中的复制延迟
复制延迟是指数据写入主数据库和复制到备用数据库之间的时间延迟。在PostgreSQL中，复制延迟可能是由各种原因造成的，如网络延迟、缓慢的磁盘I/O、长时间运行的事务等。在使用备用数据库进行故障转移的高可用性系统中，复制延迟可能会产生严重的后果。如果复制延迟太长，可能会导致故障转移时数据丢失。最常见的方法是在主节点中运行引用该视图的查询。
2023-04-20 11:18:48
827
原创 ES X-Pack密码认证与用户管理
用户数据的安全性一直被人诟病且默认没有密码认证，Elasticsearch在6.8之前官方的X-pack安全认证功能都是收费的，所以很多人都采用Search Guard或者ReadOnly REST这些免费的安全插件对Elasticsearch进行安全认证。从Elasticsearch 6.8开始，Security 纳入 x-pack 的 Basic 版本中，免费使用一些基本的功能。本文将对开启X-pack安全认证与用户管理进行简单的讲解。一、开启并配置 X-Pack 的认证与鉴权。3.7 修改用户密码。
2023-04-14 11:37:48
1089
原创 天坑，os root密码过期，导致主机crontab自动任务罢工
今天2023/4/10号，crontab最后运行时间为2023/3/30号，而我们自动建表任务提前建表的天数正好是10天，完全对得上。明明我们设定crontab定时任务了啊，怎么没有建表呢？先登录主机把root的过期密码改了，再手动跑crontab的自动建表任务，业务恢复！2、os root密码过期，会影响 crontab 的调度，crontab会停止运行。1、不要轻易设定主机用户密码过期，可以换成不定时主动修改密码。3、主机日志与核心服务日志可以考虑接入日志采集聚合系统。
2023-04-10 17:50:13
467
原创 Loki采集Mysql errorlog，你值得拥有的错误日志聚合系统
data/mysql/mysql3306/logs/mysql.err 动态的被promtail+loki+grafana 采集展示。使用标签来作为索引，而不是对全文进行检索,所以在搜索上会有一定的局限性。但是，也能满足我们的需求。安装方式有多种，我选择了二进制安装方式。存储，搭建复杂，耗资源，上手难。2、创建loki的数据目录(注意目录的属主与权限)，我这里安装的是次新版本 2.7.5。参数，参数值根据实际情况填写，默认。接下来，我们去查询收集到的日志。，我们需要安装三个组件，
2023-04-10 13:41:07
677
原创 Mysql 你还在一个字段一个索引吗
sql执行耗时1秒，执行计划选择repostable_id_idx，表feeds与表comments存在 `feeds`.`id` = `comments`.`commentable_id`，是不是选择 feeds 的主机id作为被驱动表扫描更好呢？sql执行耗时1秒，执行计划选择repostable_id_idx，表feeds与表comments存在 `feeds`.`id` = `comments`.`commentable_id`，是不是选择 feeds 的主机id作为被驱动表扫描更好呢？
2023-04-08 17:11:11
533
原创 MYSQL数据库误赋权引发的血案
1、mysql版本8.x以下在用户新增授权时，需明确授权对象（user,host）,不可出现对不存在的用户（user,host）授权，否则可能出现系统业务用户无法通过登录认证，引发异常。2、不同版本mysql对于赋权不存在在用户（user,host）处理机制不同5.6版本赋权执行成功，默认创建密码为空在用户（user,host）5.7版本赋权执行成功，默认创建密码为空在用户（user,host），抛出告警8.x版本授权执行失败，不会创建用户（user,host）
2023-04-06 21:32:21
314
原创 Mysql一条多表关联SQL把CPU打爆了，如何优化
即，我们将原本 T_EAC_BU_ORDER_INFO 与 T_EAC_BU_SALE_GOOD_INFO 无谓词的关联，改写为 T_EAC_BU_ORDER_INFO 与 T_EAC_BU_SG_CO_INFO 带谓词关联。执行耗时绝大部分耗时都在第一步与第二步，即 from T_EAC_BU_ORDER_INFO TOI left join T_EAC_BU_SALE_GOOD_INFO TEC on TOI.SALE_PRO_ID = TEC.SALE_PRO_ID ，在不影响语义的前提下，
2023-04-04 17:14:09
699
原创 Redis集群从节点无限循环同步故障
从库清理旧数据，期间 redis 全程阻塞无法响应，10多秒后 cluser 检测到并在主库日志记录 FAIL message ，报Disconnecting timedout replica: 172.28.212.40:6380 这是 cluster-node-timeout 超时导致的，该参数为15000即15s；2、关注 repl-timeout 默认60秒，cluster-node-timeout 默认15秒，数据量大而变化频繁的redis集群适当调大。从redis的fail主从节点日志入手。
2023-04-02 20:01:17
335
原创 PostgreSQL 13 pacemaker 高可用集群
resource-agents-4.12.0 下载地址： https://github.com/ClusterLabs/resource-agents/releases/tag/v4.12.0。PG软件包下载地址：https://yum.postgresql.org/13/redhat/rhel-7-x86_64/repoview/12.primary数据库配置 [hd-clw-select-proxysql01]14.停止primary数据库 [hd-clw-select-proxysql01]
2023-04-01 17:25:54
563
原创 oel 7 本地yum源配置
os环境：# cat /etc/redhat-releaseRed Hat Enterprise Linux Server release 7.6 (Maipo)1. 建立ISO文件存放目录(/repo/iso)和ISO文件的挂载目录(/repo/rhel7)# mkdir -p /repo/iso# mkdir -p /repo/rhel72.如果有现成的ISO文件可以直接上传...
2020-05-08 11:26:15
837
原创 Saltstack系列5：Saltstack之pillar组件
pillar组件pillar也是Saltstack最重要的组件之一，其作用是定义与被控主机相关的任何数据，定义好的数据可以被其他组件使用，如模板、state、API等。在pillar中定义的数据与不同业务特性的被控主机相关联，这样不同被控主机只能看到自己匹配的数据，因此pillar安全性很高，适用于一些比较敏感的数据，这也是区别于grains最关键的一点，如定义不同业务组主机的用户id、组...
2019-10-19 20:20:07
383
原创 Saltstack系列4：Saltstack之Grains组件
grains说明grains是Saltstack最重要的组件之一，grains的作用是手机被控主机的基本信息，这些信息通常都是一些静态类的数据，包括CPU、内核、操作系统、虚拟化等，在服务器端可以根据这些信息进行灵活定制，管理员可以利用这些信息对不同业务进行个性化定制。例：（janja模板）{% if grains['os'] == 'Ubuntu' %}host: {{ grai...
2019-10-19 20:18:32
280
原创 Saltstack系列3：Saltstack常用模块及API
说明salt '*' sys.list_modules #列出当前版本支持的模块API原理是通过调用master client模块，实例化一个LocalClient对象，再调用cmd()方法来实现的。以下API实现test.ping的示例：(其他API调用只需要改变cmd即可)import salt.clientclient = salt.client.LocalCl...
2019-10-19 20:17:16
172
原创 Saltstack系列2：Saltstack远程执行命令
命令命令格式：salt '<操作目标>' <方法>[参数]例：salt 'wx' cmd.run 'free -m' #查看被控主机内存使用情况常用参数针对<操作目标>，Saltstack提供了多种方法对被控主机（id）进行过滤。下面列举出常用具体参数：-E，--pcre，通过正则表达式进行匹配:salt -E '^SN201...
2019-10-19 20:15:11
133
原创 python 详解re模块
正则表达式的元字符有. ^ $ * ? { [ ] | ( )．表示任意字符［］用来匹配一个指定的字符类别，所谓的字符类别就是你想匹配的一个字符集，对于字符集中的字符可以理解成或的关系。^ 如果放在字符串的开头，则表示取非的意思。[^5]表示除了5之外的其他字符。而如果^不在字符串的开头，则表示它本身。具有重复功能的元字符：* 对于前一个字符重复0到无穷次对于前一个字符重复1到无穷次...
2019-10-05 19:58:54
217
原创 Salt-Formulas的使用
Saltstack自0.17.x版本开始引进Formulas的概念，旨在通过简化State和集成数据来实现State的友好管理。根据SALT FORMULAS的官方文档，在完成手动添加formula目录后，formula应该提供一些默认的配置而立即可用。如果需要进一步的配置，大部分的formulas可以通过Pillar数据进行配置，可以参考每个Formula仓库的pillar.example文件查...
2019-08-15 17:13:49
380
原创 salt-master命令详解
**salt-master命令**命令行官网学习网站：http://docs.saltstack.cn/ref/cli/index.htmlsaltsalt-callsalt-cpsalt-keysalt-mastersalt-minionsalt-runsalt-unity一、salt常用命令salt 该命令执行salt的执行模块，通常在master端...
2019-08-15 13:54:57
1909
原创 深入SaltStack
[译者注] 这是一篇发表在opencredo官网的博文，通过比较流行的Puppet和新发展起来的Salt，详细地介绍了Salt的功能。在征得原作者的同意后，翻译出来，与大家分享。初次翻译长文，请大家指点。原文链接深入SaltStackMaartens Lourens.于1月10日发表在opencredo.对系统工程师来说，配置管理已经向前跃进了一大步. 系统配置的自动化不仅可预测,...
2019-08-14 21:48:30
571
原创 Salt States概览
作者言我也只是SaltStack的初学者，如果文中有错误的地方，请不吝赐教。在学习的过程，我也做了不少实验，犯了不少错，积累了一些经验，对SaltStack的运行也有一定了解，如果有什么问题，或是不太理解的地方，非常欢迎留言交流！Salt States参考链接：官方文档简洁，简洁，简洁众多强大而有力的设计都建立在简单的原则之上。Salt SLS系统也努力向K.I.S.S看齐...
2019-08-14 21:43:37
344
原创 Salt Highstate数据结构定义
作者言这篇文档详细解释了SLS文件中，每个部分的名称与含义，以及SLS中的数据处理后的数据结构。我只是SaltStack的初学者，如果文中有错误的地方，请不吝赐教。在学习的过程，我做了一些实验，犯了不少错，积累了一些经验，对SaltStack的运行也有一定了解，如果有什么问题，或是不太理解的地方，非常欢迎留言交流！Salt State TreeTop fileSalt St...
2019-08-14 21:41:16
184
原创 如何使用Salt Pillar
作者言Salt的网站上有两篇关于Pillar的文档（一，二），其中一篇内容很少，我觉得写成一篇文章更合适。本文的逻辑结构没有参照官方文档，而是根据我自己对Pillar的理解组织内容，希望能够把这个概念解释清楚。文中的示例代码来自官方文档。我只是SaltStack的初学者，如果文中有错误的地方，请不吝赐教。 在学习的过程，我做了一些实验，犯了不少错，积累了一些经验，对SaltStack的运行...
2019-08-14 21:23:17
381
转载 Redis4.0新特性(一)-Memory Command
Redis4.0版本增加了很多诱人的新特性，在redis精细化运营管理中都非常有用(猜想和antirez加入redislabs有很大关系)；此系列几篇水文主要介绍以下几个新特性的使用和效果。Redis Memeory Command:详细分析内存使用情况，内存使用诊断，内存碎片回收； PSYNC2:解决failover和从实例重启不能部分同步；PSYNC3已经路上了； LazyFree: ...
2019-07-25 21:20:06
624
1
原创 vim使用技巧
一、VIM常用操作1、插入命令a在光标所在字符后插入A在光标所在行尾插入i在光标所在字符前插入I在光标所在行行首插入o在光标下插入新行O在光标下插入新行2、定位命令：set un 设置行号：set noun 取消行号gg 到第一行G 到最后一行nG到第n行：n到第n行$ 移至行尾0移至行首3、删除命令x删除光标所在处字符...
2019-07-18 21:08:22
470
原创 nginx之 nginx限流配置
limit_req zone=req_zone;严格依照在limti_req_zone中配置的rate来处理请求超过rate处理能力范围的，直接drop表现为对收到的请求无延时limit_req zone=req_zone burst=5;依照在limti_req_zone中配置的rate来处理请求同时设置了一个大小为5的缓冲队列，在缓冲队列中的请求会等待慢慢处理超过了burst缓冲...
2019-06-21 20:53:14
2320
1
转载 nginx 限流配置
限流算法令牌桶算法算法思想是：令牌以固定速率产生，并缓存到令牌桶中； 令牌桶放满时，多余的令牌被丢弃； 请求要消耗等比例的令牌才能被处理； 令牌不够时，请求被缓存。漏桶算法算法思想是：水（请求）从上方倒入水桶，从水桶下方流出（被处理）； 来不及流出的水存在水桶中（缓冲），以固定速率流出； 水桶满后水溢出（丢弃）。 这个算法的核心是：缓存请求、匀速处理、多余...
2019-06-21 20:50:19
225
转载 redis-sentinel 高可用方案实践
近期公司的一块核心业务使用redis作为配置转发中心，存在单点问题，考虑服务的可靠性。针对业务需求，我们确定了我们的需求：异地跨机房容灾 故障自动切换 尽可能高的保证数据不丢失针对以上需求，我们分别对redis主从复之，redis-cluster，redis-sentinel方案进行了调研，对比结果如下： 方案 数据可靠性 服务可靠性...
2019-05-08 10:22:12
233
转载 redis之 主从复制和哨兵
一、Redis主从复制主从复制：主节点负责写数据，从节点负责读数据，主节点定期把数据同步到从节点保证数据的一致性1. 主从复制的相关操作a,配置主从复制方式一、新增redis6380.conf, 加入 slaveof 192.168.152.1286379, 在6379启动完后再启6380，完成配置；b,配置主从复制方式二、redis-server --slaveof 192.16...
2019-05-08 09:31:12
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人