- 博客(381)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 MHA架构实施（一主一从）学不会，你来打我？加油！奥利给
目录1、环境要求2、架构工作原理2.1架构介绍:2.2 MHA软件构成3、Mysql环境搭建3.1环境准备（主从都需要下面步骤）3.2用户的创建处理原始环境3.3解压文件，更改文件目录3.4设置环境变量3.5环境目录规划3.6my.cnf配置文件3.7mysql数据库初始化3.8启动数据库2种方式1. sys-v2. systemd3.9修改数据库的密码4、mysql主从配置1、主库创建用户（db01）2、从库开启连接（db0.
2020-06-24 11:43:46
3153
3
原创 手误【删库】 == 跑路，不存在的 ——删瓦辛格
手误【删库】 == 跑路，不存在的 ——删瓦辛格 前言今天公司服务器的宝塔打不开，让我去修（ps：宝宝委屈） 打开找一下问题所在问题：发现是宝塔官方的cdn好...
2020-04-22 18:42:41
10997
55
原创 ELK日志收集和备份填坑实战 （滞后8个小时等时区问题）
数据写入时间不一致、数据滞后8小时等时区问题的本质是：各个处理端时区不一致，写入源的时区、Kibana默认是本地时区（如中国为：东8区时区），而 logstash、Elasticsearch 是UTC时区。
2024-04-15 11:39:49
753
原创 Ingress配置优化和追踪
在传统的业务系统中，应用微服务化后，需要一个统一的入口来将各个服务进行整合，这个入口可以是Nginx、Apache、HAproxy等等。而在K8s中，同样需要一个工具来将应用的各个service整合到统一的入口，这个工具就叫Ingress控制器，Ingress的中文翻译即为“入口”。它是由Kubernetes社区基于Nginx Web服务器开发的，并补充了一组用于实现额外功能的Lua插件，作为“官方”默认控制器支持当然最优。Github说明文档。
2024-04-11 18:30:08
620
原创 Nginx日志格式化和追踪
Nginx默认日志格式包含多个字段，每个字段都提供了有用的信息来帮助分析服务器行为。: 客户端的IP地址: 客户端用户的名称: 访问时间与时区$request: 完整的HTTP请求行，包括请求方法、URI和协议$status: 服务器响应的HTTP状态码: 发送给客户端的字节数，不包括响应头的大小: 客户端发送的HTTP Referer头部信息: 客户端发送的User-Agent头部信息这些字段的组合可以提供全面的请求和响应信息，有助于分析用户行为和服务器性能。
2024-04-10 17:25:30
836
原创 MongoDB快照（LVM）业务场景应用实战
MongoDB的重要性：MongoDB支持的灵活的文档模型，使其成为处理大量分散数据的理想选择，特别是在需要快速迭代和频繁更改数据结构的应用中。LVM（逻辑卷管理）快照技术基本概念：LVM允许在不停止数据库服务的情况下，创建数据在某一时间点的快照。这意味着可以在不影响数据库性能和用户体验的情况下进行备份。MongoDB数据库的备份和恢复是确保数据安全和业务连续性的重要环节。通过使用LVM快照作为备份策略，我们能够快速备份MongoDB数据，最小化停机时间，并以高效的方式恢复数据。
2024-04-08 16:16:38
929
原创 Nginx在Kubernetes集群中的进阶应用
在现代DevOps环境中，Nginx作为负载均衡器与Kubernetes的Ingress资源的结合，为应用程序提供了强大的路由和安全解决方案。本文将深入探讨如何利用Nginx的灵活性和功能，实现高效、安全的外部访问控制，以及如何配置Ingress以优化流量管理和SSL/TLS支持。Nginx 可以与 Kubernetes 的 Ingress 资源配合使用，以提供高级的路由和负载均衡功能。Ingress 允许你通过定义规则来管理外部访问集群内服务的路径。
2024-04-02 16:13:11
781
原创 Gitlab的流水线任务【实现每小时自动测试 dev分支的更新】
这样，我们通过灵活调用和智能判断，确保了在构建失败时及时通知相关人员，并在问题得到解决后发送成功通知，既避免了不必要的通知干扰，又保证了团队能够及时了解到构建状态的变化。GitLab 流水线是一系列作业（jobs）的集合，这些作业可以并行或顺序执行，以完成构建、测试、部署等任务。计划任务是 GitLab 流水线的一个特性，它允许你按计划执行流水线，而不需要代码提交或其他触发条件。我们将定义两个作业：一个是常规的测试作业，另一个是计划任务作业。的Shell脚本，用于对接钉钉机器人发送构建状态的通知。
2024-03-22 16:32:28
2072
原创 Kube-Prometheus 监控Istio
推荐 Istio 多集群监控使用 Prometheus，其主要原因是基于 Prometheus 的通过 Istio 部署到每个集群中的 Prometheus 实例作为初始收集器，然后将数据聚合到网格层次的 Prometheus 实例上。网格层次的 Prometheus 既可以部署在网格之外（外部），也可以部署在网格内的集群中。使用 Istio 以及 Prometheus 进行生产规模的监控时推荐的方式是使用并且结合一组。尽管安装 Istio 不会默认部署指导中的部署按照安装了 Prometheus。
2024-03-04 11:44:38
944
原创 自动化批量导入机器到Jumpserver：提高效率与一致性的关键步骤
我们的解决方案是编写一个脚本，该脚本可以读取包含机器信息的文本文件，并使用 Jumpserver 提供的 API 进行自动导入。脚本首先通过逐行读取文本文件来获取每台机器的相关信息，例如 IP 地址、主机名和分组。然后，它使用 Jumpserver 的 API 调用来创建新的机器对象，并将其分配到相应的分组中。通过使用这个自动化脚本，我们可以大大减少手动操作的工作量，并确保导入的机器被正确地组织到 Jumpserver 中的相应分组中。这不仅提高了操作效率，还降低了出错的风险，并提供了一致性和可追溯性。
2024-01-26 10:29:52
1390
原创 Kube-Prometheus 监控Ingress实战
在 Kubernetes 集群中，我们通常使用 “Nginx Ingress” 实现集群南北向流量的代理转发，Nginx Ingress 基于集群内 Ingress 资源配置生成具体的路由规则。Ingress 资源负责对外公开服务的管理，一般这类服务通过 HTTP 协议进行访问。通过 Nginx Ingress + Ingress 资源可以实现以下场景：一、通过 Nginx Ingress 将来自客户端的全部流量转发给单一 Service。。
2024-01-19 10:19:00
645
原创 Kube-Prometheus 手动部署
prometheus-operator 介绍当今 Cloud Native 概念流行，对于容器、服务、节点以及集群的监控变得越来越重要。Prometheus 作为 Kubernetes 监控的事实标准，有着强大的功能和良好的生态。但是它不支持分布式，不支持数据导入、导出，不支持通过 API 修改监控目标和报警规则，所以在使用它时，通常需要写脚本和代码来简化操作。
2024-01-18 09:12:41
992
原创 Istio安装和基础原理
Istio 是一个开源服务网格，它透明地分层到现有的分布式应用程序上。Istio 强大的特性提供了一种统一和更有效的方式来保护、连接和监视服务。Istio 是实现负载平衡、服务到服务身份验证和监视的路径——只需要很少或不需要更改服务代码。使用 TLS 加密、强身份认证和授权的集群内服务到服务的安全通信自动负载均衡的 HTTP, gRPC, WebSocket，和 TCP 流量通过丰富的路由规则、重试、故障转移和故障注入对流量行为进行细粒度控制。
2024-01-12 17:19:48
985
原创 MetalLB：本地Kubernetes集群的LoadBalancer负载均衡利器
大多数的官方教程为了简化部署的步骤，都是写着直接用kubectl命令部署一个yaml的url，这样子的好处是部署简单快捷，但是坏处就是本地自己没有存档，不方便修改等操作，因此我个人更倾向于把yaml文件下载到本地保存再进行部署。但如果是计划外的事故导致的，此时在有故障的客户端刷新其缓存条目之前，将无法访问服务IP。由于Layer 2 模式会使用单个选举出来的Leader来接收服务IP的所有流量，这就意味着服务的入口带宽被限制为单个节点的带宽，单节点的流量处理能力将成为整个集群的接收外部流量的瓶颈。
2023-12-28 09:32:55
1496
原创 使用kubeadm部署一套Kubernetes v1.23.0集群
本文介绍了使用kubeadm部署一套Kubernetes v1.23.0集群的步骤，包括环境准备、操作系统初始化配置、安装Docker和kubeadm等。然后详细说明了在Master节点上部署Kubernetes Master的过程。
2023-12-11 10:30:51
1414
原创 Kubernetes安装ingress-nginx
网上的资料一般是基于v0.30.0来安装，但是对于[email protected]来说要安装[email protected]以上版本（目前最新版本是v1.0.4，本文采用v1.0.0），原因是 [email protected]版本不再支持v1beta1如果安装[email protected]版本后启动pod有如下问题有一个版本的支持情况（ingress官方网站ingress仓库地址ingress-nginx v1.0 最新版本 v1.0。
2023-12-04 09:42:25
1249
原创 使用Prometheus监控Padavan路由器
近期在程序，目前已经监控Synology，然后家中有有路由器（Padavan）型号，也准备使用Prometheus+Grafan进行监控。环境：Grafan：10Padavan：固件版本:3.4.3.9-099_22-05-1。
2023-12-03 22:16:28
643
原创 使用Prometheus监控Synology（群辉）
在现代的IT环境中，对于服务器和网络设备的监控是至关重要的。Synology（群辉）作为一种流行的网络存储解决方案，为用户提供了高性能和可靠的存储服务。然而，了解Synology设备的运行状况和性能指标对于确保其正常运行和及时采取措施至关重要。Prometheus是一个功能强大的开源监控系统，它提供了灵活的数据模型和丰富的查询语言，可用于收集、存储和可视化各种应用程序和设备的监控指标。
2023-11-28 15:17:01
1784
1
原创 【ERROR】MySQL太多连接数，导致阻塞
控制连接最大空闲时长的wait_timeout参数。对于非交互式连接，类似于jdbc连接，wait_timeout的值继承自服务器端全局变量wait_timeout。对于交互式连接，类似于mysql客户单连接，wait_timeout的值继承自服务器端全局变量interactive_timeout。判断一个连接的空闲时间，可通过show processlist输出中Sleep状态的时间。超时时间只对非活动状态的connection进行计算。
2023-10-24 11:39:13
1080
原创 精益求精：使用Ansible集中式自动备份核心数据
通过上述自动化备份策略，我们可以有效地保护Gitlab数据的安全性和完整性。在实际应用过程中，这种备份策略还可以根据需要进行定制和扩展，以满足不同场景下的需求。希望这篇博客对大家有所帮助！
2023-10-20 15:59:21
696
原创 Prometheus的Pushgateway快速部署及使用
Pushgateway为Prometheus整体监控方案的功能组件之一，并做于一个独立的工具存在。它主要用于Prometheus无法直接拿到监控指标的场景，如监控源位于防火墙之后，Prometheus无法穿透防火墙；目标服务没有可抓取监控数据的端点等多种情况。在类似场景中，可通过部署Pushgateway的方式解决问题。当部署该组件后，监控源通过主动发送监控数据到Pushgateway，再由Prometheus定时获取信息，实现资源的状态监控。
2023-10-16 09:04:53
2860
原创 Flask配合Echarts写一个动态可视化大屏
后端：flask可视化：echarts前端：HTML+JavaScript+css大屏拆分案例项目中大屏可按版块进行拆解，会发现这里大屏主要由标题、折线图、柱状图、地图、滚动图和词云等组成，整体可切分为8个版块，如下：下方为简单演示：我们整体布局前，先通过简单的案例了解前端布局实现方法。创建一个html文件，这里先调整标题的布局位置，代码如下：展示在上面添加一些css的样式，划分相关的位置上面就是划分位置的参数，能够帮我们快速划分好位置。这段代码是用于对一个元素进行定位的 CSS 样
2023-09-22 16:13:03
898
原创 IntelliJ IDEA远程调试：使用IDEA Remote Debug进行高效调试的指南
幸运的是，有一种强大的工具可以帮助解决这些问题，那就是远程调试。通过远程调试，开发者可以在远程服务器上直接对Java应用程序进行调试，就像在本地环境中一样。在没有远程调试的情况下，许多开发者会在代码中添加各种日志语句，然后重新部署和上线来调试。有时候，在本地环境中调试时没有发现问题，但当代码被打包并部署到测试环境时，却会出现一堆莫名其妙的问题。如果只是临时调试，在端口号前面不要加上限制访问的IP地址，调试完成之后，将上述JVM参数去除掉之后重新发布下，防范开放远程调试端口可能带来的安全风险。
2023-09-06 15:14:42
1402
原创 Python调用Jumpserver的Api接口增删改查
Jumpserver是一种堡垒机系统，它提供了一种安全且集中的方式来管理和控制用户对服务器的访问权限。Jumpserver可以帮助企业实现统一认证、审计日志记录、权限管理等功能，从而提高网络安全性。
2023-09-05 11:44:32
1535
2
原创 掌握Kubernetes API：释放容器编排的潜力
API（Application Programming Interface，应用程序接口）： 是一些预先定义的接口（如函数、HTTP接口），或指软件系统不同组成部分衔接的约定。K8s也提供API接口，提供这个接口的是管理节点的apiserver组件，apiserver服务负责提供HTTP API，以便用户、其他组件相互通信。HTTP Token认证：通过一个Token来识别用户。HTTPS 证书认证：基于CA证书签名的数字证书认证。HTTP Base认证：用户名+密码的方式认证。
2023-08-31 18:41:32
141
原创 JupyterHub实战应用
最近公司搭建了业务模型的服务器，每个人都有一个用户可以使用GPU资源，但是每次写代码要在本地调试好了然后再ssh提交到服务器运行，如果有问题，还要再在本地更改然后再次提交，非常的麻烦。为了解决这个烦恼，我们在GPU服务器上搭建了jupyterhub, 它和notebook不同之处在于它是一个hub，哈哈，也就是notebook的服务器，把它装在服务器上，然后大家可以通过局域网在浏览器上进行python代码的编辑和调试。安装完成后，为了使配置生效，关闭当前终端窗口，然后重新打开一个新的终端。
2023-08-17 15:05:02
1174
原创 实现跨语言互动：如何在Python中调用Java的JavaParser库解析Java源代码
JavaParser是一个Java库，可以用于解析Java源代码并生成抽象语法树（AST）。通过使用JavaParser，我们可以轻松地获取Java源代码的结构信息，比如类定义，方法定义等。这就是如何在Python环境下调用Java的JavaParser库来解析Java源代码的方法。这种跨语言的解决方案不仅能够扩大我们的工具箱，还能够帮助我们更好地理解源代码的结构，并在需要的时候对其进行修改。JavaParser官方文档：https://javaparser.org/
2023-07-13 12:10:36
1392
原创 Python错误处理的艺术：使用retrying库实现高效重试机制
学习如何使用 Python 的 retrying 库来处理在程序运行过程中可能出现的各种异常和错误。retrying 是一种简单、易于使用的重试机制，帮助我们处理由网络问题或其他暂时性错误引起的失败。在很多情况下，简单的重试可能就是解决问题的最好方式。通过本篇博客，你将了解到如何在 Python 中使用 retrying。在默认情况下，retry 会在每次失败后立即重试，直到成功为止。然而，在很多情况下，我们可能希望自定义重试的行为。stop_max_attempt_number：最大重试次数。
2023-07-12 09:27:00
959
原创 限制速度，释放潜力：Python中的ratelimit库解密
速率限制是一种限制某个操作或功能的调用频率的方法。它可以防止恶意用户或程序对系统造成过大的负载或滥用系统资源。速率限制通常通过设置每秒或每分钟允许的最大请求数来实现。ratelimit是一个Python库，它提供了速率限制的功能。它基于令牌桶算法，允许您以简洁而灵活的方式对函数或方法进行速率限制。
2023-07-04 11:04:27
1007
1
原创 GitPySearch: 全局Python代码搜索工具
搜索效率高：该工具通过使用GitLab的API接口进行搜索，避免了手动在每个项目中进行搜索的繁琐过程。它能够快速扫描多个项目，从而节省了大量的时间和精力。全面性：该工具可以在GitLab上进行全局搜索，即同时搜索所有项目，而不仅仅局限于单个项目。这样可以确保没有遗漏任何一个项目，提高了搜索的全面性和准确性。多线程支持：工具采用了多线程的并发处理方式，可以同时处理多个项目的搜索请求，提高了搜索效率。这意味着可以快速地并发搜索大量的项目，更快地找到符合条件的代码片段。
2023-06-21 18:41:14
1922
2
原创 提高错误日志处理效率！使用Python和钉钉机器人实现自动告警聚合
本博客，为我们构建了一个完整的应用日志监控和告警系统，通过ELK技术栈和钉钉机器人的结合，使得我们能够及时发现和处理应用中的错误，提高了团队的工作效率和系统的稳定性。
2023-06-17 18:26:30
1802
原创 实现无间断的自动化：Jenkins与GitLab的定时任务工作流程
Jenkins是一个流行的开源自动化服务器，而GitLab是一个强大的代码托管和协作平台。通过结合Jenkins和GitLab，我们可以建立一个强大的定时任务自动化工作流程，实现代码拉取、构建、测试和部署的自动化。本篇博客将介绍如何使用Jenkins与GitLab相结合，构建一个完整的定时任务自动化流程。
2023-06-12 11:20:03
1636
原创 “实时数据同步：构建高效的 MySQL 数据同步方案“
MySQL数据库本身并不支持快照功能(sqlServer支持) 因此快照备份是指通过文件系统支持的快照功能对数据库进行备份 备份的前提是将所有数据库文件放在同一文件分区中，然后对该分区进行快照操作LVM是LINUX系统下对磁盘分区进行管理的一种机制,LVM使用写时复制(copy-on-write)的技术来创建快照——例如，当创建一个快照时，仅复制原始卷中数据的元数据(meta data 注：data block)，并不会有数据的物理操作，因此 快照的创建过程是非常快的.
2023-06-01 10:53:20
1583
原创 当节点内存管理遇上 Kubernetes：自动调度与控制
然后，您将在这些 Pods 的 YAML 文件中添加容忍度字段，以允许它们在具有更充足内存资源的其他节点上运行。最后，您将设置 SchedulingDisabled 标志，以确保后续的 Pods 不会被调度到这个节点上，直到您解决了该节点的内存问题。在现代的容器化环境中，节点资源的管理是一个重要的任务。通过这样的原理，我们可以在集群中实现对节点内存的动态管理，确保节点资源的合理利用和容器应用的稳定运行。：通过定期执行脚本，可以实时监测节点的内存占用情况，及时做出调整，提高了容器应用的性能和可用性。
2023-05-31 14:13:57
1483
原创 当Python遇上异步编程：实现高效、快速的程序运行！
同步/异步的概念：同步是指完成事务的逻辑，先执行第一个事务，如果阻塞了，会一直等待，直到这个事务完成，再执行第二个事务，顺序执行异步是和同步相对的，异步是指在处理调用这个事务的之后，不会等待这个事务的处理结果，直接处理第二个事务去了，通过状态、通知、回调来通知调用者处理结果。asyncio是python3.4版本引入到标准库python3.5又加入了async/await特性。
2023-05-19 15:58:13
1555
原创 Flask轻松构建钉钉接口模版，实现自动化流程优化
本博客将介绍如何使用Flask框架开发钉钉接口模版。通过本篇博客的学习，您将能够实现企业自定义机器人（Custom Bot）的基本功能，包括接收和发送消息，回复消息模版等。同时，我们也会提供完整的代码和相关技术文档，方便您在实际工作中快速实现自己的钉钉接口需求。
2023-05-13 21:07:25
1101
原创 Calico的BGP打通Kubernetes网络和局域网
Calico 是一个开源的容器网络解决方案，可以通过使用 BGP 协议来管理容器网络。与传统的基于 VXLAN 的解决方案相比，使用 Calico 可以避免网络数据包的封装和解封过程，提高了网络传输的效率和吞吐量。在 Kubernetes 集群中，Calico 可以用来打通 Pod 和局域网的网络，从而实现跨主机通信。
2023-05-11 21:39:12
1488
原创 Python实现批量图片下载及去重处理
下载图片后，我们可以使用 hashlib 库对图片的内容做哈希处理，并将处理后的哈希值作为图片的唯一识别标志，以便进行去重处理。在对图片进行去重处理时，我们需要将下载的图片与已有的图片进行比对，可以使用字典或集合等数据结构来存储已有图片的哈希值，以便查找和比对。在所有的图片下载完成后，我们可以将下载的图片的文件名或哈希值保存到本地文本文件中，以备后续查看或处理。Python 是一种非常流行的编程语言，也是开发爬虫应用的首选，本文将介绍如何使用 Python 下载图片，并对下载的图片进行去重处理。
2023-04-13 19:45:42
1174
原创 Python批量导出阿里云ECS和Redis实例的监控数据到Excel
某公司使用阿里云的 ECS 和 Redis 服务作为其业务支撑，为了及时了解机器的使用情况，领导要求业务部门对所有阿里云机器的平均资源使用率进行统计，并汇总在一个 Excel 表格中，以便领导查看和分析。
2023-04-12 10:53:54
850
原创 Nginx模板自动化
在日常工作中，我们经常需要创建Nginx配置文件的模板，以便在不同的环境中快速部署和配置Nginx服务器。然而，这样的任务通常需要重复性高、耗时长，且容易出错。为了加快这些任务的完成，并提高工作效率，可以使用一些自动化工具来简化Nginx配置文件的生成和管理。其中，一种常见的方法是使用基于文本替换的模板引擎，如Jinja2、Mustache等，将Nginx配置文件中的变量替换为实际的值。
2023-04-10 14:29:25
834
MHA实施文档.zip
2020-06-24
MHA实施文档.pdf
2020-06-24
zabbix4.2.4.zip（包含win版本）
2020-05-09
python爬虫软件
2019-01-03
XSS剖析（让你认识到xss的危害和防范）
2019-01-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人