- 博客(145)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Prometheus && Alertmanager + prometheus-webhook-dingtalk 告警
下载地址：https://prometheus.io/download/Prometheus下载地址：https://prometheus.io/download/安装 Prometheus# 解压下载包tar -zxvf prometheus-2.11.1.linux-amd64.tar.gz# 做软链接ln -s /usr/local/src/prometheus-2.11.1.linux-amd64 /usr/local/prometheus配置 Prometheus# 修改 pr
2021-03-04 22:00:30
2308
1
原创 代理的那些事
在研究正向代理和反向代理之前，我们先知晓一下什么叫做代理？代理可以做什么？类比实际生活，代理就类似于一个中介，插入在我们与购买的目标中间进行一些独属操作和信息的反馈。在服务器之间，由客户端发送请求到代理服务器，再由代理服务器传递请求到目标服务器，目标服务器处理之后传递给代理服务器，最后由代理服务器传递响应信息给客户端正向代理(媒人)正向代理，意思就是一个位于客户端和目标服务器之间的服务器，为了从目标服务器取得内容，客户端向代理发送一个请求并指定目标，然后代理向目标服务器转交请求并将获得的内容返回给客
2021-02-26 11:56:11
203
原创 偷懒法 —— windows 下设置 nginx 开机自启动
下载 WinSWhttps://github.com/winsw/winsw/releases/download/v2.10.3/WinSW.NET4.exe 64位系统https://github.com/winsw/winsw/releases/download/v2.10.3/WinSW.NET2.exe 32位系统配置将下载的 WinSW.NET4.exe 复制到 nginx 的安装路径下 ，并修改名称为 nginx-service.exe（名称可以改变，但是后缀名为 .exe）在同目
2021-02-22 17:15:03
293
原创 逼出来的思绪 —— windows 下 nginx 中文路径出现乱码并且无法正常访问的问题解决
首先先把遇到的问题贴出来，可能很多人都会遇到，可以参考一下本文：No mapping for the Unicode character exists in the target multi-byte code pa设置 nginx 编码格式设置 charset 编码格式为 utf-8; 这部分设置在 http 下还是 server 下取决于大家的需求，这里我就直接设置在 http 下。但是细心的童鞋们可能发现了，设置了该编码格式后访问网页端时不会再有中文乱码的问题，但是会遇到一种情况：该路径下的
2021-02-22 17:11:51
4259
原创 我对 Kubernetes 的片面理解 —— 基础篇（持续更新中）
Kubernetes 为何让我如此着迷Kubernetes 的高矮胖瘦（介绍）Kubernetes 功能Kubernetes 边界Kubernetes 大小粗细（组件）Master 组件kube-apiserveretcdkube-schedulerkube-controller-manager声明式的配置创建 Deployment更新 Deployment回滚 DeploymentKubernetes 的高矮胖瘦（介绍）Kubernetes 是一个 可移植 、可扩展 的开源平台。使用 声明式的配置 依
2020-12-25 17:16:27
583
5
原创 企业部署实战 —— 在 k8s 上搭建大数据计算引擎 Flink
Flink前言基本介绍在 k8s 上部署 Flink在 kubernetes 上部署 Flink 集群部署会话集群部署作业集群测试使用 Flink 集群附录前言在 PM 提出要对实时的数据进行分析和对离线数据进行批处理时，我就记起了有一面之缘的强大的计算引擎 Flink，那么为了能够在实际生产环境中使用到它，接下来深入了解一下。基本介绍说到 Flink，我们就需要把一些易于混淆的观点捋一捋：(1) 数据集类型有界数据集：有限不会改变的数据集合无穷数据集：无穷的持续集成的数据集（Apache K
2020-11-17 19:49:45
1548
原创 企业部署实战 —— 搭建面向列的数据库管理系统 ClickHouse
部署 ClickHouse检测本地环境#检查当前 CPU 是否支持 SSE4.2 的命令grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"若当前主机不支持 SSE4.2 或具有 AArch64 或 PowerPC64LE 体系结构的处理器上运行 ClickHouse，则如该方法调整配置用 docker 去构建 ClickHouse使用 DEB 软件包（Ub
2020-11-17 16:48:30
234
原创 windows中虚拟机安装及centos8中工具安装详情
虚拟机安装安装 redis官方网站：https://redis.io/在官网下载 redis 最新的稳定版本wget http://download.redis.io/releases/redis-6.0.8.tar.gz解压 redistar zxf redis-6.0.8.tar.gz由于 redis 是 C 编写的，因此需要 C 语言运行环境yum install -y gcc-c++yum -y install gcc automake autoconf li
2020-10-21 10:38:21
552
原创 常用的使用技巧和情景解答
控制台使用技巧操作快捷键作用Ctrl + r快速查找历史命令Ctrl + l清空屏幕Ctrl + a \ ctrl + e移动光标到命令行首或行尾Ctrl + w \ ctrl + k删除光标之前 / 光标之后的内容VIM 快捷键作用快捷键 ZZ文件保存或退出进程快捷键作用Ctrl + c强行中止程序的执行Ctrl + z挂起一个进程Ctrl + d类似于 “终端中输入 exit 回车”
2020-08-24 13:34:12
212
原创 CI/CD —— 持续集成、持续交付、持续部署的了解
简介CI / CD 改变了开发人员和测试人员如何发布软件。由最初的 瀑布模型 ，到 敏捷开发 ，再到现在使用的 DevOps。随着 DevOps 的兴起，出现了 持续集成（Continuous Integration）、持续交付（Continuous Delivery）、持续部署（Continuous Deployment） 的新方法。从敏捷开发时期看，大多数公司都是每月、每季度或者每年发布/部署软件；但是现在在 DevOps 时代，每周甚至每天多次都是常态。现阶段可以动态更新应用程序，而无需强迫客
2020-08-14 14:14:36
438
原创 Kubernetes进阶篇 —— 高可用集群
k8s高可用集群集群拓扑Loadbalancer部署安装 keepalived haproxyyum install -y keepalived haproxy 配置haproxyvim /etc/haproxy/haproxy.cfgkeepalived配置vim /etc/keepalived/keepalived.conf ### 1 ! Configuration File for keepalived 2 3 global_defs { 4 not
2020-07-29 15:20:18
215
原创 Kubernetes监控篇 —— 资源监控
资源限制Kubernetes采用request和limit两种限制类型来对资源进行分配：request(资源需求)：即运行Pod的节点必须满足运行Pod的最基本需求才能运行Podlimit(资源限额)：即运行Pod期间，可能内存使用量会增加，那最多能使用多少内存，这就是资源限额资源类型：CPU 的单位是核心数，内存的单位是字节一个容器申请0.5个CPU，就相当于申请1个CPU的一半，你也可以加个后缀m 表示千分之一的概念。比如说100m的CPU，100豪的CPU和0.1个CPU都是一样的
2020-07-29 15:20:10
1306
原创 Hadoop大数据平台实战 —— 三个节点（1个master+2个slave）实现全分布式操作
HadoopHadoop简介Hadoop 起源于 Google 的三大论文：GFS：Google 的分布式文件系统 Google File SystemMapReduce：Google 的 MapReduce 开源分布式并行计算框架BigTable：一个大型的分布式数据库上述三大论文的演变关系：GFS —— -> HDFSGoogle MapReduce —— -> Hadoop MapReduceBigTable —— -> HBaseHadoop 名称的由来
2020-07-29 15:19:08
1500
原创 Hadoop大数据平台实战 —— Hadoop单机操作和伪分布式操作
Hadoop下载与安装由于 Hadoop 底层是用 Java 编写，因此还需要安装 JDK下载 Hadoop 和 JDK 的源码包新建普通用户，将源码包移动到普通用户下，并切换到普通用户useradd dsdmv jdk-8u181-linux-x64.tar.gz hadoop-3.2.1.tar.gz /home/dsd/su - dsd解压 JDK 源码包并做软链接tar zxf jdk-8u181-linux-x64.tar.gzln -s jdk1.8.0_181/ jdk
2020-07-29 15:18:50
231
原创 Hadoop大数据平台实战 —— 基础概念
Hadoop 起源于 Google 的三大论文：GFS：Google 的分布式文件系统 Google File SystemMapReduce：Google 的 MapReduce 开源分布式并行计算框架BigTable：一个大型的分布式数据库上述三大论文的演变关系：GFS —— -> HDFSGoogle MapReduce —— -> Hadoop MapReduceBigTable —— -> HBaseHadoop 名称的由来：Hadoop 之父 Doug
2020-07-29 15:18:39
494
原创 Zabbix 监控 —— 邮件管理 + 第三方告警平台
实验环境：主机名称IP地址zabbix192.168.0.10zabbix2192.168.0.11zabbix3192.168.0.12user192.168.0.100zabbix主机可以正常上网\color{red}{zabbix 主机可以正常上网}zabbix主机可以正常上网Zabbix 邮件告警邮件的设置使用邮件告警在 zabbix 主机中安装邮件（发送方）\color{red}{（发送方）}（发送方）yum install
2020-07-29 15:03:43
324
原创 Zabbix 监控 —— 结合 percona 插件实现数据库 mysql 的监控
实验环境：配置 zabbix 监控 mysql确认 mysql 状态为正常开启mysqladmin -uzabbix -predhat -h 127.0.0.1 ping | grep -c alive在 zabbix-agent 主目录（默认情况下为/ var / lib / zabbix）中创建 .my.cnfmkdir /var/lib/zabbix # 建立目录存放配置文件vim /var/lib/zabbix/.my.cnf
2020-07-28 18:19:10
176
原创 Zabbix 监控 —— 配置、API、对 Nginx 的监控
Zabbix 的介绍Zabbix 是一个企业级分布式开源监控解决方案。Zabbix 软件能够监控众多网络参数和服务器的健康度、完整性。Zabbix 使用灵活的告警机制。这样用户可以快速响应服务器问题。Zabbix 基于存储的数据提供出色的报表和数据可视化功能。Zabbix 支持主动轮询（polling）和被动捕获（trapping）。Zabbix 所有的报表、统计数据和配置参数都可以通过基于 Web 的前端页面进行访问。基于 Web 的前端页面确保可以在任何地方访问监控的网络状态和服务器健康状况。Z
2020-07-28 13:22:47
704
原创 敏捷开发部署方案 —— 蓝绿部署、滚动发布和灰度发布
蓝绿部署蓝绿部署。指的是同时运行两个版本的应用，在进行蓝绿部署的时候，并不停止掉老版本，而是直接部署一套新版本，等新版本运行起来后，再将流量切换到新把本上。但是蓝绿部署要求在升级过程中同时运行两套程序，对硬件的要求就是日常所需的两倍。滚动发布滚动发布能够解决掉蓝绿部署时对硬件要求增倍的问题\color{#FF0000}{滚动发布能够解决掉蓝绿部署时对硬件要求增倍的问题}滚动发布能够解决掉蓝绿部署时对硬件要求增倍的问题滚动升级。在升级过程中，并不一下子启动所有新版本，是先启动一台新版本，再停止一台
2020-07-23 18:58:20
878
原创 Kubernetes进阶篇 —— 访问控制
Kubernetes访问控制kubernetes API 访问控制Authentication(认证)认证方式现共有8种，可以启用一种或多种认证方式，只要有一种认证方式通过,就不再进行其它方式的认证。通常启用 X509 Client Certs 和 Service Accout Tokens 两种认证方式Kubernetes集群有两类用户：由Kubernetes管理的Service Accounts (服务账户)和(Users Accounts) 普通账户。k8s中账号的概念不是我们理解的账号
2020-07-13 14:16:03
278
原创 Kubernetes进阶篇 —— 调度
Kubernetes调度默认策略：https://kubernetes.io/zh/docs/concepts/scheduling/kube-scheduler/调度框架：https://kubernetes.io/zh/docs/concepts/configuration/scheduling-framework/调度器通过 kubernetes 的 watch 机制来发现集群中新创建且尚未被调度到 Node 上的 Pod 。调度器会将发现的每一个未调度的 Pod 调度到一个合适的 Node 上
2020-07-13 13:57:08
406
原创 Kubernetes存储篇 —— Volumes
Volumes配置管理容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些隐患。首先,当容器崩溃时，kubelet 将重新启动容器，容器中的文件将会丢失，这是因为容器会以干净的状态重建。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题Kubernetes 卷具有明确的生命周期，与包裹它的 Pod 相同。 因此，卷比 Pod 中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留。
2020-07-13 12:37:05
1274
原创 kubernetes存储篇 —— Configmap
1. ConfigMap配置管理1.1 ConfigMap作用及使用场景ConfigMap用于保存配置数据,以键值对形式存储ConfigMap 资源提供了向 Pod 注入配置数据的方法旨在让镜像和配置文件解耦,以便实现镜像的可移植性和可复用性典型的使用场景填充环境变量的值设置容器内的命令行参数填充卷的配置文件1.2 ConfigMap的创建创建方式使用字面值创建使用文件创建使用目录创建编写configmap的yaml文件创建字面值创建kubectl create co
2020-07-06 19:31:53
256
原创 kubernetes存储篇 —— Secret
1. Secret1.1 Secret配置管理Secret 对象类型用来保存敏感信息,例如密码、OAuth 令牌和 ssh key敏感信息放在 secret 中比放在 Pod 的定义或者容器镜像中来说更加安全和灵活Pod 可以用两种方式使用 secret：作为 volume 中的文件被挂载到 pod 中的一个或者多个容器里当 kubelet 为 pod 拉取镜像时使用secret的类型：Service Account:Kubernetes 自动创建包含访问 API 凭据的 secret,并
2020-07-06 19:11:29
224
原创 kubernetes基础篇 —— Service
1. ServiceService可以看作是一组提供相同服务的Pod对外的访问接口。借助Service,应用可以方便地实现服务发现和负载均衡service默认只支持4层负载均衡能力,没有7层功能。(可以通过Ingress实现)service的类型：ClusterIP:默认值,k8s系统给service自动分配的虚拟IP,只能在集群内部访问NodePort:将Service通过指定的Node上的端口暴露给外部,访问任意一个NodeIP:nodePort都将路由到ClusterIPL
2020-07-06 18:56:38
263
原创 kubernetes基础篇 —— 控制器
官方网站：https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/关闭节点的selinux和iptables防火墙所有节点部署docker引擎
2020-07-03 15:55:40
179
原创 kubernetes基础篇 —— 检测探针
检测探针探针是由 kubelet 对容器执行的定期诊断：ExecAction: 在容器内执行指定命令。如果命令退出时返回码为 0 则认为诊断成功TCPSocketAction: 对指定端口上的容器的 IP 地址进行 TCP 检查。如果端口打开,则诊断被认为是成功的HTTPGetAction: 对指定的端口和路径上的容器的 IP 地址执行 HTTP Get请求。如果响应的状态码大于等于200 且小于 400,则诊断被认为是成功的每次探测都将获得以下三种结果之一:成功:容器通过了诊断失败:容
2020-07-03 15:04:37
820
原创 kubernetes基础篇 —— Pod生命周期
Pod生命周期Pod 可以包含多个容器,应用运行在这些容器里面,同时 Pod 也可以有一个或多个先于应用容器启动的 Init 容器Init 容器与普通的容器非常像,区别是:Init 容器总是运行到完成Init 容器不支持 Readiness,因为它们必须在 Pod 就绪之前运行完成每个 Init 容器必须运行成功,下一个才能够运行如果 Pod 的 Init 容器失败,Kubernetes 会不断地重启该 Pod,直到 Init 容器成功为止。然而,如果 Pod 对应的 restartPol
2020-07-03 15:03:45
157
原创 kubernetes基础篇 —— 资源清单
1. 资源清单1.1 资源清单格式kubectl explain pod ##查询帮助文档1.2自主式Pod资源清单vim demo.yamlkubectl create -f demo.yaml1.3 标签kubectl get pod --show-labels ##查看标签kubectl get pod -l app ##过滤包含app的标签kubectl get pod -L appkubectl label pod demo v
2020-07-03 15:02:47
3086
原创 kubernetes基础篇 ——Pod管理
官方网站：https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/Pod管理Pod 是可以创建和管理 Kubernetes 计算的最小可部署单元，一个 Pod 代表着集群中运行的一个进程，每个 pod 都有一个唯一的 IP一个 pod 类似一个豌豆荚，包含一个或多个容器（通常是docker），多个容器间共享 IPC、Network 和 UTC namespacekubectl
2020-07-03 15:01:26
478
原创 kubernetes基础篇 —— 集群部署
官方网站：https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/1. 集群部署1.1 环境主机IPk8s1192.168.1.20k8s2192.168.1.21k8s3192.168.1.22k8s4192.168.1.23关闭节点的selinux和iptables防火墙所有节点部署docker引擎将k8s2作为mas
2020-07-03 14:59:35
421
原创 kubernetes入门篇 —— 基本介绍
官方网址：https://kubernetes.io/docs/setup/production-environment/container-runtimes/#dockerkubernetes概述Kubernetes 是一个开源的，用于管理云平台中多个主机的容器化的应用。Kubernetes 的目标是让部署容器化的应用简单并且高效（powerful）Kubernetes 提供了应用部署、规划、更新以及维护的一种机制核心特点：能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着，【例如
2020-06-22 17:50:39
311
原创 首席领导者 —— jenkins
1. jenkins持续集成1.1 jenkins简介Jenkins是开源CI&CD软件领导者， 提供超过1000个插件来支持构建、部署、自动化， 满足任何项目的需要。Jenkins用Java语言编写，可在Tomcat等流行的servlet容器中运行，也可独立运行。CI(Continuous integration持续集成）持续集成强调开发人员提交了新代码之后，立刻进行构建、（单元）测试。CD(Continuous Delivery持续交付) 是在持续集成的基础上，将集成后的代码部署到更
2020-06-20 15:59:24
347
原创 Git(三) —— 搭建私人仓库
1. git使用注册github帐号，并新建一个仓库将本地内容推送到github上有两种方式：https方式和ssh方式ssh方式生成本地密钥，并将公钥上传到githubssh-keygencd .ssh/cat id_rsa.pubgit主机和github实现免密推送本地仓库内容到github# 一定要切换到demo【本地git仓库】目录下git remote add origin [email protected]:dsd2333/demo.gitgit push -u o
2020-06-19 19:02:12
867
原创 Git(二) —— Git本地仓库的搭建与使用
《Git葵花宝典》：Git Book1. 实验环境主机信息主机功能git（192.168.1.50）搭建git仓库物理机（192.168.1.250）提供资源2. Git Status状态显示分类Git有三种状态：已提交（committed）、已修改（modified）和已暂存（staged）已修改表示修改了文件，但还没保存到数据库已暂存表示对一个已经修改的文件当前版本做了标记，使之包含在下次提交的快照中已提交表示数据已经安全的保存在本地数据库中状态标记
2020-06-18 18:40:56
277
原创 Git(一) —— git工具
1. gitGIT（分布式版本控制系统）：一个开源的分布式版本，可以有效、高速地处理从很小到非常大的项目版本管理。GIT 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。Torvalds 开始着手开发 Git 是为了作为一种过渡方案来替代 BitKe。Git是开源的分布式版本控制系统中最先进的，用以高效、高速的处理项目版本管理git开发流程：2. 版本控制系统版本控制是一种记录一个或者若干文件内容变化，以便于之后查阅特定版本修订情况的系
2020-06-18 15:01:01
202
原创 解决方案之ELK日志系统
Table of Contents1. Elasticsearch集群部署1.1Elasticsearch简介1.2Elasticsearch安装与部署1.3elasticsearch插件安装1.4elasticsearch分布式部署1.5elasticsearch节点角色1.6elasticsearch节点优化2. logstash数据采集2.1 Logstash简介2.2 Logstash安装与配置2.3 file输出插件2.4elasti...
2020-06-18 12:00:50
469
原创 SaltStack自动化运维
Table of Contents1. SaltStack基础知识和架构解析1.1 SaltStack简介1.2 SaltStack通讯机制1.3 ZeroMQ1.4 传统运维与自动化运维区别1.4.1 传统运维1.4.2 自动化运维1.5 SaltStack组件1.6 Salt具体步骤1.7 SaltStack工具的软件依赖2. 环境安装及部署2.1实验环境2.2 SaltStack的安装与部署3. yaml语法3.1 yaml简介3.2 .
2020-06-15 16:42:24
592
原创 Redis ～ 为MySQL的高峰时刻提供缓存
1. Redis作为MySQL缓存1.1 实验环境node1：192.168.1.11 安装Nginx和php为用户提供服务访问入口node2：192.168.1.12 安装mysql，存储数据node3：192.168.1.13 安装redis作为缓存服务器，缓存mysql数据1.2 LNMP+Redis的实现1.2.1 node1安装Nginx和php安装Nginx解压Nginxtar zxf nginx-1.18.0.tar.gz取消debug模式vim
2020-06-15 14:56:11
188
原创 Redis ～ 数据库的几种常见用法(主从复制、高可用、集群)
Table of Contents1. Redis简介2. Redis配置3. Redis主从复制3.1 配置node2为node1的slave3.2 测试4. Redis高可用(哨兵)4.1 Redis简介4.2 Redis配置4.3 测试5. Redis集群5.1 集群的配置5.2测试1. Redis简介Redis是一个开源的内存中数据结构存储，它可以用作数据库、缓存和消息代理。与memcached一样，为了保证效率，数据都是缓存在内存中。区别..
2020-05-28 21:12:38
198
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人