- 博客(100)
- 收藏
- 关注
RSS订阅原创 企业项目实战---ELK日志分析平台之kibana数据可视化（三）
kibana数据可视化一.kibana安装与配置二.建立apache可视化三.启用xpack安全验证四.metricbeat监控插件安装一.kibana安装与配置kibana安装 # rpm -ivh kibana-7.6.1-x86_64.rpmkibana配置vim /etc/kibana/kibana.ymlserver.port: 5601 服务端口server.host: "172.25.3.6"
2021-08-16 17:00:30
344
原创 企业项目实战hadoop篇---HBase高可用集群部署（四）
HBase高可用集群部署一.Hbase 分布式部署一.Hbase 分布式部署hbase 配置[hadoop@server1 conf]$ cat regionservers 172.25.3.2172.25.3.3172.25.3.4[hadoop@server1 conf]$ cat hbase-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?&
2021-08-16 15:02:17
262
原创 企业项目实战hadoop篇---YARN高可用集群部署（三）
YARN高可用集群部署一.YARN高可用集群部署二.yarn 故障切换一.YARN高可用集群部署编辑 mapred-site.xml 文件[hadoop@server1 hadoop]$ vim etc/hadoop/mapred-site.xml <configuration><!-- 指定 yarn 为 MapReduce 的框架 --><property><name>mapreduce.framework.name</name>
2021-08-16 00:20:55
347
1
原创 企业项目实战hadoop篇---hadoop高可用集群部署（二）
hadoop高可用集群部署一.hadoop高可用集群概述二.部署说明三.Zookeeper 集群搭建四.Hadoop 配置及高可用搭建五.故障自动切换一.hadoop高可用集群概述在典型的 HA 集群中,通常有两台不同的机器充当 NN。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作;而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快速的故障恢复。为了让 Standby NN 的状态和
2021-08-15 23:38:47
415
原创 企业项目实战hadoop篇---hadoop安装部署（一）
hadoop安装部署一.hadoop简介二.安装hadoop三.部署伪分布式hadoop四.部署分布式hadoop五. 部署分布式资源管理框架yarn一.hadoop简介HDFS是一个高度容错性的分布式文件系统，可以被广泛的部署于廉价的PC上。它以流式访问模式访问应用程序的数据，这大大提高了整个系统的数据吞吐量，因而非常适合用于具有超大数据集的应用程序中。HDFS的架构如图所示。HDFS架构采用主从架构（master/slave）。一个典型的HDFS集群包含一个NameNode节点和多个DataNod
2021-08-15 22:06:55
1050
原创 企业项目实战---ELK日志分析平台之logstash数据采集（二）
ELK日志分析平台logstash数据采集1.logstash简介2.Logstash安装3.标准输入到标准输出4.标准输入到文件5.标准输入到es主机6.指定文件输入到es主机7.sincedb8.远程日志输入9.多行过滤插件10.grok过滤11.apache服务日志过滤实战logstash数据采集1.logstash简介Logstash是一个开源的服务器端数据处理管道。logstash拥有200多个插件,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(大多都
2021-08-14 22:23:05
576
原创 企业项目实战---ELK日志分析平台之elasticsearch（一）
ELK日志分析平台elasticsearch实战1.elasticsearch简介2.elasticsearch安装与配置3.elasticsearch插件安装4.cerebro可视化容器5.elasticsearch节点优化节点角色节点组合node.data falseelasticsearch实战1.elasticsearch简介Elasticsearch 是一个开源的分布式搜索分析引擎,建立在一个全文搜索引擎库 Apache Lucene基础之上。Elasticsearch 不仅仅是 Luce
2021-08-14 22:22:08
327
1
原创 企业项目实战k8s篇（二十）持续集成与持续交付
持续集成与持续交付一.git工具使用1.git2.git命令使用3.上传gitee（网络仓库）4.gitlab代码仓库二.jenkins持续集成一.git工具使用1.gitGit特点:• 速度• 简单的设计• 对非线性开发模式的强力支持(允许成千上万个并行开发的分支)• 完全分布式• 有能力高效管理类似 Linux 内核一样的超大规模项目(速度和数据量)• 自诞生于 2005 年以来,Git 日臻成熟完善,在高度易用的同时,仍然保留着初期设定的目标。 它的速度飞快,极其适合管理大项目,有
2021-08-11 20:40:59
599
原创 企业项目实战k8s篇（十九）K8s高可用+负载均衡集群
K8s高可用+负载均衡集群一.K8s高可用+负载均衡集群概述二.K8s高可用集群部署1.pacemaker+haproxy的高可用+负载均衡部署2.k8s高可用集群部署一.K8s高可用+负载均衡集群概述配置高可用（HA）Kubernetes集群，有以下两种可选的etcd拓扑：集群master节点与etcd节点共存，etcd也运行在控制平面节点上使用外部etcd节点，etcd节点与master在不同节点上运行堆叠的etcd拓扑外部etcd拓扑二.K8s高可用集群部署使用5台虚拟机se
2021-08-07 16:49:34
1044
原创 普罗米修斯Prometheus安装
支持软件 go、Prometheus、grafana安装go环境[root@server9 ~]# tar -C /usr/local/ -xvf go1.8.3.linux-amd64.tar.gz 添加环境变量[root@server9 ~]# vim /etc/profileexport PATH=$PATH:/usr/local/go/bin[root@server9 ~]# source /etc/profile查看版本[root@server9 ~]# go versio
2021-08-06 22:38:59
182
原创 企业项目实战k8s篇（十八）Helm部署metrics-server
Helm部署metrics-server由于之前已经手动部署过metrics-server，所以不会再遇到初次部署时遇到的问题，具体前置操作可查看之前博客的操作企业项目实战k8s篇（十四）kubernetes资源监控拉取bitnami/metrics-server:0.5.0-debian-10-r59，修改tag并上传本地harbor[root@server3 ~]# docker pull bitnami/metrics-server:0.5.0-debian-10-r590.5.0-debi
2021-08-05 12:31:07
498
原创 企业项目实战k8s篇（十七）Helm部署nfs-client-provisioner
Helm部署nfs-client-provisioner预先配置好外部的NFS服务器共享目录路径 /mnt/nfs拉取nfs-provisioner-v4.0.2镜像，上传至harbor[root@server3 ~]# docker load -i nfs-provisioner-v4.0.2.tar 1a5ede0c966b: Loading layer [==================================================>] 3.052MB/3.0
2021-08-05 12:09:00
607
原创 企业项目实战k8s篇（十六）Helm部署使用及chart仓库搭建
Helm部署使用及chart仓库搭建一.helm概述二.helm安装部署1.helm安装2.helm部署应用补充：删除之前部署pvc三.chart仓库及应用发布1.应用创建2.本地chart仓库及push插件3.应用上传4.应用安装5.应用升级一.helm概述Helm是Kubernetes 应用的包管理工具，主要用来管理 Charts，类似Linux系统的yum。Helm Chart 是用来封装 Kubernetes 原生应用程序的一系列 YAML 文件。可以在你部署应用的时候自定义应用程序的一些 M
2021-08-05 11:22:33
1403
原创 企业项目实战k8s篇（十五）HPA（pod水平伸缩）实例
HPA实例一.HPA简介二.HPA实时调度pod（CPU）三.HPA实时调度pod（CPU+MEM）官网：https://kubernetes.io/zh/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/一.HPA简介HAP，全称 Horizontal Pod Autoscaler， 可以基于 CPU 利用率自动扩缩 ReplicationController、Deployment 和 ReplicaSet 中的 Pod
2021-08-04 22:20:19
437
原创 企业项目实战k8s篇（十四）kubernetes资源监控
kubernetes资源监控一.Metrics-Server简介二.Metrics-Server部署三.图形工具Dashboard部署一.Metrics-Server简介Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。Metrics API 只可以查询当前的度量
2021-08-04 21:45:42
765
原创 企业项目实战k8s篇（十三）k8s容器资源限制
k8s容器资源限制一.k8s容器资源限制二.内存限制三.cpu限制四.namespace限制1.为namespace设置资源限制2.为namespace设置资源配额3. Namespace 配置Pod配额一.k8s容器资源限制Kubernetes采用request和limit两种限制类型来对资源进行分配。request(资源需求)：即运行Pod的节点必须满足运行Pod的最基本需求才能运行Pod。limit(资源限额)：即运行Pod期间，可能内存使用量会增加，那最多能使用多少内存，这就是资源限额。资
2021-08-04 20:45:45
959
原创 企业项目实战k8s篇（十二）kubernetes控制
kubernetes控制一.访问控制原理二.serviceaccount三.UserAccount四.RBAC（Role Based Access Control）五.服务账户的自动化一.访问控制原理kubernetes API 访问控制Authentication（认证）认证方式现共有8种，可以启用一种或多种认证方式，只要有一种认证方式通过，就不再进行其它方式的认证。通常启用X509 Client Certs和Service Accout Tokens两种认证方式。Kubernetes集
2021-08-03 13:40:38
258
原创 企业项目实战k8s篇（十一）kubernetes调度
kubernetes调度一.kubernetes调度概述二.nodename节点选择约束三.nodeSelector节点选择约束四.亲和与反亲和1.节点亲和节点反亲和节点亲和2.pod亲和与反亲和pod亲和pod反亲和五.Taints(污点)1.Taints(污点)简介2.Nodename可以无视任何污点3.标签方式选择node4.容忍标签NoScheduleNoExecute5.cordon、drain、deletecordon 停止调度drain 驱逐节点delete 删除节点一.kubernetes
2021-08-01 16:33:48
321
原创 企业项目实战k8s篇（十）Volumes配置管理
Volumes配置管理一.Volumes概述二.emptyDir卷三.hostPath 卷1.查看pod调度节点是否创建相关目录2.nfs四.PersistentVolume持久卷1.PersistentVolume简介2.PersistentVolume原理使用释放回收访问模式回收策略状态3.NFS持久化存储部署（静态pv）一.Volumes概述容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubelet 将重新启动容器，容器中的文件将会丢失,因为
2021-07-30 22:48:31
328
原创 企业项目实战k8s篇（九）Secret配置管理
Secret配置管理一.Secret概述二.Service Account三.Opaque Secret四.secret应用1.创建secret2.将Secret挂载到Volume中3.向指定路径映射 secret 密钥4.将Secret设置为环境变量五.docker registry一.Secret概述Secret 对象类型用来保存敏感信息，例如密码、OAuth 令牌和 ssh key。敏感信息放在 secret 中比放在 Pod 的定义或者容器镜像中来说更加安全和灵活。Pod 可以用两种方式使用
2021-07-30 21:54:00
192
原创 企业项目实战k8s篇（八）ConfigMap配置管理
ConfigMap配置管理一.ConfigMap简介二.ConfigMap创建1.使用字面值创建2.文件创建3.使用目录创建4.编写configmap的yaml文件三.ConfigMap使用1.通过环境变量的方式直接传递给pod2.通过在pod的命令行下运行的方式3.作为volume的方式挂载到pod内一.ConfigMap简介Configmap用于保存配置数据，以键值对形式存储。configMap 资源提供了向 Pod 注入配置数据的方法。旨在让镜像和配置文件解耦，以便实现镜像的可移植性和可复用性
2021-07-30 20:56:53
211
原创 企业项目实战k8s篇（七）Ingress服务
Ingress服务一.Ingress服务简介二.ingress部署三.域名访问+ingeress-nginx一.Ingress服务简介一种全局的、为了代理不同后端 Service 而设置的负载均衡服务，就是 Kubernetes 里的Ingress 服务。Ingress由两部分组成：Ingress controller和Ingress服务。Ingress Controller 会根据你定义的 Ingress 对象，提供对应的代理能力。业界常用的各种反向代理项目，比如 Nginx、HAPr
2021-07-29 12:12:26
1459
原创 企业项目实战k8s篇（六）k8s网络通信（flannel、calico）
三.vxlan模式k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel，calico等。CNI插件存放位置：# cat /etc/cni/net.d/10-flannel.conflist插件使用的解决方案如下：虚拟网桥，虚拟网卡，多个容器共用一个虚拟网卡进行通信。多路复用：MacVLAN，多个容器共用一个物理网卡进行通信。硬件交换：SR-LOV，一个物理网卡可以虚拟出多个接口，这个性能最好。容器间通信：同一个pod内的多个容器间的通信，通过lo即可实现；
2021-07-28 22:46:53
659
原创 企业项目实战k8s篇（五）service
service一.service简述二.ipvs模式一.service简述Service可以看作是一组提供相同服务的Pod对外的访问接口。借助Service,应用可以方便地实现服务发现和负载均衡。service默认只支持4层负载均衡能力,没有7层功能。(可以通过Ingress实现)service的类型:ClusterIP:默认值,k8s系统给service自动分配的虚拟IP,只能在集群内部访问。NodePort:将Service通过指定的Node上的端口暴露给外部,访问任意一个NodeIP:
2021-07-27 22:47:42
760
原创 企业项目实战k8s篇（四）k8s控制器
k8s控制器一.控制器分类二.Replication Controller和ReplicaSet三.Deployment四.DaemonSet五.StatefulSet六.Job七.HPA一.控制器分类Pod 的分类:自主式 Pod:Pod 退出后不会被创建控制器管理的 Pod:在控制器的生命周期里,始终要维持 Pod 的副本数目控制器类型:Replication Controller和ReplicaSetDeploymentDaemonSetStatefulSetJobCron
2021-07-27 22:36:32
261
1
原创 企业项目实战k8s篇（三）pod生命周期
pod生命周期一.init容器（初始化容器）1.init容器简介2.init初始化二.探针1.探针概述2.livenessProbe存活探针3.readinessProbe就绪探针一.init容器（初始化容器）1.init容器简介Pod 可以包含多个容器,应用运行在这些容器里面,同时 Pod 也可以有一个或多个先于应用容器启动的 Init 容器。Init容器与普通的容器非常像,除了如下两点:它们总是运行到完成。Init 容器不支持 Readiness,因为它们必须在 Pod 就绪之前运行完成
2021-07-27 22:11:48
522
原创 企业项目实战k8s篇（二）pod管理与资源清单
pod管理与资源清单一.pod管理1.pod简介2.pod常用操作二.资源清单一.pod管理1.pod简介Pod是可以创建和管理Kubernetes计算的最小可部署单元,一个Pod代表着集群中运行的一个进程,每个pod都有一个唯一的ip。一个pod类似一个豌豆荚,包含一个或多个容器(通常是docker),多个容器间共享IPC、Network和UTC namespace。2.pod常用操作查看namespaces，default为默认kubectl get namespaces创建de
2021-07-27 20:53:47
291
原创 企业项目实战k8s篇（一）k8s集群部署
k8s集群部署一.k8s简介二.k8s部署一.k8s简介Kubernetes主要由以下几个核心组件组成:etcd:保存了整个集群的状态apiserver:提供了资源操作的唯一入口,并提供认证、授权、访问控制、API注册和发现等机制controller manager:负责维护集群的状态,比如故障检测、自动扩展、滚动更新等scheduler:负责资源的调度,按照预定的调度策略将Pod调度到相应的机器上kubelet:负责维护容器的生命周期,同时也负责Volume(CVI)和网络(CNI)的管理
2021-07-25 15:28:30
1572
3
原创 企业项目实战docker篇（十）docker三剑客swarm及docker集群
docker三剑客swarm及docker集群一.Docker Swarm 简介二.Docker Swarm建立集群三. visualizer监控四.compose+swarm 创建集群五.portainer图形化集群管理工具一.Docker Swarm 简介Docker Swarm 优点任何规模都有高性能表现灵活的容器调度服务的持续可用性和 Docker API 及整合支持的兼容性Docker Swarm 为 Docker 化应用的核心功能（诸如多主机网络和存储卷管理）提供原生支持。do
2021-07-24 22:09:21
532
4
原创 企业项目实战docker篇（九）docker三剑客之compose
docker三剑客之compose一.Docker Compose简介二.Docker Compose部署haproxy一.Docker Compose简介微服务架构的应用系统一般包含若干个微服务，每个微服务一般都会部署多个实例，如果每个微服务都要手动启停，那么效率之低，维护量之大可想而知。Docker Compose是一种编排服务，基于pyhton语言实现，是一个用于在 Docker 上定义并运行复杂应用的工具，可以让用户在集群中部署分布式应用。用户可以很容易地用一个配置文件定义一个多容器的应用
2021-07-23 22:29:21
105
原创 企业项目实战docker篇（八）docker三剑客之machine
docker三剑客之machine一.Docker Machine简介二.Docker Machine实践一.Docker Machine简介Docker Machine 是 Docker 官方编排（Orchestration）项目之一，负责在多种平台上快速安装 Docker 环境。Docker Machine支持在常规Linux操作系统、虚拟化平台、openstack、公有云等不同环境下安装配置docker host。Docker Machine 项目基于 Go 语言实现，目前在 Github
2021-07-23 22:17:39
112
原创 企业项目实战docker篇（七）docker安全
docker安全1.docker安全简述命名空间隔离的安全控制组资源控制的安全内核能力机制Docker服务端防护其他安全特性二.容器资源控制1.CPU限额2.内存限制3.Block IO限制三.docker安全加固1.利用LXCFS增强docker容器隔离性和资源可见性2.设置特权级运行的容器：--privileged=true3.设置容器白名单：--cap-add四.安全加固思路保证镜像的安全保证容器的安全docker安全的遗留问题1.docker安全简述Docker容器的安全性，很大程度上依赖于Li
2021-07-23 21:54:36
198
原创 企业项目实战docker篇（六）docker数据卷
docker数据卷一.数据卷管理1.bind mount2.docker managed volume二.卷插件简介三.convoy卷插件一.数据卷管理为什么要用数据卷docker分层文件系统，性能差，生命周期与容器相同docker数据卷：mount到主机中，绕开分层文件系统和主机磁盘性能相同，容器删除后依然保留仅限本地磁盘，不能随容器迁移docker提供了两种卷：bind mountdocker managed volume1.bind mountbind mount
2021-07-23 21:21:51
110
原创 企业项目实战docker篇（五）docker网络
docker网络一.docker网络概念二.docker原生网络bridgehostnone三.docker自定义网络四.容器通信五.跨主机容器网络ip link set eth1 promisc on一.docker网络概念二.docker原生网络docker安装后会自动创建3种网络：bridge、host、none查看网络docker network lsbridgedocker安装时会创建一个名为 docker0 的Linux bridge，新建的容器会自动桥接到这个接口。brid
2021-07-22 23:48:13
334
原创 企业项目实战docker篇（四）企业级仓库Harbor搭建
企业级仓库Harbor搭建安装Docker-compose配置harbor安装Docker-composecurl -L https://github.com/docker/compose/releases/download/1.13.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose对二进制文件赋可执行权限chmod +x /usr/local/bin/docker-compose测试下docke
2021-07-20 23:31:34
290
原创 企业项目实战docker篇（三）docker私有镜像仓库搭建
docker私有镜像仓库搭建一.私有镜像仓库意义二.私有仓库搭建一.私有镜像仓库意义Docker Hub作为Docker默认官方公共镜像，如果想要自己搭建私有镜像残酷，官方也提供Registry镜像，使得我们搭建私有仓库变得非常简单。所谓私有仓库，也就是在本地（局域网）搭建的一个类似公共仓库的东西，搭建好之后，我们可以将镜像提交到私有仓库中。这样我们既能使用 Docker 来运行我们的项目镜像，也避免了商业项目暴露出去的风险。二.私有仓库搭建载入镜像docker load -i registr
2021-07-20 21:44:16
273
原创 企业项目实战docker篇（二）docker镜像优化
docker镜像优化一.镜像优化概述二.镜像优化流程1.基础镜像制作2.层级结构优化及空间清理3.迁移源镜像4.轻量级源镜像及函数库一.镜像优化概述为什么在存储如此便宜的今天我们仍然需要对Docker镜像进行优化？答： 因为docker镜像太大，带来了以下几个问题：存储开销会导致用户服务器的磁盘空间很紧张部署时间这块影响真的很大，交付件zip包太大，导致用户部署该产品时，花费的时间变长，客户现场中反馈部署时间超过1.5小时，这严重影响用户的体验，降低满意度性能不稳定如
2021-07-20 21:21:36
545
2
原创 企业项目实战docker篇（一）docker容器部署及使用
docker容器部署及使用一.docker简介及基本概念二.docker安装及简单使用1.docker安装2.docker容器部署流程三.docker镜像制作方式1.交互式shell制作镜像2.docker脚本制作镜像一.docker简介及基本概念Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机
2021-07-20 20:10:30
1022
2
原创 SaltStack自动部署zabbix
SaltStack自动化部署脚本结构1.软件仓库模块自动化部署脚本结构1.软件仓库模块[root@server1 salt]# cat repos/init.sls zabbix: pkgrepo.managed: - baseurl: http://172.25.3.250/4.0 - gpgcheck: 0
2021-07-19 14:51:55
137
1
原创 自动化运维工具——SaltStack（下）
SaltStack一.自动化安装keepalived二.job管理1.minion传递给master：2.master从minion收集：三.salt-ssh四.salt-syndic五.salt-api一.自动化安装keepalived配置pillar，在 pillar目录下添加自定义模块[root@server1 srv]# cat pillar/kp.sls {% if grains['fqdn'] == 'server2' %}state: Mastervrid: 51pri: 10
2021-07-18 16:34:34
441
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人