平凡似水的人生-CSDN博客

原创 Amazon ES使用报错随笔

参考地址： https://opensearch.org/docs/latest/api-reference/cluster-api/cluster-settings/#example-request-1。报错原因是es默认的最大分片数不足，导致无法写入数据。

2023-04-18 14:10:10 345 1

原创 Keytool创建密钥对

【代码】Keytool创建密钥对。

2023-04-17 09:47:56 559

原创 kubernetes基于Coredns来设置自定义域名

问题描述由于我们的私有镜像仓库域名是自定义的，所以出现在pod中无法解析的问题，如下图所示，如何解决这个问题那？我们可以基于coredns来配置自定义域名，下面给大家演示一下如何做的基于Coredns配置自定义域名1、修改coredns配置kubectl edit cm coredns -n kube-system#添加以下内容hosts { 10.99.115.9 core.harbor.domain fallthrough}保存退出，过一会儿自动就自动生效了。2、在

2022-04-14 16:34:27 2146

原创 containerd拉取私有仓库镜像报错x509: certificate signed by unknown authority

报错原因分析私有仓库使用的是harbor，由于harbor连接默认需要https认证，crictl拉取镜像默认不带证书访问，所以会报错解决#下载证书并放到指定目录，证书如何下载看下图mkdir /etc/containerd/core.harbor.domaincp ca.crt /etc/containerd/core.harbor.domain/修改containerd配置文件vim /etc/containerd/config.toml#配置endpoint连接地址[p

2022-04-13 22:16:46 9176 1

原创 Helm上传chart包到harbor

前言harbor自带helm私有仓库的功能，不需要再部署一个helm私有仓库，在这里给大家介绍一下helm如何上传chart包到harbor安装插件下载helm-push包wget https://github.com/chartmuseum/helm-push/releases/download/v0.10.2/helm-push_0.10.2_linux_amd64.tar.gz查看helm的plugin路径helm env拷贝插件到指定目录cd /root/.local/sh

2022-04-12 18:08:22 2643

原创 Kubernetes CICD系列之Jenkins Blue Ocean插件

前言给大家介绍一下Jenkins Blue Ocean插件，它可以支持以可视化的方式创建流水线。Blue Ocean插件的特性持续交付(CD)Pipeline的复杂可视化，可以快速直观地理解管道状态。pipeline编辑器：引导用户通过直观的、可视化的过程来创建Pipeline，从而使Pipeline的创建变得更加容器。个性化：以适应团队中每个成员不同角色的需求。在需要干预或出现问题时精确定位，Blue Ocean展示Pipeline中需要关注的地方，简化异常处理，提高生产力。配

2022-04-12 16:08:24 696

原创 Kubernetes使用流量管理平台Istio（五）

基于Istio的授权每个envoy代理都运行一个授权引擎，该引擎在运行时授权请求。当请求到达代理时，授权引擎根据当前授权策略评估请求上下文，并返回授权结果ALLOW或DENY。授权策略支持ALLOW或DENY动作，拒绝策略优先于允许策略。如果将任何允许策略应用于工作负载，则默认情况下，不符合该策略的访问都将被禁止。授权策略selector字段指定策略的目标action字段指定允许还是拒绝请求rules指定何时触发动作rules下的from字段指定请求的来源rules下的to字段指

2022-04-08 21:46:02 579

原创 Kubernetes使用流量管理平台Istio（四）

基于Istio的认证Istio通过客户端和服务器端Policy Enforcement Points（PEPS）建立服务到服务的通信通道，PEPS在istio架构中的实现是envoy。Peer authentication:用于服务到服务的认证，一验证进行连接的客户端。istio提供双向TLS作为传输认证的全栈解决方案，无需更改服务代码就可以启用它。这个解决方案为：为每个服务提供强大的身份，表示其角色，以实现跨集群和云的互操作性。保护服务到服务的通信提供密钥管理系统，以自动进行密钥和证书

2022-04-07 22:58:41 1059

原创 Kubernetes使用流量管理平台Istio（三）

微服务架构下的安全挑战为了抵御中间人攻击，需要流量加密。为了提供灵活的服务访问控制，需要双向TLS和细粒度的访问策略。要确定谁在什么时候做了什么，需要审计工具。Istio的安全保证Istio安全功能提供：身份识别灵活策略透明的TLS加密认证，授权和审计（AAA）工具来保护你的服务和数据Istio安全的目标是：默认安全：应用程序代码和基础设施无需更改深度防御：与现有安全系统集成以提供多层防御零信任网络：在不受信任的网络上构建安全解决方案高层架构用于密钥和证书管理的

2022-04-07 21:21:51 254

原创 Kubernetes使用流量管理平台Istio（二）

流量管理请求路由特定网格中服务的规范表示由Pilot维护。服务的istio模型和在底层平台（Kubernetes、mesos以及cloud foundry等）中的表达无关。特定平台的适配器负责从各自平台中获取元数据的各种字段，然后对服务模型进行填充。istio引入了服务版本的概念，可以通过版本（v1、v2）或环境（staging、prod）对服务进行进一步的细分。这些版本不一定是不同的API版本：它们可能是部署在不同环境（prod、staging或者dev等）中的同一服务的不同迭代。使用这种方式的

2022-04-06 22:02:02 1045

原创 kubernetes通过helm安装kube-prometheus-stack

一、部署1、配置helm仓库helm repo add prometheus-community https://prometheus-community.github.io/helm-chartshelm repo update2、安装prometheushelm -n prometheus-stack install kube-prometheus-stack prometheus-community/kube-prometheus-stac3、查看prometheus版本kub

2022-04-06 17:36:34 2244 2

原创 Kubernetes使用流量管理平台Istio（一）

什么是服务网格？服务网格（Service Mesh）这个术语通常用于描述构成这些应用程序的微服务网络以及应用之间的交互。随着规模和复杂性的增常，服务网格越来越难以理解和管理。它的需求包括服务发现、负载均衡、故障恢复、指标收集和监控以及通常更加复杂的运维需求，例如A/B测试、金丝雀发布、限流、访问控制和端到端认证等。为什么要使用Istio?HTTP、gRPC、WebSocket和TCP流量的自动负载均衡通过丰富的路由规则、重试、故障转移和故障注入，可以对流量行为进行细粒度控制。可插入的策略层和

2022-04-05 14:03:15 1336

原创 containerd使用ctr导入镜像成功，crictl为何查询不到？

1、使用ctr导入镜像ctr image import dashboard.tar#查询镜像，为什么没有刚才导入的镜像？crictl images2、原因分析ctr是containerd自带的工具，有命名空间的概念，若是k8s相关的镜像，都默认在k8s.io这个命名空间，所以导入镜像时需要指定命令空间为k8s.io#使用ctr命令指定命名空间导入镜像ctr -n=k8s.io image import dashboard.tar#查看镜像，可以看到可以查询到了crictl i

2022-04-02 22:01:42 10518 2

原创 Kubernetes使用loki+prometheus+grafana实现日志收集与分析

日志收集系统Lokigrafana loki 是可以组成功能齐全的日志记录堆栈的一组组件与其他日志记录系统不同，Loki是基于仅索引有关日志的元数据的想法而构建的：标签。日志数据本身被压缩并存储在对象存储（例如s3或GCS）中的块中，甚至存储在文件系统本地。小索引和高度压缩的块简化了操作，并大大降低了Loki的成本。基于Loki的日志收集系统Loki- stack子系统Promtail将容器日志发送到loki或者grafana服务上的日志收集工具发现采集目标以及给日志流添加上

2022-03-11 17:50:44 3881 1

原创 Kubernetes CICD系列之tekton工具使用

前言Tekton是一种适用于创建持续集成和持续部署/交付(CI/CD)系统的谷歌开源的Kubernetes原生框架，它支持多云/多集群下进行搭建、测试和部署，可实现滚动部署、蓝/绿部署、金丝雀部署或 GitOps 工作流等高级部署。Jenkins的不足基于脚本的job配置复用率不足代码调试困难基于声明式API的流水线-Tekton自定义可重用可扩展性标准化规模化支持Tekton 核心组件pipline: 对象定义了一个流水线作业，一个pipeline对象由一个或数个ta

2022-03-11 15:25:42 2473

原创 Kubernetes声明式持续交付工具argocd

前言Argo CD是用于Kubernetes的声明性GitOps连续交付工具。为什么选择 Argo CD？应用程序定义，配置和环境应为声明性的，并受版本控制应用程序部署和生命周期管理应该是自动化的，可审核的且易于理解的架构图一、安装argo1、创建命名空间kubectl create namespace argocd2、安装kubectl apply -n argocd -f https://raw.githubusercontent.com/argoproj/argo-cd

2022-03-10 22:56:56 677

原创 Kubernetes CICD系列之Jenkins使用

前言Jenkins是业内比较常用CICD工具，所以先在这里给大家介绍如何在Kubernetes中使用Jenkins来做CICD.流程图一、部署Jenkins1、创建Jenkins podkubectl apply -f jenkins.yaml kubectl apply -f sa.yaml安装成功2、查看Jenkins初始密码kubectl logs jenkins-0 3、登陆Jenkins查看登陆端口http://192.168.0.61:30854/4、配

2022-03-09 22:06:08 1084

原创 Kubernetes安装镜像仓库harbor

前言harbor是vmware开源的企业级镜像仓库，目前是CNCF的毕业项目。它拥有完整的仓库管理、镜像管理、基于角色的权限控制、镜像安全扫描集成、镜像签名等。1、使用helm下载harborhelm repo add harbor https://helm.goharbor.iohelm fetch harbor/harbor --untar#创建harbor namespacekubectl create ns harbor2、修改harbor配置vim harbor/val

2022-03-08 23:28:30 1077

原创 kubespray部署Kubernetes高可用集群

前言kubespray基于ansible-playbook完成集群部署，可以自动完成操作系统层面配置，利用了kubeadm作为集群管理工具，这里介绍一下是如何使用的。实验环境本机mac 部署节点192.168.0.61 k8s-master192.168.0.62 k8s-master192.168.0.63 k8s-node一、环境准备1、安装docker#需要在每个节点上安装dockerapt install docker.io2、配置docker c

2022-03-05 19:33:09 959

原创使用kubeadm搭建Kubernetes高可用集群

一、环境配置1、关闭swapswapoff -avi /etc/fstabremove the line with swap keyword2、配置系统参数cat <<EOF | sudo tee /etc/modules-load.d/k8s.confbr_netfilterEOFcat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-ip6tables = 1net.bri

2022-03-04 00:01:27 626 1

原创 Kubernetes基于extended-resource扩展资源

前言扩展资源是Kubernetes.io域名之外的标准资源名称。它们使得集群管理员能够颁布非Kubernetes内置资源，而用户可以使用它们，下面介绍节点级扩展资源的用法。节点级扩展资源1、生成证书cat ~/.kube/config #生成admin.crtecho LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSURJVENDQWdtZ0F3SUJBZ0lJTzZiVHJEM1FLWWd3RFFZSktvWklodmNOQVFFTEJRQXdGVEV

2022-03-02 22:38:35 853

原创 kubernetes基于node-problem-detector实现异常节点检测

Kubernetes集群可能存在的问题基础架构守护程序问题： NTP服务关闭硬件问题：CPU，内存或磁盘损坏内核问题：内核死锁，文件系统损坏容器运行时问题：运行时守护程序无响应…当Kubernetes中节点发生上述问题，在整个集群中，k8s服务组件并不会感知以上问题，就会导致pod仍会调度至问题节点。Node-problem-detector为了解决这个问题，社区引入了守护进程node-problem-detector,从各个守护进程收集节点问题，并使它们对上游层可见。Kube

2022-03-02 22:33:44 1503 2

原创 kubernetes部署rook+ceph存储

一、安装1、克隆rook代码#node上添加一块硬盘，不小于5Ggit clone --single-branch --branch master https://github.com/rook/rook.gitcd rook/deploy/examples2、创建rook operatorkubectl create -f crds.yaml -f common.yaml -f operator.yaml3、创建ceph cluster#等待pod变为runningkubectl g

2022-02-22 20:49:05 596 1

原创 ubuntu环境下kubernetes 切换容器引擎为containerd

1、关闭相关服务systemctl stop kubeletsystemctl stop dockersystemctl stop docker.socketsystemctl disable dockersystemctl stop containerd2、创建containerd配置文件sudo mkdir -p /etc/containerdcontainerd config default | sudo tee /etc/containerd/config.toml3、修改co

2022-02-21 20:29:40 434 1

原创 ubuntu20.04使用kubeadm安装kubernetes1.23.4

一、环境配置1、关闭swapswapoff -avi /etc/fstabremove the line with swap keyword2、配置系统参数cat <<EOF | sudo tee /etc/modules-load.d/k8s.confbr_netfilterEOFcat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-ip6tables = 1net.bri

2022-02-21 20:27:40 1352 1

原创 CDH集成YCSB测试工具

一、安装准备1、下载包wget http://archive.cloudera.com/cloudera-labs/ycsb/parcels/latest/CLABS_YCSB-0.10.0-1.clabs_ycsb1.6.0.p0.1-el7.parcelwget http://archive.cloudera.com/cloudera-labs/ycsb/parcels/latest/CLABS_YCSB-0.10.0-1.clabs_ycsb1.6.0.p0.1-el7.parcel.sha1

2022-02-19 14:58:19 8595

原创 CDH 离线安装spark2.3

一、安装准备1、下载csd包wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera2.jar2、下载parcel包wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcelwget http://archive.cloudera

2022-02-19 14:49:38 1690

原创 CDH 离线安装kafka

一、安装准备1、下载csd包wget http://archive.cloudera.com/csds/kafka/KAFKA-1.2.0.jar2、下载parcel包wget http://archive.cloudera.com/kafka/parcels/2.1.1/KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcelwget http://archive.cloudera.com/kafka/parcels/2.1.1/KAFKA-2.1.1-1.2.1.1.p0.1

2022-02-19 14:43:32 1333 9

原创 ubuntu20.04修改网卡名称为eth0

1、修改grubvim /etc/default/grub2、更新grubupdate-grub3、修改网卡名称vim /etc/netplan/00-installer-config.yaml4、重启系统reboot5、查看网卡修改成功。

2022-02-19 14:36:55 2730

原创 ubuntu20.04 server安装

镜像下载#可以去ubuntu官网下载指定版本的镜像https://releases.ubuntu.com/20.04/安装系统1、选择语言默认为英语即可2、取消安装更新3、选择键盘语言4、配置ip，可以直接选择dhcp，这里选择配置静态ip5、配置代理，这里不填写6、设置镜像源使用阿里云： https://mirrors.aliyun.com/ubuntu/7、磁盘配置，默认即可格式化磁盘8、设置用户名密码9、设置ssh选择不设置10、服务安装

2022-02-19 14:35:10 15973 4

原创 containerd客户端crictl常用命令

1、查看镜像crictl images2、查看运行的容器#对应用户进程crictl ps3、查看运行中的pod对应sandbox进程crictl pods4、查看pod详细信息crictl inspectp eea1584366c1d5、查看容器详细信息crictl inspect 5389d4e04a9746、查看容器镜像详细信息crictl inspecti 70f5e18fddce8Docker中有的命令Crictl大部分都有。...

2022-02-16 23:04:58 2674 1

原创 kubernetes 切换容器引擎为containerd

1、关闭相关服务systemctl stop kubeletsystemctl stop dockersystemctl stop docker.socketsystemctl disable dockersystemctl stop containerd2、创建containerd配置文件sudo mkdir -p /etc/containerdcontainerd config default | sudo tee /etc/containerd/config.toml3、修改co

2022-02-16 22:54:57 787 1

原创 cdh集群安装

环境说明Cloudera Manager：5.13.3CDH: 5.13.3CentOS 7.3 x64JDK 1.8.0_152MySQL 5.7.20关闭防火墙和SELinux (所有节点)配置时间同步（所有节点）#下载CM安装包(主节点)wget http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gzwget http://archive.cloudera.com/

2022-02-14 21:56:39 1560

原创 Ambari安装报错汇总

1、报错#Centos 7安装 ambari通过Ambari部署系统时，ambari-agent注册失败，在/var/log/ambari-agent的log中可以看到日志显示：ERROR 2018-03-08 15:02:25,223 NetUtil.py:88 - [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:579)ERROR 2018-03-08 15:02:25,223 NetUtil.py:89 - S

2022-02-11 16:37:41 1299

hive-role.zip

hive-server2.jar

Java启动关闭脚本.zip

MongoDB自动迁移脚本

HCIA-Kunpeng Application Developer V1.5 鲲鹏练习题.docx

空空如也