- 博客(95)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 《 Kubebuilder v2 使用指南 》-P1-总览篇
《 Kubebuilder v2 使用指南 》前言K8s内置的build-in 资源类型，可以组合使用以满足绝大部分场景的部署需求，更进一步地，对于追求更高自由度、有特殊需求的场景下，在kubernetes v1.7 后的版本开始支持CRD(CustomResourceDefinition)，无需修改组件代码，即可通过CRD向APIServer注入自定义资源的方式，对内置资源进行上层封装，实现自定义环境部署和运行逻辑。APIServer会根据CRD的指定，自动生成CRD的restful路径，有关此路径的
2020-05-24 10:40:58
2729
2
原创 Kubernetes源码学习-总篇
前言在熟悉kubernetes及常用组件、插件的管理使用后，总还觉得差了些什么，不够通透，是时候来读一读源码了，结合代码与实际使用场景来互相印证，有助于对kubernetes的理解更为透彻。这里将会分多篇介绍kubernetes各核心组件的工作模式、调度管理算法等。版本Kubernetes v1.14.3 ,最新部署的一套环境是此版本，代码版本保持一致，方便后续测试调试核心组件Sche...
2019-08-08 16:06:11
4624
2
原创 Kubernetes源码-公共库-01-wait-定时(条件)轮询库
Kubernetes源码-公共库-01-wait-定时(条件)轮询库前言在前面的主要组件分析过程中，有数次提及到的wait库让我记忆犹新，这是一个被高频引用的库，各个主要组件如scheduler、controller、kubelet等都常常使用wait库中的function轮询间隔(或条件)触发执行动作。整个wait库只有一个代码文件，代码行数不过400余行，本篇就来完整地分析一下这个库。代码路径: vendor/k8s.io/apimachinery/pkg/util/wait/wait.go分类
2021-11-21 23:13:36
838
原创 Kubernetes源码学习-Kubelet-P1-启动流程
前言在大致分析过k8s的Scheduler、Controller、APIServer三个控制平面组件后，本篇开始进入数据交互平面的daemon组件kubelet部分，看看kubelet是如何在控制平面和数据平面中以承上启下的模式工作的。启动流程启动入口照旧，位于项目的cmd路径下，使用cobra做cmd封装：cmd/kubelet/kubelet.go:39func main() { rand.Seed(time.Now().UnixNano()) command := app.NewKub
2021-05-05 22:16:27
487
原创 Kubernetes源码学习-APIServer-P4-APIServer的鉴权机制
前言在上一篇APIServer-P3-APIServer的认证机制中，讲述了请求进入后的认证过程，在通过认证之后，请求将进入鉴权环节，本篇就此展开。审查请求属性Kubernetes 仅审查以下 API 请求属性：用户 - 身份验证期间提供的 user 字符串。组 - 经过身份验证的用户所属的组名列表。额外信息 - 由身份验证层提供的任意字符串键到字符串值的映射。API - 指示请求是否针对 API 资源。请求路径 - 各种非资源端点的路径，如 /api 或 /healthz。API 请求
2021-02-04 12:12:19
854
原创 Kubernetes源码学习-APIServer-P3-APIServer的认证机制
前言在上一篇APIServer-P2-启动流程中，把APIServer预启动、加载配置、启动 的流程大致过了一遍，其中也有提到，APIServer的认证机制分为多种，以组合的形式遍历认证，任一机制认证成功，则判定请求认证成功，顺利进入下一个授权判定的环节。那么在本篇，就来详细看看这些认证机制。Kubernetes用户所有 Kubernetes 集群都有两类用户：由 Kubernetes 管理的服务账号和普通用户。其中服务账号(ServiceAccount)是提供给集群中的程序使用，以Secret资源
2021-02-03 12:28:19
808
1
原创 Kubernetes源码学习-APIServer-P2-启动流程
Kubernetes源码学习-APIServer-P2-启动流程前言在前一篇开胃菜-基础结构信息对APIServer各类基础信息、结构铺垫的基础上，开始进入APIServer源码的探讨环节。本篇拆分为 预启动、启动种两部分来分析。预启动资源注册前面的基础篇有讲过，scheme是一种内存型的注册表，提供给各类gvk进行注册。在APIServer http服务启动前的第一步，就是将所支持的gvk注册到scheme中，后面的步骤会依赖scheme注册表信息。值得注意的是，并没有函数方法来显示地注册sc
2020-12-01 16:45:03
304
原创 Kubernetes源码学习-APIServer-P1-基础结构信息
Kubernetes源码学习-APIServer-P1-基础结构信息前言APIServer的工作主要围绕着对各类资源对象的管控，因此，在开始阅读APIServer的源码之前，有必要笼统地列举一下它在运行中所用到的核心数据结构等基础性信息，当作是开胃菜篇吧。Group/Version/Kind/Resource在K8s的设计中，resource是其最基础、最重要的概念，也是最小的管理单位，所有的管理对象都承载在一个个的resource实例上，为了实现这些resource的复杂管理逻辑，又进一步地将他们
2020-12-01 16:44:22
381
原创 Kubernetes源码学习-APIServer-总览篇
Kubernetes源码学习-APIServer-总览篇开胃菜-基础结构信息APIServer的启动流程APIServer的认证机制APIServer的授权机制概述APIServer提供了 k8s各类资源对象的CURD/watch、认证授权、准入控制等众多核心功能，在k8s中定位类似于大脑和心脏，它的功能包括：提供了集群管理的REST API接口(包括资源CURD、认证授权、数据校验以及集群状态变更)；是所有模块的数据交互和通信的枢纽，各模块的运作都依赖于APIS
2020-12-01 16:43:30
279
原创 《 Kubebuilder v2 使用指南 》-P8-踩到的坑
前言一路下来踩了不少坑，有一些没有印象了，还有印象的就记录下来，想起来再补充.metadata.resourceVersion: Invalid value: 0x0: must be specified for an update对unit执行scale的时候报错:#~ kubectl scale unit unit-sample --replicas=2The unit "unit-sample" is invalid: metadata.resourceVersion: Invalid va
2020-05-24 10:47:27
2259
原创 《 Kubebuilder v2 使用指南 》-P7-本地调试和发布Controller
本地调试和发布Controller前言前面几篇已经完成了初步的代码编写，但随后还需要 调试测试 --> 正式发布 到K8s集群内。这个步骤是官方文档内简笔带过的，极易带来困扰，写代码很难一气呵成，总会有error需要调试，但不可能每次为了调试一两行代码或加个打印输出，重复进行打镜像、推镜像、重启pod这一系列繁杂的操作，本篇专门讲述如何使用本地开发环境连接K8s集群进行调试，以及测试完毕后正式发布到K8s集群中运行。调试/测试众所周知，APIServer交互是需要TLS加密的，CRD cont
2020-05-24 10:46:50
2675
6
原创 《 Kubebuilder v2 使用指南 》-P6-CRD Admission Webhook
CRD Admission Webhook前言前面的文章中，实现了Unit资源对象实例持久化之后的controller管理的过程。除此之外，Kubernetes额外支持了一些很有趣且实用的功能，例如经常被用在资源准入控制上的Adminssion Webhook，它是对APIServer接收准入请求的扩展。详情请参考官方文档:extensible-admission-controllers认识Adminssion Webhook什么是Adminssion Webhook？在官方文档里对的话来说就是
2020-05-24 10:46:06
1217
原创 《 Kubebuilder v2 使用指南 》-P5-实现CRD控制逻辑
实现CRD控制逻辑前言上一篇已经设定了Unit所要实现的目标，完成了Unit结构体各子字段、ownResource字段的填充，为控制逻辑的实现做了基础铺垫。本篇主要解决和实现的控制逻辑：如何管理Unit下属的own Resources如何使Unit和own Resources生命周期绑定删除Unit资源前能否做一些自定义操作逐一来实现。管理own Resources如前文所说，一共设计了5种ownResource分别对应StatefulSet/Deployment/Ingress/Se
2020-05-24 10:44:13
1390
原创 《 Kubebuilder v2 使用指南 》-P4-从零开始设计一个CRD
从零开始设计一个CRD前言经过前面的铺垫，相信现在对kubebuilder的工作模式已初具了解，那么从本篇开始，正式设计一个CRD。本文对于Unit的设计，是基于我的个人场景下的需求提炼出来的，不一定适合你，但着重点在于思路，希望能有帮助。面临的现状在我的场景下，应该也是大多数人的场景下，通常一个运行服务(姑且这么称呼)，使用一系列build-in 类型资源进行组合，来保障运行和提供服务，例如，最常用的组合有：StatefulSet/Deployment/Ingress/Service/Ingres
2020-05-24 10:43:19
959
2
原创 《 Kubebuilder v2 使用指南 》-P3-认识Kubebuilder
认识Kubebuilder前言没有人会喜欢黑盒，在使用一个工具之前，我习惯于尽可能多地去了解它，不然用起来会觉得不踏实。Controller的工作流程已经很熟悉了，理解kubebuilder的源码应该也比较容易。因此，大概阅读了一下了kubebuilder的源码，本篇圈出其中几个重点，用以帮助理解和认识kubebuilder。概念名词下面几个概念名词非常的重要，文中会多次提及。Own ResourceCRD一般设计用作管理k8s内置的各类资源组合，用以实现自定义的部署和运行逻辑，是一种上层封装，
2020-05-24 10:42:27
4064
原创 《 Kubebuilder v2 使用指南 》-P2-环境准备
环境准备Requirementsgo version v1.13+.docker version 17.03+.kubectl version v1.11.3+.kustomize v3.1.0+除了上面的工具和环境以外，需要有一套可连接的kubernetes环境，要求配置好kubectl config，以便能直连进行调试。由于Feature gates的 --CustomResourceWebhookConversion参数是在v1.15及以上的版本k8s才默认为true，为了避免版本导
2020-05-24 10:41:56
518
原创 kubeadm修改默认证书有效期，解决证书过期问题
kubeadm 修改默认证书有效期前言出于安全考虑，k8s 团队推荐定期更新版本，因此kubeadm生成的证书，有效期默认在代码中写死为1年，一旦证书过期，k8s集群将会崩溃，因此，续期 or 升级，成了一个一年一度必选题。但在生产环境中，每一次版本更新可能存在未知的风险，给已经稳定运行的集群带来诸多不确定性，而每年续期一次证书，对管理不太友好，频繁手动操作也可能会带来额外的风险。去年部署的1.14的集群，证书快要到期了，现在决定修改kubeadm的源码重新编译，将续期证书的有效期进行延长。本篇记载分析
2020-05-12 09:01:29
4587
原创 Kubernetes源码学习-Controller-P5-StatefulSet Controller
P5-StatefulSet Controller前言在前面的几篇文章中，先对deployment controller进行了初步分析:Controller-P3-Deployment Controller严格来讲deployment的管理pod的逻辑是基于replicaSet来实现的，因此接下来结合replicaSet controller进行了深入:Controller-P3-Rep...
2020-04-08 20:59:38
909
原创 Kubernetes源码学习-Controller-P4-ReplicaSet-Controller
P4-ReplicaSet Controller前言在上一篇文章中，对deployment controller的工作模式进行了详细地分析:[Controller-P3-Controller](https://github.com/yinwenqin/kubeSourceCodeNote/blob/master/controller/Kubernetes源码学习-Controller-P3-...
2020-03-24 19:42:27
427
原创 Kubernetes源码学习-Controller-P3-Controller分类与Deployment Controller
P3-Controller分类与Deployment Controller前言Controller部分的第一篇文章中，我们从cobra启动命令入口开始，进入到了多实例leader选举部分的代码，对leader选举流程做了详细地分析：Controller-P1-多实例leader选举接着在第二篇中，文字和图解简单描述了controller是如何结合client-go模块中的informer工...
2020-01-31 16:05:26
381
原创 Kubernetes源码学习-Controller-P2-Controller与client-go
病毒肆虐，阴雨连绵，门房紧闭，亲友不问，冷冷清清，甚是无趣。坐下写写代码，总结下过去一年所学，整理两篇文章，倒也算是乐得自在。盼疫情早日控制，春回大地，愿同胞们身体安康，祝新年快乐！P2-Controller与client-go前言Controller作为k8s的资源控制组件，必定要实时地监控对比资源的目标状态和当前状态，这其中会与apiserver产生大量的交互。在k8s中，k8s各个组件...
2020-01-26 14:15:18
545
原创 kubernetes挂载cephfs带来的mds卡顿问题及引入cephfs storageClass
kubernetes挂载cephfs带来的mds卡顿问题及引入cephfs storageClass前言前面的文章中，有写过如何在kubernets中组合pv/pvc，使用cephfs进行数据的持久化存储：cephfs 在kubernetes中的使用但是在经过一段时间的使用后，发现此方式意外地会造成ceph mds严重的性能问题，本文将介绍如何使用cephfs storageClass避免...
2020-01-06 08:45:08
2883
4
原创 kubernetes 部署redis cluster
kubernetes 部署redis cluster前言Redis cluster的集群关系的维系，并非是依赖于ip的，而是依赖于cluster内部的唯一id, ip只在首次建立集群关系时连接彼此使用，不作为成员连接凭据，取而代之的是id。画外音：只要持有id，容器重启ip怎么变化都不会影响到维系redis cluster的成员关系。那么id怎么保存的呢？redis cluster在建立起来...
2020-01-03 18:10:32
1131
原创 Etcd 和 kubernetes master的灾备与恢复
Etcd和kubernetes master的灾备与恢复背景说明问题：假设某台带有etcd的k8s master节点完全故障，彻底无法恢复方案：新启动一台主机，配置为故障master主机相同的ip和主机名，并尝试原地恢复，顶替原故障master节点Etcd恢复参考官方文档：https://github.com/etcd-io/etcd/blob/master/Documentation...
2020-01-01 17:42:15
706
原创 Kubernetes源码学习-Controller-P1-多实例leader选举
P1-多实例leader选举.md前言Kubernetes多master场景下，核心组件都是以一主多从的模式来运行的，在前面scheduler部分的文章中，并没有分析其主从选举及工作的流程，那么在本篇中，以controller为例，单独作一篇分析组件之间主从工作模式。入口如scheduler一样，controller的cmd启动也是借助的cobra，对cobra不了解可以回到前面的文章中查...
2019-12-10 19:23:43
799
2
原创 Kubernetes源码学习-Controller-总览篇
Controller源码分段阅读导航多实例leader选举Informer工作流程Deployment ControllerStafulSet Controller待补充概述kube-controller的作用引述首先依照惯例，贴两篇官方对 于controller的设计逻辑和运行机制的说明文档：https://github.com/kubernetes/communi...
2019-12-10 19:22:32
517
原创 Kubernetes各组件参数配置优化建议
Kubernetes各组件参数配置优化建议kubernetes虽然默认配置下已经足够可用满足常见的中小规模场景，但是若是将各组件参数、内核参数进行适当的调整，以达到更贴合使用场景的参数值，对集群运行的稳定性、故障切换能力等方面会有不小的提升。下面介绍一下各组件生产运行常做的一些参数调整。Kubelet参数配置kubelet在各个组件之中，作为唯一的分布在每个节点上的daemon控制程序，应该...
2019-11-18 16:16:02
4193
原创 Golang并发模型
Golang并发模型前言Go实现了两种并发形式。第一种是大家普遍认知的：多线程共享内存，这是最常见的各语言中的多线程并发模型，go本身也支持。另外一种是Go语言特有的，也是Go语言推荐的CSP（communicating sequential processes）并发模型。Go语言提倡以通信的方式来共享内存，这句话相信看过一些go相关文档的同学一定不陌生:Do not communicate...
2019-09-25 18:04:31
631
原创 Kubernetes源码学习-Scheduler-P5-Pod优先级抢占调度
P5-Pod优先级抢占调度1. 前言前面的两篇文章中，已经讲过了调度pod的算法(predicate/priority)，在kubernetes v1.8版本之后可以指定pod优先级(v1alpha1)，若资源不足导致高优先级pod匹配失败，高优先级pod会转而将其驱逐，抢占低优先级pod的资源，那么本篇就从代码的层面展开看一看pod抢占部分的逻辑。2. 抢占调度入口在P1-入口篇中我们找...
2019-09-03 18:17:18
344
原创 Kubernetes源码学习-Scheduler-P4-Node优先级算法
P4-Node优先级算法前言在上一篇文档中，我们过了一遍node筛选算法：p3-Node筛选算法按调度规则设计，对筛选出的node，选择优先级最高的作为最终的fit node。那么本篇承接上一篇，进入下一步，看一看node优先级排序的过程。Tips: 本篇篇幅较长，因调度优选算法较为复杂，但请耐心结合本篇阅读源码，多看几次，一定会有收获。正文1. 优先级函数1.1 优先级函数入口...
2019-08-22 17:03:31
525
原创 hexo图片展示-blog图床迁移至七牛云
前言上一篇中，搭建好了hexo next主题的博客，将cxxn中的所有博客导出为md文档后再全部上传到hexo站内，但是有一个很大的问题：hexo本地图片无法显示，需要安装插件，然后以非md外链的格式插入图片，这使用起来相当不便且不通用，因此放弃插入本地图片的方案。导出的md中的图片外链有的是csdn站内的，有的是github仓库里的，为了保证md中的图片能在各平台都正常显示，了解到七牛云免费提...
2019-08-20 17:58:28
736
原创 Hexo+Github-pages: 免建站快速部署你的专属博客
前言C某某N博客的页面样式实在不敢恭维，广告不少，最厉害的在于写作积分还不能用于下载，近两年Hexo挺火的，结合github pages使用，纯md文档输出，自动生成简洁好看的web页面，建站的步骤都可以省略了，试用一番下来体验确实尚可，记录一下部署过程1. 创建github pages登录github，新建一个repo，repo名强制要求为username.github.io，其中user...
2019-08-20 16:54:52
345
原创 Kubernetes源码学习-Scheduler-总览篇
调度器总体设计调度器源码分段阅读目录调度器入口调度器框架Node筛选算法待补充概览首先列出官方md链接，讲解颇为生动：https://github.com/kubernetes/community/blob/master/contributors/devel/sig-scheduling/scheduler.md这里用结合自己阅读代码的理解做一下翻译。工作模...
2019-08-20 15:34:42
266
原创 Kubernetes源码学习-Scheduler-P3-Node筛选算法
P3-Node筛选算法前言在上一篇文档中，我们找到调度器筛选node的算法入口pkg/scheduler/core/generic_scheduler.go:162 Schedule()方法p2-调度器框架那么在本篇，由此Schedule()函数展开，看一看调度器的node筛选算法，优先级排序算法留作下一篇.正文Schedule()的筛选算法核心是findNodesThatFit()方...
2019-08-20 15:33:30
279
原创 Kubernetes源码学习-Scheduler-P2-调度器框架
调度器框架前言在上一篇文档中，我们找到了sheduler调度功能主逻辑的入口:P1-调度器入口篇那么在本篇，我们基于找到的入口，来进入调度器框架内部，看一看整体的逻辑流程,本篇先跳过调度的算法(Predicates断言选择、Priority优先级排序)，只关注pkg/scheduler目录内的scheduler框架相关的逻辑流向，摸清scheduler框架本身的代码结构，调度算法留在后面的...
2019-08-20 15:31:41
363
原创 Kubernetes源码学习-Scheduler-P1-调度器入口篇
调度器入口前言本篇介绍scheduler的初始化相关逻辑入口之前入口函数是位于cmd/kube-scheduler/scheduler.go中的main()方法,调用的是app.NewSchedulerCommand()方法，跳转至此方法，可以看到函数上方的注释：// NewSchedulerCommand creates a *cobra.Command object with def...
2019-08-20 15:11:39
373
原创 golang算法练习：排序
需求排序操作，列举常见的几种排序模型:冒泡、选择、插入、快排备注：需求和运行输出结果均已在代码中注释冒泡代码：package mainimport "fmt"/*思路：从第一个元素开始循环，与其相邻的元素两两比较，若左边元素大于右边元素，则两者互换位置，保持右边的元素比左边元素大的排序原则分两层循环，外层循环的成员是所有元素，内层循环是成员右边的元素*/func ma...
2019-07-22 17:34:13
265
原创 golang算法练习：单链表/双链表/环形链表
需求链表，常见且非常灵活的数据模型，可定制性强，可根据需求调整满足不同的使用需求，如FIFO\LIFO，快速查找等，这里分别列举基础的单向链表和双向链表增删改查操作单向链表代码package mainimport ( "errors" "fmt")type Node struct { id int name string next *Node}type Sin...
2019-07-18 17:42:53
597
原创 golang算法练习：基于array的队列实现
需求队列，很常用的FIFO(先入先出)数据模型，下面尝试使用golang的array数据结构来实现队列模型简单队列代码：package mainimport ( "fmt")type SingleQueue struct { Cap int `json:cap` // 容量 Arr [5]int `json:arr` // 成员数组 Head int ...
2019-07-18 17:30:58
638
原创 k8s(十六): VXLAN和Flannel
前言目前k8s中比较常用的cni有calico、flannel、kube-router等，个人比较熟悉的是kube-router的bgp纯直通方案，flannel则是另一款使用较多的比较简单易用的方案，这里着重了解一下flannel的vxlan这一常用模式VXLAN在了解flannel之前，有必要掌握vxlan的基础知识。首先来看看vxlan协议的报文封装格式：说明：vxlan，给数据...
2019-07-17 16:57:41
4070
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人