qq_42227818的博客

原创 Hadoop 3.x（入门搭建+安装调优）(二-HDFS)

P39 HDFS课程介绍P40 HDFS产生背景和定义多台服务器存储其中 一部分 HDFS不能进行修改，上传来的文件只能追加P41 HDFS优缺点每个文件块占150字节，内存128G，算下来能存9亿个文件P42 HDFS组成namenode管理谁在什么位置，块的存储信息，处理客户端读写请求2nn并非namenode热备，当namenode宕机后，并不能马上替换namenode服务。只是辅助namenode，分担工作量，定期 合并fsimage和editsP43 HDFS

原创 Hadoop 3.x（入门搭建+安装调优）(一)

整体介绍P2 大数据的概念P3 大数据特点P7 hadoop是什么hadoop发展历史P10 hadoop三大发行版本hadoop优势P12 hadoop 2.x和3.x区别P13 HDFS架构概述namenode，记录每个文件块存储位置，数据存储在什么位置，防止单节点故障，会有secondary namenode作为秘书datanode，具体存储数据P14 yarn架构概述yarn是一个资源管理器，cpu，内存。resourcemanag

原创 2022/01/10 老男孩带你21周Go语言 （十四）

P202 raft选主实现候选人遇到 3种情况会结束：1.当选leadr2.其他服务器成为leader3.卡死go实现raft选举，raft可以定义一个结构体，根据结构体写代码1.使用代码实现3节点选举2.改造代码成分布式选举代码，加入 rpc调用3.演示完整代码定义三个节点常量 ，声明leader对象，任期和leaader id编号**声明raft结构体，锁nri sync.Mutex节点编号me int当前任期current term为哪个节点投票 v

原创 2021/12/16 老男孩带你21周Go语言 （十三）

P182 gin请求右边部分是restful风格api还可以带一个函数参数要求是handlerfunc必须要加这么一个参数默认会去做一些事情new是真正创建了路由egine.Use(Logger(),Recovery())，用了2个中间件logger和recovery也可以创建不带中间件的路由这就会截获参数写一个表单页面多选框是postformarray数组P183 gin路由saveUploadFile保存上传的文件只要

原创 2021/12/5 老男孩带你21周Go语言 （十二）

P170 内容回顾P171 今日内容P172 ES介绍logtranfer相当于把日志从kafka搬到es里。GitHub的检索其实就是用的estype是索引的逻辑类别/分区，语义是以使用者来变。es和mysql的概念对比：es的index相当于mysql的database。type对应 表的概念。document相当于数据行 的意思。field对应数据字典mapping对应mysql的schem启动，默认是在9200端口P173 ES搭建及常见AP

原创 2021/11/24 老男孩带你21周Go语言 （十一）

P158内容回顾TODO，比如有些函数包里定义的必须要传context.context对象，这时候你不知道传什么，这是你的模块不需要conetxt的一些超时或者deadline的控制，那就传一个TODO即可，方便 向后兼容。background会提高一个根节点，往下传递。withcancel，返回一个ctx对象和一个取消函数，把它当参数传到goroutine的一个执行的函数里，cancel就进行 在外面goroutine控制子goroutine的退出。withTimeout设置一个相对时间witt

原创 2021/11/12 老男孩带你21周Go语言 （十）

P144 今日内容P145 上周作业思路带参数的GET请求示例package mainimport ( "fmt" "io/ioutil" "net/http")func main() { apiUrl := "http://127.0.0.1:9090/get" // URL param data := url.Values{} data.Set("name", "小王子") data.Set("age", "18") u, err := url.ParseReques

原创 2021/11/5 老男孩带你21周Go语言 （九）

P129 内容回顾P130 今日内容P131 MYsql介绍P132 使用GO语言链接mysql需要下载第三方的数据库驱动提供了所有泛用的接口可以安全的多个goroutine一起启动DB是一个数据库句柄，包含底层的多个数据库链接，用到一个数据库连接一个数据库，就比较耗时，可以用连接池提前连接起来。把包下载下来open连接数据库，返回一个指针open不会校验用户名密码是否正确，只会判断上面的dsn连接。ip，端口格式是否正确ping会去校

原创 2021/10/20 老男孩带你21周Go语言 （八）

P116 今日分享P117今日内容概要P118 内容回顾01锁。sync.Mutex是一个结构体，值类型，给函数传参的时候要传指针等待组不传指针，是因为一般都定义全局的变量，用来等goroutine执行完再继续为什么要用锁。防止同一时刻多个goroutine操作同一个资源读写互斥锁，适用于读多写少的场景。读的时候其他也能读写的时候其他不能读写12：38...

原创 2021/10/09 Terraform 从入门到精通（三）

P60 Packer introduction在这节课中，我将向你们解释如何与Packer一起使用Terraform。Packer是一种构建AMls的工具。记得在我们的实例中提供软件，我们以前使用terrform和shell命令，Terraform和Chef，但有一个替代方案，替代方案是Packer。Packer是一个可以基于模板构建AWS AMls的命令行工具。与在启动实例后安装软件不同，您可以创建一个带有所有必要软件的AMl。这可以加快实例的启动时间。您可以使用AMI上安装的所有软件启动AMl

原创 2021/10/04 老男孩带你21周搞定Go语言 （七）

P103今日内容P104 内容回顾**在调用前面加上go关键字，就可以开启一个goroutine去执行函数。goroutine对应函数执行完，该goroutine就结束了。main函数启动会自动创建一个goroutine去执行main函数/。**sync.WaitGroup等待组,启动多个goroutine，也不知道哪个结束，要等待goroutine结束，就需要阻塞，之前使用sleep，但sleep不知道goroutine具体什么时候结束。等待组有三个使用方法。定义全局变量var wg

原创 2021/9/19 老男孩带你21周搞定Go语言 （六）

P88 今日内容go的优势就在于并发P89内容回顾go语言的日期要记住，2006-01-02 13：04：05还有after和beforeruntime.caller可以获取到运行时的堆栈信息接口类型的变量底层分为两部分：动态类和动态值。反射的应用，可以解析json，xml各种数据解析，还有orm框架。反射的两个方法：reflact.Typeof得到动态类型的信息，reflact.valueof动态值类型把字符串解析到student的结构体unmarshall参数是

原创 2021/09/06 Terraform 从入门到精通（二）

P38 Route53 demo在这个演示中，我将向你展示Route 53如何使用Terraform。这里我们有一个文件“route53.tf”。有一个资源“aws_route53_zone”。“newtech.academy，并命名为“newtech.academy”。这是我拥有的域名。然后我有一个资源aws_route53_record，我有三个，其中两个是a类型的另一个是MX类型的.A记录是用来解析IP地址的。“server1.newtech。academy"此IP地址和"www.newtec

原创 2021/9/5 老男孩带你21周搞定Go语言 （五）

P75 今日内容P76内容回顾一个文件夹就是一个包，包里都是.go文件。包导入的时候可以起别名，可以匿名导入包。包里面的标识符，需要首字母大写，才被外部可见，可以调用包导入的路径，是从$GOpath的src后面的路径开始写起init是包导入的时候会自动执行，一个包里只有一个init，init没有参数也没有返回值，也不能手动调用，一般用于初始化操作，一般初始化配置文件，数据库链接等。**接口是一种特殊类型，是你要实现的方法的清单。实现了接口的方法就实现了这个接口，就可以作为这个接口类

原创 2021/08/01 Terraform 从入门到精通（一）

课程结构学习的目标能够理解、使用和应用地形知道什么时候使用不同的功能在AWS中使用terraform使用地形与Packer创建自定义图像能够使用terraform应用DevOps技术2. Terraform introductioninfratstucture as code假设您是云提供商的客户，您想启动一些机器，您可以进入web控制台，你可以开始启动一些新实例，但你必须手动操作，你总是需要通过一些表单，点击一些按钮，然后你就可以启动一个实例。Terraform允许你做同样的事情，

原创 2021/8/28 老男孩带你21周搞定Go语言 （四）

P63 今日内容P64 初识接口类型接口是一种类型，结构体也是一种类型，区别其他基本类型，可以展示多维度的数据da谁就会speak，但是这样写就限定了dog类型，cat就传不进去了go语言里不关心一个变量是什么类型，只关心能调用的它的什么方法那这个函数就要限定传进来的类型有speak方法接口就是解决这个问题，约束传递进来的变量方法。像类似的例子在我们编程过程中会经常遇到:比如一个网上商城可能使用支付宝、微信、银联等方式去在线支付,我们能不能把它们当成支付方式来处理呢?比如三角形，

原创 2021/8/12 老男孩带你21周搞定Go语言 （三）

P44 概要P45 回顾函数当成参数传进去，这个函数类型是接收string类型参数的函数函数内部无法申明带名字的函数这就是它的类型闭包有特殊场景，A开发了函数，这个函数需要传函数变量，类似下面的比如把函数传到low里，但是现在是类型不匹配的，因为yuanshuai函数要接收一个string参数包一下传到low里bi的返回值是个函数，fc这个函数，没有参数没有返回值给了low，这样就实现，本来元帅不能传给low，利用bi包一下传给了lowdefer是延迟调用，多用

原创 2021/07/11 老男孩带你21周搞定Go语言 （二）

P30 回顾，运算符和数组var [30]int 长度30 int类型的数组[30]int就代表类型声明变量做初始化[…]代表用后面的初始化，让go主机去数长度数组遍历两种方式，一种是长度，一种是range有长度为3，每个里面是长度2类型为string的数组，多维数组外层的可以是[…]go语言里，函数传的是copy拷贝，传的都是值，所以下面函数修改的是副本的值，原来的值是没有修改的y同样也是拷贝值，不会去修改xP31 回顾 ，切片打印一个空其实就是nil，ni

原创 2021/07/11 老男孩带你21周搞定Go语言 （一）

P1 为什么要学习gogo语言设计之初就考虑到多核CPU了，编译好执行，有几个核就跑满几个核etcd代替zookeeperP2 课上所有物料介绍typora的笔记里偏好设置，图片到当前的.assets文件夹预习的地方P3 安装GO开发环境安装到显眼的目录出现提示就说明安装成功了P4配置GOPATHGO是编译型语言，有很多依赖需要编译进去，就需要配置一个工作区，workspace的概念。就是把所有源代码写到这个目录下面。GOPATH是一个环境变

原创 2021/06/20 九析带你轻松完爆 istio （一）

大纲介绍**istio是一种服务网格的实现，大概从12个方面0 istio的简单介绍1 istio的架构和核心2 **1 istio的架构和核心，有两个平面，数据平面envoy（负责服务间通讯）和控制平面（mixer策略的制订，pilot观察者，服务发现用的galtey配置中心，citadel服务之间调用证书）流量管理，路由security其实是google的alts，有范围，只针对点对点，服务对服务，pod对pod策略和调测可观察性，针对所有网络里的流量都要进行跟踪上面就

原创 2021/06/06 GO语言（二）

21丨构建可复用的模块（包）包作为go语言里最基本的可复用模块。以大写字母的申明，比如函数，struct，活struct里的成员，都是可以被包里的代码访问的。2.代码的package可以和所在的目录不一致（java一般把包名和目录名设置成一致）加一个path路径变量idea也可以直接加path继续使用斐波那契数列，可以用复用包的方式来引用这个代码调用上面创建好的包，目录是要从src开始小写的申明是不可以被包外访问的小写的函数名是不可被包外访问的修改成大写这样就可以被

原创 2021/04/11 GO语言（一）

Go语言简介:历史背景、发展现状及语言特性2007年诞生go语言关键字25个只支持复合，没有继承编写第一个Go程序8之前需要设定环境变量，之后有默认值编译之后的都是二进制文件，编译之后都可以到任何的机器上运行移动到刚创建的hello下同样可以运行，这个跟java需要包和路径保持一致，但是go不需要go只能通过os。Exit来作为返回值也可以异常退出打印的命令行参数变量、常量、以及与其他语言的差异...

原创 2021/04/25 SpringBoot + SpringCloud微服务项⽬交付案例

第1章 SpringBoot + SpringCloud微服务项⽬交付案例1.1 微服务概念传统的是用户通过终端链接到应用里现在服务往越来越小的方向做，把每个服务做成一个独立的功能，每个服务完成特定的功能最大的弊端其实就是跨系统调用有调用其实就有链路追踪，看哪里出了问题这些问题怎么解决就需要用到微服务框架这两个是第一代微服务，第二代就是服务网格Dubbo也是服务框架，和spring cloud比较下有什么区别。Dubbo其实就是解决了服务注册和调用

原创 2021/03/27 K8S集群日志与监控

第1章 k8s日志收集1.1 节点日志代理架构官网对K8S整个日志架构相关的介绍总体分为三种方式：使用每个节点上运行的节点级日志记录代理在应用程序的pod中，包含专门记录日志的sidecar容器将日志直接从应用程序中推送到日志记录后端日志驱动，定义一个大门daemon.json文件，去配置docker选项，log-driver默认会存储到一个文件里，假如不设置，这也是默认设置json-file是默认的一个日志驱动如果日志驱动是json-file，程序的输入输出会打到这个

原创 2021/03/08 从零开始构建基于Kubernetes的DevOps平台

第1章 DevOps平台介绍1.1 基于Kubernetes的DevOps平台实践介绍

原创 2021/02/15 Kubernetes进阶实践

第1章 ETCD数据访问1.1 k8s在etcd中数据的存储这个文件夹是静态文件，etcd是个静态pod，里面存储了K8S的所有数据etcd是容器运行的把etcdctl复制到宿主机提示我们etcdctl环境变量没有设置，默认是v2版本如果搭建高可用，etcd节点数和K8S的master的节点数是一致的允许客户端去认证，下面是签发 的证书需要三个，一个是跟证书，一个是跟证书签发的私钥，公钥后面才是真正查询的，成员列表，以表的方式展现etcd默认监听端口是23

原创 2021/03/04 python开发框架(一)

01-BS开发和HTTP协议cs开发，要实现前后端数据如何理解（往往是tcp协议和udp协议），BS开发，只是B是特殊的client，需要支持http协议，客户端发起的请求往往是urlcer，欧洲原子能中心，基于http协议利用ajax就可以把纯数据传到 浏览器里 去，类似jsonhttp协议是无状态协议，同一个客户端发送的请求毫无关系，在协议里传输特殊的数据表明关系这里就有cookie整个HTTP的头也是KV对 ，cookie里面也是 kv对，cookie一般跟域名相关，bing.c

原创 2021/01/28 k8s核心组件及工作流程

K8S用etcd（CP）存储数据，比如pod在哪个节点上APIserver接收请求，整个集群的访问入口，还有安全访问控制authentication authorization，etcd的数据只能api去写入。所有的数据想要同步只能通过apiserver来做。scheduler把业务容器调度到最合适的节点上去加入告诉K8S集群要启动两个副本，谁去保证有2个副本在启动，这是controller manager管理的，假如有一个挂了，它会再次启动。不管怎么样，它去保证副本数是2，副本控制器r...

原创 2021/01/22 基于sharedLibrary进行CICD流程的优化(二)

消息通知第7章 library集成代码扫描7.1 library集成代码扫描直接去执行代码扫描，等待3秒返回结果检测的时候有一个version概念有时候可以不等待检测结果，可以给一个开关现在去建立sonar的类这样就拿到version，commitid这样就实现动态version变化是否需要等待，然后成功或者失败没有找到scan提交一下提交一下不想检测就false，前面的空值会自动帮你获取version对应上面的version这里少了一

原创 2020/01/10 Yearning数据库审计安装（1）

配置数据库用docker-compose、启动。会有两个容器，一个yearning，一个mysql看一下dockerfile查看帮助创建数据库用户随便改个参数，默认会有安全隐患初始化yearning记录用户名密码启动yearning，默认端口是8000现在管理里创建一个数据库环境是可以在这里设置的root只能本地链接这样就创建好一个数据库了创建一个查询的权限组创建一个修改的组创建一个用户给这个用户进行授权再新...

原创 2020/01/03 基于sharedLibrary进行CICD流程的优化(一)

第1章 shared-library工作模式1.1 sharedLibrary工作模式介绍

原创 2020/12/11 基于Istio实现微服务治理

1.1 istio介绍及安装基于spring-cloud去实现微服务的时候，实现服务治理，spring是基于java的，如果要所有语言都支持服务治理，就需要istio服务网格是一种概念，只是一种思想，istio只是其中一种实现spring cloud无法去跨平台。先把这两个理解为两个pod，如果两个服务pod要进行通信治理，基本实现就是放在业务代码里service mesh是这么做的...

原创 2020/12/11 01-机器学习梯度下降算法与Ridge回归应用1

正态分布其实是尖锥形的东西，越陡峭，平方差越小

原创 2020/12/09 06-机器学习逻辑回归算法实现与应用3

现在就写第二个模型，损失函数loss实际上是把求w的过程变成求概率越大，损失越小线性回归求解损失函数使用MSE，最小二乘法这几个算法其实逻辑差不多避免算出的极小值不靠谱，就有凸优理论梯度下降并不是一个精确值，但是+w，和-w就要判断导数的正负数在哪里梯度下降在右边就是负的，减号损失函数写好，就是小写的l也可以用大写的L...

原创 2020/12/03 05-机器学习逻辑回归算法实现与应用2

决策模型在学习中有一个重要的因素损失函数(并不是每一个公式都可以拿最小二乘法解）线性回归除了做预测还可以做分类，比如鸢尾花数据这个算法是用了sklearn定义一个线性回归的对象，然后把数据放进去开始训练，得到斜率和结局这是预测所以线性回归还可以做分类现在采用统一分布（uniform）的方式取随机值（random）low最小值10000，最高值100000，size取多少个数据线性回归可以做分类，但是先天不足，因为先天的假设就是数据就是尽可能靠拢现在想得到一个分类，都是1，形状是5

原创 2020/11/26 04-机器学习逻辑回归算法实现与应用1

回顾一下线性回归，一般都是用商业数据集，进程数据预测，分析系统，核心是算法为主。深度学习，主要是图像处理，文本处理，比如云字典最小二乘法的数学推导过程，我们只要知道结果是可靠的就行numpy的实现方式用鸢尾花的数据，分类的例子，对1类和2类的分类现在的分类其实是有一些问题，线性回归分类的时候会存在一些数学基础上的不可靠身高和年龄数据也是线性，如果要分类就要采用鸢尾花的数据了，多类分类从线性回归的缺陷，引申到逻辑回归的意义，线性回归就提出了线性的拟合。机器学习有1.

原创 2020/11/23 03-机器学习线性回归算法实现与应用3

程序，先用年龄和身高写出来。尽可能让点在直线周围，称为拟合。第二种数据是鸢尾花，分类还有很多数据，iris鸢尾花，boston房产数据。公式始终是xw+b，最后可以看成x乘系数1，(w/b)b线性回归的算法**一般都是准备数据，训练，可视化。导入x数据和y数据。**产生一个空的数组，把x_data里的数据语言，有多少个数据（取0行），列数增加1，保留数据值再加上dtype，np.float浮点数。Y值，本来是一行，变成多行一列，原来是横过来的数组，变成列的数组，计算就会方便，把y其

原创 2020/11/16 02-机器学习线性回归算法实现与应用2

自然界存在着大量线性关系的数据，线性关系的表达在数学里 用python表达用python表达用python表达，称为内敛模式.行内公式，python表达python表达python表达块模式，独占一行居中这就是线性关系的表达这种表达方式称为初中模式另外的表达模式，x加上a的方式，矩阵和向量的概念这样x和a的乘积就是向量的内积这是大学线性代数学的内积的概念就是从上面的乘积来的也就是用x一组数据，每一个位置对应相乘求和的概念就叫内积线性代数的概念，表达的越简洁越好，真正到计

原创 2020/11/13 01-机器学习线性回归算法实现与应用1

做为一个新的笔记先确定数据源，线性回归的数学基础·线性回归在数学来讲有2个作用，预测的作用，分类的作用三面学习法，背景面（数学推导），基础面，影射法，围攻法线性回归两大背景，预测，分类，从这两方面入手这些是科学计数法表达的数据，年龄和身高的关系这两个是dat的文本文件格式引入魔法指令，图形前如到网页中，是notebook常用的魔法指令nump主要是做数据的表达方式，把传统的标量概念，变成向量的概念，就是对python链式态的元组的扩展，matplotlib是数据可视化，s..

原创 2020/11/11 05-字段类型约束的代码实现