hzzyu-CSDN博客

循环队列是队列的一种特殊形式。首先介绍队列，然后引申出循环队列。队列又称为“先进先出”FIFO线性表限定插入操作只能在队尾进行，而删除操作只能在队首进行队列也可以采用顺序存储结构或链表结构来实现，分别称为顺序队列和链队列队列的顺序表示—顺序队列用一组连续的存储单元依次存放从队首到队尾的元素，附设两个指针head和tail分别指向队首元素和队尾元素的位置， (有的地方用front 和 rear 表示)当head = tail = 0时表示空队列当插入新元素到队尾时，ta.

2022-05-23 09:08:15 1384

原创 promethues最小化demo示例

Prometheus以scrape_interval（默认为1m）规则周期，从监控目标上收集信息。其中scrape_interval可以基于全局或基于单个metric定义；然后将监控信息持久存储在其本地存储上。Prometheus以evaluation_interval（默认为1m）另一个独立的规则周期，对告警规则做定期计算。其中evaluation_interval只有全局值；然后更新告警状态。type Group struct { name string // prome

2022-05-17 16:42:06 395

原创多活灾备架构

在软件开发领域，「异地多活」是分布式系统架构设计的一座高峰，很多人经常听过它，但很少人理解其中的原理。异地多活到底是什么？为什么需要异地多活？它到底解决了什么问题？究竟是怎么解决的？这些疑问，想必是每个程序看到异地多活这个名词时，都想要搞明白的问题。有幸，我曾经深度参与过一个中等互联网公司，建设异地多活系统的设计与实施过程。所以今天，我就来和你聊一聊异地多活背后的的实现原理。认真读完这篇文章，我相信你会对异地多活架构，有更加深刻的理解。这篇文章干货很多，希望你可以耐心读完。01

2021-12-31 10:16:31 1001

原创 GMP中为什么要有P？

上图是Go 1.2前的调度器实现。GM 调度模型的问题：单一全局互斥锁(Sched.Lock)和集中状态存储导致所有 goroutine 相关操作，比如：创建、结束、重新调度等都要上锁。 Goroutine 传递问题 M 经常在 M 之间传递”可运行”的 goroutine，这导致调度延迟增大以及额外的性能损耗（刚创建的 G 放到了全局队列，而不是本地 M 执行，不必要的开销和延迟）。 Per-M 持有内存缓存 (M.mcache) 每个 M 持有 mcache...

2021-08-03 10:46:05 962

原创 golang defer中err的坑

func main() { err := outerFunc(1) if err != nil { fmt.Println("print err in main:", err) } fmt.Println("Done")}func outerFunc(param int) (err error) { defer func(err *error) { fmt.Println("test 1 print err in defer func:", (*err).Error()) }(&.

2021-05-18 15:45:09 675

原创 grpc在k8s中负载均衡失效事故排查

Kubernetes 的默认负载平衡通常不能与 gRPC 一起使用，在不使用 LoadBalance service 的情况下，因为 HTTP/2 链接复用特性，导致客户端的所有请求都发往同一个 Pod，导致负载不均衡。具体原因可见此文：gRPC Load Balancing on Kubernetes without Tears。原文中对 gRPC 失效的原因的摘抄如下：However, gRPC also breaks the standard connection-level load bala

2021-04-28 13:59:30 981

原创 golang copy-on-write思想应用

copy-on-write 是计算机领域相当经典的优化思想，当然你如果问一个Java 开发者 copy-on-write 有什么作用？他们往往第一反应就是：优雅地解决读多写少场景下的并发问题。确实，众所周知，多线程环境下会出现 data race 的问题，我们以 Java 中的 ArrayList 为例，ArrayList 本身是不保证线程安全的，通常情况，要保证多线程环境下不出问题，就要给 ArrayList 加上读写锁，读要读锁，写要写锁，读与读之间不互斥，读与写之间要互斥，写与写之间也要互斥。

2021-04-26 23:33:52 1711

原创 Go json使用进阶技巧

数字转字符串因为前端 js 对 int64 的处理可能会因为溢出导致无法准确处理，因此我们期望可以返回字符串类型。package maintype A struct { B int `json:",string"`}定制Marshaler/Unmarshal在很多 case 中，我们需要对结构体进行一些定制，比如枚举类型和 string 的转换，比如一些属性的预处理，这个时候我们就需要实现自己的Marshal/Unmarshal方法了。举一个很常见的例子，在 w...

2021-04-26 22:27:36 822 1

原创 i/o timeout ？希望你不要踩到这个http包的坑

问题我们来看一段日常代码。package mainimport ( "bytes" "encoding/json" "fmt" "io/ioutil" "net" "net/http" "time")var tr *http.Transportfunc init() { tr = &http.Transport{ MaxIdleConns: 100, Dial: func(netw, addr string) (net.Conn, error) {

2021-04-26 21:50:03 4550

原创 http/net源码阅读，goroutine泄漏个数分析

问题package mainimport ( "fmt" "io/ioutil" "net/http" "runtime")func main() { num := 6 for index := 0; index < num; index++ { resp, _ := http.Get("https://www.baidu.com") _, _ = ioutil.ReadAll(resp.Body) } fmt.Printf("此时goroutine个数= %d

2021-04-26 21:47:41 298 1

原创【随记】golang 设置 http response 响应头与坑

今天在二开B站kartos框架时，发现怎么设置http的response Header都无法生效。故发现了设置 http response 响应头与坑。1、设置WriteHeader的顺序问题w.WriteHeader(201)w.Header().Set("Name", "my name is smallsoup")用 golang 写 http server 时，可以很方便可通过 w.Header.Set(k, v) 来设置 http response 中 header 的内容。但是需

2021-04-26 21:17:48 556

原创一台Linux服务器最多能支撑多少个TCP连接？

困惑很多人的并发问题在网络开发中，我发现有很多同学对一个基础问题始终是没有彻底搞明白。那就是一台服务器最大究竟能支持多少个网络连接？我想我有必要单独发一篇文章来好好说一下这个问题。很多同学看到这个问题的第一反应是65535。原因是：“听说端口号最多有65535个，那长连接就最多保持65535个了”。是这样的吗？还有的人说：“应该受TCP连接里四元组的空间大小限制，算起来是200多万亿个！”如果你对这个问题也是理解的不够彻底，那么今天讲个故事讲给你听！一次关于服务器端并发的聊天".

2021-04-24 20:24:50 3178

原创 redis连接池运转流程

redis连接池运转流程本文主要介绍redis-pool的PoolSize与MinIdleConns的参数配置对pool中连接数conns以及空闲连接数idleConns的影响PoolSize默认为 10 * runtime.NumCPU()连接池对象： p := &ConnPool{ conns: make([]*Conn, 0, opt.PoolSize), idleConns: make([]*Conn, 0, opt.PoolSize), }在一开始NewPoo

2021-04-16 16:41:37 842

原创 grpc实现流量染色

什么是流量染色流量染色是指根据流量协议设置对应的流量染色规则，对指定的流量进行染色标记，并在整个调用链中携带该标记。通过染色流量可以对特定的流量进行跟踪和路由，所以流量染色功能常被用于灰度发布的场景。在业务系统迭代过程中会不断有新版本发布，在正式发布前，可以使用流量染色控制先进行小规模验证，通过收集使用体验的数据，对应用新版本的功能、性能、稳定性等指标进行评判，然后再全量升级。即使某个新版本出现问题，也只会影响已染色流量，不会将问题蔓延至整个系统，保证整个系统的正常运行。同理，流量染色功能还可以用于

2021-04-08 16:09:12 4720

原创使用go build 进行条件编译

当我们编写的go代码依赖特定平台或者cpu架构的时候，我们需要给出不同的实现C语言有预处理器，可以通过宏或者#define包含特定平台指定的代码进行编译但是Go没有预处理器，他是通过 go/build包里定义的tags和命名约定来让Go的包可以管理不同平台的代码这篇文章将讲述Go的条件编译系统是如何实现的，并且通过实例来说明如何使用1. 预备知识：go list命令的使用在讲条件编译之前需要了解go list的简单用法go list访问源文件里那些能够影响编...

2020-10-22 15:41:19 2508

原创 The Power of Two Random Choices

1. 介绍常见的Load balance算法想必大家都不陌生，Random、Round-robin、Least connection、Consistent hash等应该都耳熟能详，这些算法都在实践中有广泛的应用，例如Nginx、Haproxy等负载均衡模块都有相应算法的实现。本文将和大家分享一种全新的Load balance算法：Power of Two Random Choices[1]，也算是Fast 2019 best paper解读《Distcache: Provable load balan

2020-10-21 23:01:00 817 2

原创什么是一致性 Hash 算法？面试又被问到怎么办？

01数据分片✔︎ 先让我们看一个例子吧我们经常会用 Redis 做缓存，把一些数据放在上面，以减少数据的压力。当数据量少，访问压力不大的时候，通常一台Redis就能搞定，为了高可用，弄个主从也就足够了；当数据量变大，并发量也增加的时候，把全部的缓存数据放在一台机器上就有些吃力了，毕竟一台机器的资源是有限的，通常我们会搭建集群环境，让数据尽量平均的放到每一台 Redis 中，比如我们的集群中有 4 台Redis。那么如何把数据尽量平均地放到这 4 台Redis中呢？最简单的就是取模算法：hash(

2020-10-18 20:20:26 110 2

原创聊聊一致性哈希

既然有一致性哈希，就肯定还有不一致哈希，为啥平时没人说不一致哈希呢？因为常见的哈希都是不一致的，所以就不修饰了，到了一致性哈希才特殊加个描述词修饰一下。哈希一般都是将一个大数字取模然后分散到不同的桶里，假设我们只有两个桶，有 2、3、4、5 四个数字，那么模 2 分桶的结果就是：这时我们嫌桶太少要给哈希表扩容加了一个新桶，这时候所有的数字就需要模 3 来确定分在哪个桶里，结果就变成了：可以看到新加了一个桶后所有数字的分布都变了，这就意味着哈希表的每次扩展和收缩都会导致所有条目..

2020-10-18 20:09:26 129

原创 B站的fail fast原则

首先，超时控制是全链路的超时控制，如果上游刚开始设置5s的context，经过一系列的业务后，如消耗了2s，再到另一个服务，那么此服务的context就只剩3s。其次是fail fast 原则，如果上游已经失败，那么下游需要迅速结束，避免资源的浪费。mysql，tidb等的fail fast做法是每次执行相应操作时，判断当前context是否done，如果已经done，那么不再处理。func ctxDriverExec(ctx context.Context, execerCtx dri

2020-10-16 17:24:09 242 1

原创 B站价值60亿跨年晚会背后的微服务治理

B站价值60亿跨年晚会背后的微服务治理大家都知道微服务有两个痛点，一个是如何拆分微服务，微服务的边界怎么划分制定；二是微服务上了规模之后如何管理，因为只要上了规模，任何小小的问题都可能会被放大，最后导致雪崩效应。一、微服务化带来的挑战上图是我们 B 站全链路追踪的一个截图，这只是其中一个拓扑图的调用链路，就已经非常复杂了。可以想象一下，如果是整个公司所有的调用链路，会有多么复杂。这就带来了微服务治理的复杂性问题：如何保证注册和发...

2020-10-16 10:09:19 219 1

转载 bilibili技术总监毛剑：B站高可用架构实践

https://zhuanlan.zhihu.com/p/139258985

2020-10-16 10:03:57 1520

原创 go-zero的全链路追踪与超时

目前分布式链路追踪系统基本都是根据谷歌的《Dapper大规模分布式系统的跟踪系统》这篇论文发展而来，主流的有zipkin，pinpoint，skywalking，cat，jaeger等。论文链接：https://storage.googleapis.com/pub-tools-public-publication-data/pdf/36356.pdfgo-zero框架全链路追踪思路一.httpServer实现TracingHandlerfunc TracingHandler(next ht

2020-10-10 13:24:03 3780

原创深入理解Golang之context

前言这篇文章将介绍Golang并发编程中常用到一种编程模式：context。本文将从为什么需要context出发，深入了解context的实现原理，以及了解如何使用context。为什么需要context在并发程序中，由于超时、取消操作或者一些异常情况，往往需要进行抢占操作或者中断后续操作。熟悉channel的朋友应该都见过使用done channel来处理此类问题。比如以下这个例子：func main() { messages := make(chan int, 10)

2020-10-06 15:18:13 373

原创 6种延时队列的实现方案

延时队列的应用什么是延时队列？顾名思义：首先它要具有队列的特性，再给它附加一个延迟消费队列消息的功能，也就是说可以指定队列中的消息在哪个时间点被消费。延时队列在项目中的应用还是比较多的，尤其像电商类平台：订单成功后，在30分钟内没有支付，自动取消订单外卖平台发送订餐通知，下单成功后60s给用户推送短信。如果订单一直处于某一个未完结状态时，及时处理关单，并退还库存淘宝新建商户一个月内还没上传商品信息，将冻结商铺等 ……上边的这些场景都可以应用延时队列解决。延时队列的实现我个

2020-09-30 20:45:47 647

原创新版本chrome浏览器带来的跨域请求cookie丢失问题

今天线上业务的跨域接口请求莫名的出现问题，经深入排查，发现新版本的chrome浏览器（80版本之后）对cookie的校验更加严格，SameSite属性默认值由None变为Lax，因此可能会对线上业务带来问题特此与大家同步一下今天的发现，存在跨域接口调用业务的小伙伴可能需要关注。chrome升级到80版本之后(准确的说是78版本之后，灰度测试，如上图，即也可能存在同一版本不同人的浏览器表现不同)，cookie的SameSite属性默认值由None变为Lax，该问题的讨论可参考：https://githu

2020-09-27 22:04:20 4375

原创高效大数据开发之 bitmap 思想的应用

数据仓库的数据统计，可以归纳为三类：增量类、累计类、留存类。而累计类又分为历史至今的累计与最近一段时间内的累计(比如滚动月活跃天，滚动周活跃天，最近 N 天消费情况等)，借助 bitmap 思想统计的模型表可以快速统计最近一段时间内的累计类与留存类。一、背景数据仓库的数据统计，可以归纳为三类：增量类、累计类、留存类。而累计类又分为历史至今的累计与最近一段时间内的累计(比如滚动月活跃天，滚动周活跃天，最近 N 天消费情况等)，借助 bitmap 思想统计的模型表可以快速统计最近一段时间内的累计类与留存类。二、

2020-09-08 09:50:25 277

51单片机 18B20

空空如也