Linzhongyilisha的专栏

原创 Context学习

WithCancel实例：package mainimport ( "context" "fmt")/*Context 包定义了上下文类型，该上下文类型跨越 API 边界和进程之间传递截止期限，取消信号和其他请求范围值。对服务器的传入请求应创建一个 Context，对服务器的传出调用应接受 Context。它们之间的函数调用链必须传播 Context，可以用使用 WithCancel，WithDeadline，WithTimeout 或WithValue创建的派生上...

原创 Go:反射之用字符串函数名调用函数

package mainimport ( "fmt" "reflect")type Animal struct {}func (m *Animal) Eat() { fmt.Println("Eat")}func main() { animal := Animal{} value := reflect.ValueOf(&animal) f := value.MethodByName("Eat") //通过反射获取它对应的函数，然后通过call来调用 f.Call(.

原创 Golang:控制gorountie执行顺序

3个函数分别打印dog、fish、cat，要求每个函数都要起一个goroutine，按照dog、fish、cat顺序打印在屏幕上10次。通过channel传递信号，来控制goroutine的执行顺序package mainimport ( "fmt" "sync" "sync/atomic")func main() { var wg sync.WaitGroup var dogcounter uint64 var fishcounter uint64 var catco.

转载 分布式：随笔

1.传统的网站结构为单一应用架构，也就是把所有的功能都放在一个项目工程里，部署在一台服务器上。2.当访问量越来越大，我们需要通过不断添加服务器的方式来应对越来越大的访问量，产生了集群；或是将应用拆分成几个不相干的应用部署在不同的服务器上，产生了分布式系统。集群：将相同的程序、功能部署在两台或是多台服务器上，这些服务器对外提供的功能是完全一样的，集群就是通过不同横向扩展增加服务器的方式，以提高服务的能力。分布式系统：将两个或多个程序、功能分别运行在两台或多台主机服务器上，这些服务对外提供的功能并不一

转载 Go:流式接口 Fluent Interface

使用场景也就只能在对于同一个业务对象的不断操作下可以简化错误处理，对于多个业务对象的话，还是得需要各种if err != nil的方式。package mainimport ( "bytes" "encoding/binary" "fmt")// 长度不够，少一个Weightvar b = []byte {0x48, 0x61, 0x6f, 0x20, 0x43, 0x68, 0x65, 0x6e, 0x00, 0x00, 0x2c} var r = bytes.NewR..

转载 Go:functional Options编程模式

强烈推荐使用Functional Options这种方式，这种方式至少带来了如下的好处：直觉式的编程 高度的可配置化 很容易维护和扩展 自文档 对于新来的人很容易上手 没有什么令人困惑的事（是nil 还是空）type Server struct { Addr string Port int Protocol string Timeout time.Duration MaxConns int TLS *tls..

原创 Golang:init函数和全局变量执行顺序

package mainimport "fmt"var a = test()func test() int { fmt.Println("全局变量。。。") return 90}func init() { fmt.Println("init 方法。。", a)}func main() { fmt.Println("main 方法", a)}/*全局变量。。。init 方法。。 90main 方法 90*/全局变量→init方法→main方法...

原创 golang:channel死锁

如果子协程向channel中发送完后不关闭channel，主协程在从channel中取数据时会发生死锁package mainimport ( "fmt" "time")func main() { ch1 := make(chan int, 10) go func() { for i := 0; i < 10; i++ { ch1 <- i } }() time.Sleep(5 * time.Second) for i := 0; i < 20.

原创 GPM模型

Golang 为并发而生Golang 从语言级别支持并发，通过轻量级协程 Goroutine 来实现程序并发运行。Goroutine 非常轻量，主要体现在以下两个方面：上下文切换代价小： Goroutine 上下文切换只涉及到三个寄存器（PC / SP / DX）的值修改；而对比线程的上下文切换则需要涉及模式切换（从用户态切换到内核态）、以及 16 个寄存器、PC、SP…等寄存器的刷新；内存占用少：线程栈空间通常是 2M，Goroutine 栈空间最小 2K；Golang 程序中可以轻松

转载 Golang之多路复用gorilla/mux路由介绍

一：golang自带路由介绍#golang自带路由库 http.ServerMux ，实际上是一个 map[string]Handler，是请求的url路径和该url路径对于的一个处理函数的映射关系。这个实现比较简单，有一些缺点：不支持参数设定，例如/user/:uid 这种泛型类型匹配 无法很友好的支持REST模式，无法限制访问方法（POST，GET等） 也不支持正则二：gorilla/mux路由#github地址：https://github.com/gorilla/muxhttp:

转载 Golang之接口型函数和http.Handler接口

一、接口型函数参考Golang必备技巧：接口型函数1.原始接口实现type Handler interface { Do(k, v interface{})}func Each(m map[interface{}]interface{}, h Handler) { if m != nil && len(m) > 0 { for k, v := range m { h.Do(k, v) }.

转载 Golang之高并发原理

用一个简单的web服务探究golang的高并发原理 高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。要做到高并发，就要做到资源合理分配，需要多少就分配多少，反之小马拉大车，拉不动，大马拉小二轮，造成资源浪费。 严格意义上说，单核的CPU是没法做到并行的，只有多核的CPU才能做到严格意义上的并行，因为一个CPU同时只能做一件事。那为什么是单核的CPU也能做到高并发。这就是操作系统...

原创 Go:调用crontab命令定期执行

package mainimport ( "log" "gopkg.in/robfig/cron.v2" //"github.com/robfig/cron")func main() { i := 0 c := cron.New() spec := "*/2 * * * * ?" //每2s执行一次 c.AddFunc(spec, func() { i++ log.Println("cron running:", i) }) c.Start() select {}.

原创 分布式概念： 分布式共识（多个节点达到一致性的过程）

分布式共识就是在多个节点均可独自操作或记录的情况下，使得所有节点针对某个状态达成一致的过程。一致性是指，分布式系统中的多个节点之间，给定一系列的操作，在约定协议的保障下，对外界呈现的数据或状态是一致的。共识是指，分布式系统中多个节点之间，彼此对某个状态达成一致结果的过程。分布式共识技术，是区块链技术共识机制的核心。分布式在线记账方法中，没有银行这样的一个集中方，而是由上述 5 台服务器来记录该笔交易。但是，这 5 台服务器均是有各自想法的个体，都可以自主操作或记录，那么如何保证记录的交...

原创 Go-类型断言

原创 go flag示例

package mainimport ( "bytes" "flag" "fmt" "syscall")func main() { var fullpath, attr string flag.StringVar(&fullpath, "fullpath", "", "the fullpath ") flag.StringVar(&attr, "attr", "", "the attr ") flag.Parse() // getfattr -n "xtao..

转载 Golang之interface

接口类型是由一组方法签名定义的集合。接口类型的变量可以保存任何实现了这些方法的值。注意:示例代码的 22 行存在一个错误。由于Abs方法只为*Vertex（指针类型）定义，因此Vertex（值类型）并未实现Abser。package mainimport ( "fmt" "math")type Abser interface { Abs() float64}func main() { var a Abser f := MyFloat(-math.Sqr...

原创 高效学习方法

学习态度学习是一件“逆人性”的事，就像锻炼身体一样，需要人持续付出，会让人感到痛苦，并随时想找理由放弃。1.高质量的信息源和第一手的知识。2.把知识连成地图，将自己的理解反述出来。3.不断地反思和思辨，与不同年龄段的人讨论。4.举一反三，并践行之，把知识转换成技能。学习不仅仅是为了找到答案，而更是为了找到方法。学习不仅仅是为了知道，而更是为了思考和理解。学习不仅仅是为了开拓眼界，而更是为了找到自己的未知，为了了解自己。学习不仅仅是为了成长，而更是为了改变自己。学习是.

原创 分布式概念：流量控制

网络传输中的流量控制，就是让发送方发送数据的速率不要太快，让接收方来得及接收数据，具体的实现方法就是滑动窗口。滑动窗口指的是，在任意时刻，发送方都维持一个连续的允许发送的数据大小，称为发送窗口；接收方也会维持一个连续的允许接收的数据大小，称为接收窗口。每次发送方给接收方发送数据后，必须收到接收方返回的确认消息，发送窗口才可向后移动，发送新的数据。漏桶策略无论用户请求有多少，无论请求速率有多大，“漏桶”都会接收下来，但从漏桶里出来的请求是固定速率的，保证服务器可以处理得游刃有余。当“漏桶.

原创 分布式概念：负载均衡

负载均衡可以分为两种：一种是请求负载均衡，即将用户的请求均衡地分发到不同的服务器进行处理；另一种是数据负载均衡，即将用户更新的数据分发到不同的存储服务器（数据分片技术）网络层的角度，通常有基于 DNS、IP 报文等的负载均衡方法；分布式系统层，主要包括轮询策略、随机策略、哈希和一致性哈希等；顺序轮询按服务器序号依次选择处理。加权轮询加权轮询为每个服务器设置了优先级，每次请求过来时会挑选优先级最高的服务器进行处理。优点：实现简单，且对于请求所需开销差不多时，负载均衡效果比较明显。缺点：

原创 分布式概念：分布式缓存

缓存技术一般是指，用一个更快的存储设备存储一些经常用到的数据，供用户快速访问。分布式缓存就是指在分布式环境或系统下，把一些热门数据存储到离用户近、离应用近的位置，并尽量存储到更快的设备，以减少远程数据传输的延迟。Redis 分布式缓存原理每个节点都负责一部分数据的存储，同时，每个节点还会进行主备设计来提高 Redis 的可靠性。1.Redis 支持多数据结构。2.Redis 支持持久化。3.Redis 支持主备同步。计算机体系结构缓存由于内存和 CPU 访问速度...

原创 分布式概念：数据复制

数据复制是实现数据可靠性的关键方法。对数据进行备份，以提高数据的可用性和可靠性，而实现数据备份的关键技术就是“数据复制技术”。可以保证存储在不同节点上的同一份数据是一致的。这样当一个节点故障后，可以从其他存储该数据的节点获取数据，避免数据丢失，进而提高了系统的可靠性。主备数据库主备数据库中的数据保持一致。1.比较注重一致性，比如同步复制技术；当用户请求更新数据时，主数据库必须要同步到备数据库之后才可给用户返回，即如果主数据库没有同步到备数据库，用户的更新操作会一直阻塞。这种方式保证了数据的

原创 分布式概念：一致性哈希

存储方案选型时，通常会考虑这三个维度数据均匀：（1）不同存储节点中存储的数据要尽量均衡，避免让某一个或某几个节点存储压力过大，而其他节点却几乎没什么数据。（2）用户访问也要做到均衡，避免出现某一个或某几个节点的访问量很大，但其他节点却无人问津的情况。数据稳定：当存储节点出现故障需要移除或者扩增时，数据按照分布规则得到的结果应该尽量保持稳定，不要出现大范围的数据迁移。节点异构性：根据不同存储节点的硬件配置，分配不同权重比例的数据量。哈希是指，将数据按照提前规定好的函数（哈希函数）映射到相应的存

原创 分布式概念：分布式存储

把数据分布在多台存储节点上，可以为大规模应用提供大容量、高性能、高可用、高扩展的存储服务。而，分布式存储系统就是其具体实现。分布式存储系统的核心，是将用户需要存储的数据根据某种规则存储到不同的机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器里获取。当用户（即应用程序）想要访问数据 D，分布式操作引擎通过一些映射方式，比如 Hash、一致性 Hash、数据范围分类等，将用户引导至数据 D 所属的存储节点获取数据。数据根据数据的特征，这些不同的数据通常被划分为三类：结构化数.

原创 分布式概念：CAP理论

C 代表 Consistency，一致性，是指所有节点在同一时刻的数据是相同的，即更新操作执行结束并响应用户完成后，所有节点存储的数据会保持相同。A 代表 Availability，可用性，是指系统提供的服务一直处于可用状态，对于用户的请求可即时响应。P 代表 Partition Tolerance，分区容错性，是指在分布式系统遇到网络分区的情况下，仍然可以响应用户的请求。网络分区是指因为网络故障导致网络不连通，不同节点分布在不同的子网络中，各个子网络内网络正常。CAP 理论指的就是，在分布式系统中

原创 分布式概念：通信之消息队列（RocketMQ）

比如用户注册，注册完成后发送通知邮件。如果不使用消息队列：1.检查用户注册信息的合法性，如果合法则将注册信息写入数据库中，若不合法，直接返回，流程结束；2.将用户注册信息写入数据库后，给用户发送通知邮件，以告知用户注册的相关信息，比如注册账号等信息。注册消息写入数据库和发送通知邮件这两个组件间是直接交互，且是同步通信方式。那么，从用户提交注册到收到响应，需要等系统完成这两个步骤。引入消息队列作为注册消息写入数据库和发送通知邮件这两个组件间的中间通信者，那么这两个组件就可以实现异步通信..

原创 分布式概念：通信之发布订阅(kafka)

发布订阅的三要素是生产者、消费者和消息中心生产者负责产生数据放到消息中心，消费者向消息中心订阅自己感兴趣的消息，当发布者推送数据到消息中心后，消息中心根据消费者订阅情况将相关数据推送给对应的订阅者。发布订阅的基本工作原理生产者可以发送消息到消息中心，而消息中心通常以主题（Topic）进行划分，每条消息都会有相应的主题，消息会被存储到自己所属的主题中，订阅该主题的所有消费者均可获得该消息进行消费。假设生产者 1 发布一个 Topic 相关数据或消息，消费者 1～3 均订阅了该 Topi

原创 分布式概念：通信之远程调用（RPC）

本地调用，是进程内函数之间的相互调用；远程调用，是进程间函数的相互调用，是进程间通信 IPC（Inter-Process Communication）的一种方式。通过远程调用，一个进程可以看到其他进程的函数、方法等。本地过程调用（Local Procedure Call，LPC），是指运行在同一台机器上的进程之间的互相通信，即在多进程操作系统中，运行的不同进程之间可以通过 LPC 进行函数调用。远程过程调用（Remote Procedure Call，RPC），是指不同机器中运行的进程之间的相互通信

原创 分布式概念：分布式计算（MapReduce、Stream、Actor、流水线）

Map Reduce 模式（海量数据的处理）核心思想：将一个复杂的、难以直接解决的大问题，分割成一些规模较小的、可以比较简单的或直接求解的子问题，这些子问题之间相互独立且与原问题形式相同，递归地求解这些子问题，然后将子问题的解合并得到原问题的解。MapReduce 分为 Map 和 Reduce 两个核心阶段，其中 Map 对应“分”，即把复杂的任务分解为若干个“简单的任务”执行；Reduce 对应着“合”，即对 Map 阶段的结果进行汇总。MapReduce 主要包括以下三种组件：Ma

原创 分布式概念：调度（任务和资源匹配的过程）

调度，为用户任务寻找合适的服务器这个过程，在分布式领域中叫作调度。单体调度任务和分布式系统中的空闲资源直接进行匹配调度。一个集群中只有一个节点运行调度进程，该节点对集群中的其他节点具有访问权限，可以搜集其他节点的资源信息、节点状态等进行统一管理，同时根据用户下发的任务对资源的需求，在调度器中进行任务与资源匹配，然后根据匹配结果将任务指派给其他节点。单体调度器拥有全局资源视图和全局任务，可以很容易地实现对任务的约束并实施全局性的调度策略。所有节点的资源以及用户的任务均由中央服务器统一管理和调

原创 分布式概念：集中式架构(Mesos、Kubernets)与非集中式结构（Redis）

集中式结构由一台或多台服务器组成中央服务器，系统内所有的业务也均先由中央服务器处理。多个节点服务器与中央服务器连接，并将自己的信息汇报给中央服务器，由中央服务器统一进行资源和任务调度：中央服务器根据这些信息，将任务下达给节点服务器；节点服务器执行任务，并将结果反馈给中央服务器。Google BorgBorg 是 Google 内部使用的集群管理系统，采用了典型的集中式结构，负责提交、调度、开始、重启和管理 Google 运行在其上的所有应用。Kubernetes是Borg的一个开源版本K.

原创 Day28:红黑树

二叉查找树在频繁的动态更新过程中，可能会出现树的高度远大于 log2n 的情况，从而导致各个操作的效率下降。极端情况下，二叉树会退化为链表，时间复杂度会退化到 O(n)。要解决这个复杂度退化的问题，需要设计一种平衡二叉查找树，即红黑树。平衡二叉树：二叉树中任意一个节点的左右子树的高度相差不能大于 1。但是很多平衡二叉查找树其实并没有严格符合上面的定义，比如我红黑树，它从根节点到各个叶子节点的最长路径，有可能会比最短路径大一倍。平衡二叉查找树中“平衡”的意思，其实就是让整棵树左右看起来比较“对称

原创 重温算法Day27:搜索引擎4步曲

搜索引擎大致可以分为四个部分：搜集、分析、索引、查询。搜集，就是我们常说的利用爬虫爬取网页。们先找一些比较知名的网页（专业的叫法是权重比较高）的链接（比如新浪主页网址、腾讯主页网址等），作为种子网页链接，放入到队列中。爬虫按照广度优先的策略，不停地从队列中取出链接，然后去爬取对应的网页，解析出网页里包含的其他网页链接，再将解析出来的链接添加到队列中。1. 待爬取网页链接文件：links.bin（磁盘文件）爬虫从 links.bin 文件中，取出链接去爬取对应的页面。等爬取到网页之后，将解析

原创 重温算法Day26:Redis常用的数据结构

Redis 主要是作为内存数据库来使用，也就是说，数据是存储在内存中的。尽管它经常被用作内存数据库，但是，它也支持将数据存储在硬盘中。Redis 中，键的数据类型是字符串，但是为了丰富数据存储的方式，方便开发者使用，值的数据类型有很多，常用的数据类型有这样几种，它们分别是字符串、列表、字典、集合、有序集合。压缩列表：是 Redis 自己设计的一种数据存储结构。它有点儿类似数组，通过一片连续的内存空间，来存储数据。不过，它跟数组不同的一点是，它允许存储的数据大小不同。压缩列表这种存储结构，一方面比较

原创 重温算法Day25：哈希算法的应用

哈希算法：将任意长度的二进制值串映射为固定长度的二进制值串，这个映射的规则就是哈希算法，而通过原始数据映射之后得到的二进制值串就是哈希值。hash算法应用安全加密、MD5（MD5 Message-Digest Algorithm，MD5 消息摘要算法）SHA（Secure Hash Algorithm，安全散列算法）DES（Data Encryption Standard，数据加密标准）AES（Advanced Encryption Standard，高级加密标准）鸽巢原理（也叫抽屉原理）。

原创 分布式概念：分布式锁（分布式互斥的一种实现方式）

分布式系统中，多个节点都需要访问一个临界资源，但是同一时刻只能有一个节点可以访问，为了解决这个问题就是要通过分布式互斥来实现；分布式锁就是实现分布式互斥的一种实现方式。锁是实现多线程同时访问同一共享资源，保证同一时刻只有一个线程可访问共享资源所做的一种标记。分布式锁是指分布式环境下，系统部署在多个机器中，实现多进程分布式互斥的一种锁。为了保证多个进程能看到锁，锁被存在公共存储（比如 Redis、数据库等三方存储中），以实现多个进程并发访问同一个临界资源，同一时刻只有一个进程可访问共享资源，确保数据的一致

原创 分布式概念：分布式事务（通过分布式消息来确保事务最终一致性）

分布式事务，就是在分布式系统中运行的事务，由多个本地事务组合而成。例子：对于网上购物的每一笔订单来说，电商平台一般都会有两个核心步骤：一是订单业务采取下订单操作，二是库存业务采取减库存操作。通常，这两个业务会运行在不同的机器上，甚至是运行在不同区域的机器上。针对同一笔订单，当且仅当订单操作和减库存操作一致时，才能保证交易的正确性。也就是说一笔订单，只有这两个操作都完成，才能算做处理成功，否则处理失败。事务的特征 ACID特征：原子性（Atomicity）：全部执行成功和全部不执行。一致性（Con

原创 Go:动态的创建多个chan

让chan作为map的value。Themake(chan int, 2)part makes the channel buffered with a buffer length of 2.package mainimport "fmt"func main() { things := make(map[string](chan int)) things["stuff"] = make(chan int, 2) things["stuff"] <- 2 mything...

原创 分布式概念：分布式选举（选举主节点）

分布式选举主节点，在一个分布式集群中负责对其他节点的协调和管理。分布式选举的算法序号选举的算法（ Bully 算法）核心思想选取 ID 最大的节点作为主节点。在 Bully 算法中，节点的角色有两种：普通节点和主节点。初始化时，所有节点都是平等的，都是普通节点，并且都有成为主的权利。但是，当选主成功后，有且仅有一个节点成为主节点，其他所有节点都是普通节点。当且仅当主节点故障或与其他节点失去联系后，才会重新选主。Bully 算法在选举过程中，需要用到以下 3 种消息：Election 消息，

原创 重温算法Day24:位图与布隆过滤器

位图（BitMap）位图，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。位图其实是用数组实现的，数组的每一个元素的每一个二进制位都可以表示一个数据在或者不在，0表示数据存在，1表示数据不存在。因为比特位只有两种状态，要不是0，要不就是1，所以位图其实就是一种直接定址法的哈希，只不过位图只能表示这个值在或者不在。布隆过滤器（Bloom Filter）使用 K 个哈希函数，对同一个数字进行求哈希值，那会得到 K 个不同的哈希值，我们分别记作