- 博客(37)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 etcd压测报告
配置2C4G30G单台机器部署三个节点数据key:/{四个字符}/{golang uuid.New().string()}value:自己构造的json结构固定字符串，长度为313结果数据规模：0put(新增|修改): 60ms左右(100次平均)get: 60ms左右(100次平均)del: 60ms左右(100次平均)getallbyfrefix: 白毫秒级别，众数在1～2百毫秒(100个数据)数据规模：1万put(新增|修改): 60ms左右(100次平均)g
2021-07-01 10:52:56
523
原创 golang中使用etcd作为中间件踩坑
一、rpc error: code = ResourceExhausted desc = trying to send message larger than max (4194325 vs. 1048576)原因分析：未设置MaxCallSendMsgSize参数的时候，默认2M。func (ec *EtcdCliV3) Init(cfg *EtcdCliConf) (err error) { dialTimtout := cfg.DialTimeout if dialTimtout ==
2021-06-29 12:06:36
2190
原创 网络隔离下通过vip连接kafka踩坑
场景：1、有多套环境2、多套环境之间做了网络隔离3、在环境1部署了etcd和kafka4、想要在其它环境li a
2021-06-10 16:25:34
505
原创 关系型数据库范式
1NF：列的不可拆分，把（学生编号；姓名；年龄）作为一个字段，不满足1NF地址字段可细分为（省；市；地区；详细地址），不满足1NF2NF：非主键列完全依赖于主键，而不是依赖于主键的一部分；3NF：非主键列只直接依赖于主键，不依赖于非主键列（冗余）；学生表：Student(学号, 姓名, 年龄, 所在学院, 学院地点, 学院电话)所在学院→学院地点等信息不满足3NFBCNF：主键列不依赖于主键列仓库管理：StorehouseManage(仓库ID, 存储物品ID, 管.
2021-05-27 16:45:34
192
原创 nginx代理下载大文件不完整
现象1、内网下载非常快，都是完整的。2、办公网下载比较慢，用ip加端口访问下载是完整的，通过域名(加了三层nginx代理：前端域名，前端统一入口nginx，后端服务域名)访问就是不完整的。最终解决1、在每一层加了如下配置。proxy_buffering off;...
2021-04-25 19:48:08
1452
1
原创 golang 匿名字段解析和序列化问题
说明：golang中包含匿名字段的结构体在解析和序列化(json.Unmarshal和json.Marshal)的时候：如果对匿名字段指定了解析说明`json:""`，就会变成带层级的字符数组。如果没指定解析说明，则会平铺。例子：匿名字段不加解析说明`json""`，就是和平铺的字符串相互转化和平铺的字符串互相转化成功：package mainimport ( "encoding/json" "fmt")func main() { initStr := [].
2021-02-05 11:11:01
748
1
原创 linux(centos)部署etcd集群
注：本文是在单台机器上搭建集群，多台搭建同理且更简单，因为不用考虑端口以及各种目录冲突问题，配置几乎大多一样，细微差别会在文中指出。下载解压cd /optwget https://github.com/etcd-io/etcd/releases/download/v3.3.10/etcd-v3.3.10-linux-amd64.tar.gztar zxvf etcd-v3.3.10-linux-amd64.tar.gzmv etcd-v3.3.10-linux-amd64 etcdcd
2021-01-20 16:41:53
269
原创 linux(centos)部署kafka(单点快速开始；单机器部署集群；多机器部署集群)
下载解压#下载解压wget https://mirrors.bfsu.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgztar -xvzf kafka_2.13-2.6.0.tgzcd kafka_2.13-2.6.0单点快速开始#后台启动zk#注：单点启动的zk配置文件用默认的就好了,也可以进去改一下dataDir，dataLogDir，clientPort啥的#注：可以先用bin/zookeeper-server-start.sh co
2021-01-20 11:31:05
822
原创 fatal: unable to access ‘项目地址‘: The requested URL returned error: 500
maxOs今天push代码的时候发现这个问题。git config --global http.proxy查看是否设置了代理如果设置了，git config --global --unset http.proxy取消代码即可。
2020-08-07 12:22:59
3681
原创 Golang学习笔记：sync.Once||sync.WaitGroup||sync.Pool
转载请注明出处：全系列目录：https://blog.csdn.net/sublio/article/details/106480267sync.Once||sync.WaitGroup||sync.Poolsync.Once 只执行一次 开箱即用 var once synv.Onceonce.Do(func() {fmt.Println("Once!")})sync.WaitGroup 开箱即用 不应该复制。 有一个代表计数的字节.
2020-06-02 19:50:19
180
原创 Golang学习笔记：原子操作
转载请注明出处：全系列目录：https://blog.csdn.net/sublio/article/details/106480267原子操作目录简介类型增或减Add比较并交换CAS载入Load存储Store交换Swap原子值sync/atomic.Value简介 执行过程中不能被中断的操作。在针对某个值的操作过程中，CPU绝不会再去执行其它针对该值的操作，无论这些其他操作是否是原子操作。 对于不能被取地址的值是无法进行原子操作的。 类型
2020-06-02 19:45:51
897
1
原创 Golang学习笔记：锁和条件变量
转载请注明出处：全系列目录：https://blog.csdn.net/sublio/article/details/106480267锁 与 条件变量目录互斥锁读写锁条件变量参考文献互斥锁 简单声明即可使用： var mutex sync.Mutexmutex.Lock()mutex.Unlock() （首次使用后？）不得复制(参考参考文献2)，原因类似原子类型4（原子操作文档），解决方案：使用指针值。 应该配合defer使用及时.
2020-06-02 19:31:57
488
原创 Golang学习笔记：目录
转载请注明出处：高级类型：https://blog.csdn.net/sublio/article/details/106478300 基本控制流程：https://blog.csdn.net/sublio/article/details/106478408 通道Channel：https://blog.csdn.net/sublio/article/details/106478103 定时器：https://blog.csdn.net/sublio/article/details/1064778
2020-06-01 19:38:25
179
原创 Golang学习笔记：基本控制流程
基本控制流程代码块 有花括号构成 重新声明外层代码块声明过的标识符，此时外层空间外层代码块的那个同名标识符被屏蔽了 func main() {a := 1if a == 1 {var a stringfmt.Println(a){var a []intfmt.Println(len(a))}}}switch 同一个case后面可以接多个表达式，关系为或 fallthrought向下一个case转移流程控制权 for与rang
2020-06-01 17:44:06
187
原创 Golang学习笔记：高级类型
高级类型数组 长度不可变。 [...]int{1,2,3}不用指定长度，为3。 切片 内部结构三个元素：指向底层数组某个元素的指针；切片的长度；切片的容量。 容量cap：从指针指向的元素到底层最后一个元素的元素个数。 当底层数组不足以完成append的操作，会换一个更长的底层数组（一开始两倍长度？）。 零值为nil，长度为0，可以直接append操作。 map 散列表，关联数组。 零值为nil，长度为0，不可以进行取值等操作。
2020-06-01 17:39:51
189
原创 Golang学习笔记：通道Channel（以通信作为手段来共享内存）
通道类型：以通信作为手段来共享内存Channel(注：引用类型，零值为nil不能直接用)声明和初始化 三种（后两种直接声明使用没有意义）：chan T | chan<- T | chan-> T；其中T表示类型。 别名声明：type IntChan chan int 变量声明：var intChan chan int 缓冲通道初始化：make(chan int, 10) len表示通道中已经存在的元素的个数，会有所变化。 .
2020-06-01 17:32:51
1120
原创 Golang学习笔记：定时器
Timer和TickerTimer（一次） 不能直接用复合字面量来初始化。 time.NewTimer(time.Duration)初始化。 例子：timer := time.NewTimer(3 * time.Hour + time.Minute) 到期后向其通知通道（timer.C）发送到期的绝对到期时间（初始化时间 + 相对到期时间）。 timer.C是类型为chan time.Timer的接受通道（定时器内部为双向，可以向它发送元素）。
2020-06-01 17:23:35
222
转载 Mongodb数据存储形式BSON的介绍及BSON与JSON的区别
转载自：https://blog.csdn.net/m0_38110132/article/details/77716792正文：说明新公司在用MongoDB,由于使用MongoDB时其中有一个很重要的类Document,翻看源码时发现他实现了BSON,本人之前对其不了解，故而有了这篇文章。概念参考百科说明：BSON( Binary Serialized Document Form...
2019-03-11 14:54:58
3273
转载 GoLand自带JSON库用法
装载来源：https://www.cnblogs.com/fengbohello/p/4665883.html原作者：郝峰波正文：本文介绍如何使用Go语言自带的库把对象转换为JSON格式，并在channel中进行传输后，并把JSON格式的信息转换回对象。1、Go语言的JSON 库 Go语言自带的JSON转换库为encoding/json 1.1）其中把对象...
2019-03-11 11:12:48
1614
原创 categorical_data(类别型数据)预处理笔记：转化为数字
1、用Python转化为标准格式。import pandas as pdimport numpy as npfrom pandas import Series, DataFramefrom sklearn.preprocessing import LabelEncoder#一般操作#读文件：#e:/cate_data/before/filename.txt#1将文件读入...
2018-08-01 11:54:06
3442
原创 Python学习笔记：文件读写
%%writefile text1.txtdajiahaonihaowohao完整流程：读完用完关。读已有txt读./表当前路径txt = open('./txt/text1.txt')用txt_read = txt.readprint(txt_read)lines = txt.readlines()print(lines)for line in lines: print(line)关txt...
2018-05-22 16:24:16
985
原创 Python学习笔记：在notebook中写脚本文件
写脚本文件（执行后生成name.py）%%writefile name.pybianliang = 0def hanshu(): print("dajiahao") 跑脚本文件%run name.py倒入脚本文件①导入后使用import namename.bianliangname.hanshu()②用别名导入后使用import name as shortnameshortname.b...
2018-05-22 15:26:24
613
原创 Phthon学习笔记：函数
def name(cs1,cs2,cs3): 语句1 语句2 语句3①一般情况按照函数定义的参数个数赋值。def dajiahao(a,b,c): print(a+b+c) return(a + b + c)a = dajiahao(a,b,c)②预先设定值后可以不赋值或者重新赋值。def dajiahao(a=1,b,c): print(a+b+c) r...
2018-05-11 15:47:43
375
原创 Python学习笔记：循环结构
continue：跳过本次循环后面全部操作；break :跳出循环。例子①a = 1while a <= 6： print(a)②用集合作为条件直到集合变为空：a = set({'da','jia','hao'})while a: a.pop()③a = set({'da','jia','hao'})for i in a: print(i)④for i in ra...
2018-05-10 20:51:06
218
原创 Python学习笔记：赋值机制
①共用同一块空间：a = 1000b = aid(a) 与 id(b) 相等a is b：True②不共用同一块空间：a = 1000b = 1000id(a) 与 id(b) 不相等a is b：False③当值较为简单时（比如较小）共用同一块空间：a = 1b = 1id(a) 与 id(b) 相等a is b：True...
2018-05-10 20:15:34
238
原创 Python学习笔记：集合（set）
集合只保留不重复的元素（集合没有顺序）。set()：a = set([123,123,123,456,456,456,789])b = {123,123,123,456,456,456,789}操作：a.union(b) = a|b：并集a.intersection(b) = a&b：交集a.difference(b) = a - b：差集b.issubse...
2018-05-10 19:49:43
213
原创 Python学习笔记：字典（dict）
{}或dict([(),()])a = dict()结构：key-value添加值：一个key对应一个value值，value可以对应各种类型，且唯一（第一次赋值为创建，后面为更新）a['first'] = 123a['second'] = 456或者a = {'first':123,'second':456}。字典没有顺序一说，必须拿字典中有的key做索引。可以嵌套的。方法：a.get('fir...
2018-05-10 19:21:39
240
原创 Python学习笔记：列表（list）基础
[]或者list([])a = [1,'ni hao',2.0]：可存放各种类型c = [2.0,'ni hao',[1,2,3]]：可嵌套操作：a + c：拼接a * 3 ：重复一般：元素.函数() 会改变原值； 函数ed(元素) 不会改变原值。a.append(3)：在后面添加元素，一次只能添加一个元素a.insert(2,3)：在位置2插入添加元素3，一次只能添加一个元素a...
2018-05-10 16:10:51
127
原创 Python学习笔记：索引（index）
每个位置可以用自然数表示，也可以用负数表示：前0后-1切片：右边的位置不能在左边之前或相等，否则为空字符串a:b 从a到b,左闭右开 :b 从开始到ba: 从a到结束特殊例子：'sublio'[2,-1]：'bli''sublio'[-3:]：'lio''sublio'[-3:-3]：'lio'...
2018-05-10 15:33:55
4565
原创 R语言apply与函数嵌套
例子：myfun <- function(x){return(length(unique(x)))}apply(a,2,myfun)
2018-05-07 17:07:45
3235
原创 ubuntu16.04安装
/:类似C盘，primary/locality，begin of space，来个40G？/boot:至少分个4、500MB吧，locality，end of space，空间够大也可以分大一点。启动。/swap area:大小与内存相等locality，end of space。/home:locality，end of space，存放文件的位置。引导项设置：默认。...
2018-05-03 20:16:28
157
原创 ubuntu16.04安装搜狗
此篇文章是在实际操作中参考了多篇博客后个人成功安装后写出的，算是大半个原创。加入了个人偶然操作和理解，最后有注解。1.添加fcitx键盘输入法系统ctrl+alt+t打开添加源：两种方式：①sudo add-apt-repository ppa:fcitx-team/nightly②在软件和更新/其他软件、添加ppa:fcitx-team/nightly更新系统：sudo apt-get upda...
2018-05-03 19:09:36
139
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人