- 博客(83)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 jenkins配置golang 代码工程自动发布
以前go工程都是在我mac上打包成镜像然后再推到我的docker hub上去，每次更新都要经过打包->推送到dockert仓库->目前服务重新拉取容器；最近项目代码量很大，频繁更新，终于忍不住了，决定把jks得用起来，这样可以解放下双手。............
2022-07-21 11:42:55
2377
2
原创 Mysql 必知必会原文阅读笔记六（子查询）
一、xmind笔记，子查询二、实操1、理解子查询简单说来就是，sql 查询语句可以嵌套。在写sql语句的时候尽量注意美化sql，不然sql语句非常难懂。如下面sql：SELECT * from o_export_additionalWHERE order_no IN (SELECT order_no FROM o_order)2、子查询过滤3、利用子查询作为计算字段这里我想...
2021-12-18 18:24:56
556
原创 Mysql 必知必会原文阅读笔记五（数据分组）
目录一、xmind笔记，使用GROUP BY进行数据分组二、实操1、理解GROUP BY2、使用HAVING进行过滤3、GROUP BY和 ORDER BY的区别一、xmind笔记，使用GROUP BY进行数据分组二、实操1、理解GROUP BY通俗的理解就是：可以对某个field（字段）进行分组操作，比如：求最大值，最小值，值的个数，求和等。 比如数据库有下面这么多数据：我要对order_type所有的类型进行下求...
2021-12-18 16:11:16
553
原创 Mysql 必知必会原文阅读笔记二（正则匹配）
阅读《mysql crash course》英文版本后，感觉效果挺好，推荐大家多看英文书籍，本章做了些日志，用于后续回忆。
2021-12-16 19:05:04
704
1
原创 搭建带https的docker 私有镜像仓库(registry)
前言： 需要在阿里云服务器上搭建自己的私有docker镜像仓库，1）、pull和push时需要登录才能操作；2）、传输通过https保证安全性；下面把操作步骤进行了记录。一、pull registry镜像执行命令：docker pull registry:2二、创建账号和密码，并且通过docker加密1、创建几个文件夹，用于启动容器的时候挂载上去mkdir -p /data/docker-registry/cd /data/docker-registry &...
2021-12-09 18:00:23
2460
原创 apisix+nacos 实现网关和注册中心
一、部署apisix和nacosapisix通过官方文档docker-compse部署nacos通过docker方式部署。1、部署apisix2、部署nacos通过docker部署docker run --name nacos-standalone -e MODE=standalone -e JVM_XMS=512m -e JVM_MAX=512m -e JVM_XMN=256m -p 8848:8848 -d nacos/nacos-server:latest通过控制台（
2021-12-04 15:56:04
7225
1
原创 mac上面通过docker部署etcd，并且测试服务注册和服务发现
一、部署环境：macbook pro 上面安装了docker;二、部署etcd步骤1、mac上面下载etcd基础镜像docker pull quay.io/coreos/etcd2、创建网络组在我的mac上要运行三个容器，因此创建个网络，三个容器在同一个网络里面docker network create --subnet=192.167.0.0/16 etcdnet容器A：192.167.0.168容器B：192.167.0.170容器C：192.167.0.1.
2021-11-06 11:11:54
1375
原创 CDN系列-nginx架构学习
一、框架介绍nginx 是一款出色的代理服务器，支持高并非，高度模块化，广泛用于CDN、统一接入网关、邮件服务器、后端代理服务器等等。二、进程模型nginx 启动时，会有一个master进程和多个worker进程，master和worker进程之间通过管道进行通信，master进程主要是监控worker进程。为了减少cpu切换影响cpu效率，一个worker进程绑定到一个cpu上面。 接下来，我们谈下nginx的优化重启，执行：nginx-s...
2021-08-19 16:42:29
591
原创 docker-machine部署以及管理多个docker host
前沿：提供了四台服务器来做测试，IP和安装的服务如下：172.20.20.13docker-machine172.20.20.14172.20.20.6172.20.20.81、安装docker-machinecurl -L https://mirrors.aliyun.com/docker-toolbox/linux/machine/0.13.0/docker-machine-`uname -s`-`uname -m` >/tmp/docker-machi...
2021-03-18 10:36:36
409
原创 软件编程的一些思考(copy)
1、以终为始：价值是一切的起点。技术的表面上看是职能线，但技术的本质不是完成需求，而是在一起创造价值。有个二八原则，说的是80%需求都没啥用，其实这个数字实际可能更大。因此业务上要从起点考虑。2、重视数据。但凡不能被数据考量的，基本都没啥价值。这不是一个绝对的判断，但实际上适合大多数场景。之前我发现做很多事，看似出不来数据，譬如服务化等。后来仔细想想，做得太早了。指标很难弄出来的技术项目，一般都是形式化、漂亮的，好看不好吃。3、打不打、打哪里比怎么打更重要。这句话是英文DO RIGHT
2021-03-05 16:25:31
105
1
原创 CDN通过openresty库实现ocsp stapling，有效提升客户端回源效率
背景 最近在开发CDN在线加速功能，各个CDN厂商都支持了oscp stapling 功能，所以我们的产品必须也要实现它。实现它的好处就是：可以省掉浏览器和CA机构的服务器校验证书的时间，这样可以提高浏览器的响应速度。一、什么是ocsp stapling 对于一个可信任的 CA 机构颁发的有效证书，在证书到期之前，只要 CA 没有把其吊销，那么这个证书就是有效可信任的。有时，由于某些特殊原因（比如私钥泄漏，证书信息有误，CA 有漏洞被黑客利用，颁发了其他域名的证书等等）...
2020-05-08 17:47:30
1755
4
原创 lua 基础知识
一、ipairs 和pairs 的区别：ipairs 会一直遍历下去，遇到key 不为整数时会退出；pairs 会一直遍历下去举个例子：local tabFiles = {[3] = "test2",[6] = "test3",[4] = "test1"} for k, v in ipairs(tabFiles) doprint(k, v)end 猜测它...
2020-05-02 11:14:04
252
原创 openresty中的lua-resty-core和nginx-lua-module 的API 效率对比
Table of Contents背景一、lua-resty-core 是什么？1、介绍2、Nginx API for lua 在lua-resty-core中怎么实现的二、lua-resty-core 和nginx-lua-module API执行效率对比1、介绍 2、实例对比三、为什么在openresty中要使用lua-resty-core这个lua模块...
2020-04-27 12:45:02
1805
1
原创 海外直播服务器搭建
背景： 最近有个朋友的APP需要在国外搭建一个直播服务器，因为他们的主播在韩国（主播主要是记者），而观众主要在国内，因此，委托我给他们开发一个直播服务器。 目前开源的直播服务程序有：SRS，Nginx-rtmp；如果是做开发的同学应该有所了解，SRS是基于C++写的，Nginx-rtmp模块是Ngxin的第三方C模块。一开始我是直接部署SRS/Ngxin-rtmp 到我的韩国的...
2020-04-17 09:59:11
4573
2
原创 openresty下lua 连接redis 的方式
可用在阶段：set_by_lua_file、init_by_lua_file。是否所有阶段都可以用，还需要测试。local cmd = "redis-cli -h 192.168.1.13 -p 6379 -n 0 get service"local f = io.popen(cmd)----获取对应的数据---local redis_server = tostring(f:...
2020-02-27 14:24:24
563
转载 高效编写openresty应用
本文内容，由我在 OpenResty Con 2018 上的同名演讲的演讲稿整理而来。PPT 可以在这里下载，因为内容比较多，我就不在这里一张张贴出来了。有些内容需要结合 PPT 才能理解，请多包涵。编写正确且高效的应用，最为关键是一系列软件工程上的实践，像测试、code review、灰度、监控、压测等等。不过由于这是 OpenResty 大会上的演讲，我会专注于讲讲 OpenRes...
2020-02-27 10:18:48
512
原创 python爬虫之：IP代理池开源项目讲解
Table of Contents一、项目基本介绍二、项目讲解三、一些项目问题答疑四、代理池设计一、项目基本介绍本项目来源于github，截止于2019/08/20，star数量：7133， Fork 数量：2135 。github地址：https://github.com/jhao104/proxy_pool码云下载地址：https://gitee.com/...
2019-08-27 10:37:24
775
原创 docker部署到centos7
一、安装docker1.安装需要的软件包# yum-util提供yum-config-manager功能#另外两个是devicemapper驱动依赖的$ yum install -y yum-utils device-mapper-persistent-data lvm22.设置yum源$ yum-config-manager --add-repo https://download...
2019-07-27 10:55:49
1269
原创 Python 强制kill thread 线程
python 强制kill thread 线程，这里封装了两个函数，可以直接使用。def _async_raise(tid, exctype): """raises the exception, performs cleanup if needed""" tid = ctypes.c_long(tid) if not inspect.isclass(exctype)...
2019-07-03 19:50:51
3824
原创 unbound 源码分析（CDN智能调度场景的二次开发）
Table of Contents一、背景：二、智能DNS调度流程框图：三、unbound 二次开发修改源码说明四、部分源码分享：一、背景：最近要完成高铁cdn项目里面的智能DNS调度模块。要实现在收到用户的DNS查询后，会主动向某个服务（集群状态管理服务）查询该用户所在的单车服务器IP，并将单车服务器IP返回给用户，这里其实跟云端做的根据用户所在的IP来分配靠近...
2019-06-25 16:10:46
1455
7
原创 手动安装nginx 1.16.0 以及新增模块的操作方法
Table of Contents一、下载源码二、为nginx设置安装目录和启用的模块三、编译四、安装五、启动nginx六：新增加模块的操作方法一、下载源码http://nginx.org/download/nginx-1.16.0.tar.gz执行下面命令，下载源代码到/data目录下：cd /data && wget http://n...
2019-06-18 10:18:01
2645
原创 nginx+lua 入门
一、nginx调用lua的指令set_by_lua 设置nginx变量，可实现复杂的赋值逻辑set_by_lua_fileaccess_by_lua 请求访问阶段处理，用于访问控制access_by_lua_filecontent_by_lua 内容处理器，接收请求处理并响应输出；content_by_lua_file二、nginx的luaapi 接口ng...
2019-05-29 20:38:35
604
原创 nginx 中级篇-学习笔记
一、nginx作为代理服务器1、正向代理和反向代理：正向代理：代理服务于客户端；反向代理：代理服务器服务于服务器端；比如做nginx做负载均衡。反向代理：location ~ /url.html {proxy_pass http:/127.***:8080/}二、nginx rewrite 规则作用：1）用来重定向页面；兼容性支持；2）SEO优化；...
2019-05-26 17:52:07
321
原创 nginx以基于多域名方式来配置虚拟主机
前言： 所谓基于域名的虚拟主机，意思就是通过不同的域名区分不同的虚拟主机，基于域名的虚拟主机是企业应用最广的虚拟主机类型，几乎所有对外提供服务的网站使用的都是基于域名的主机，例如www.test1.com www.test2.com等测试方法：在/etc/nginx/conf.d 目录下新建两个测试的conf，到时候直接在里面来配置我的参数。备注：如果放在 /et...
2019-05-11 18:30:45
438
原创 nginx基础篇-学习笔记
一、基础篇1、epoll模型优势1)、解决select模型文件句柄fd受限制的缺点；2)、采用callback回调机制提高处理效率；2、nginx 的CPU亲和力（affinity）把work进程绑定在CPU上，减少切换时间；3、nginx 的sendfile工作机制普通的：用户-> 用户内核 内核file socketnginx...
2019-05-11 18:23:34
136
原创 pycharm 连接mysql+ 数据库设计
一、对于数据库操作：step1:创建数据库 并且添加用户mysql> create database sms_info;mysql> grant all on sms_info.* to 'stefan' identified by '1qaz@WSXm';step2:用创建的用户名和密码进入刚刚创建的数据库：mysql -u stefan -p sms_...
2019-04-21 16:41:13
659
原创 centos7 上搭建mysql 5.6+修改密码
前言： 最近在做一个网站，需要用到flask+ mysql + 爬虫技术。爬到的数据需要存到Mysql ,因此最近又重新搭建了一遍mysql。这里主要是做一个记录，方便后续再需要时查看。安装环境：腾讯云centos7 + mysql5.6首次安装时，如果通过免密进去发现只有一张数据库：information_schema，那多半是权限的问题；一、通过yum安装Mys...
2019-04-21 10:54:29
781
原创 ES错误：retrying failed action with response code: 503 ({"type"=>"unavailable_shards_exception"
最近ES里面有个索引一直保存，错误信息如下：[2019-04-03T09:54:15,328][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 503 ({"type"=>"unavailable_shards_exception", "reason"=>"[gps...
2019-04-03 10:00:15
5828
原创 logstash 配置filter规则，解决Index切片慢8小时的问题
最近在搭建elk日志采集系统，发现index都是早上八点才开始切，这对于数据展示会影响，于是想把index改成凌晨过零点就切换。我的logstash版本：5.4.1。先附上我的解决方案吧：在filter里面加入： ruby { code => "event.set('timestamp', event.get('@timestamp').time.localtime...
2019-02-19 17:28:20
1148
原创 secureCRT 把文件夹颜色字体蓝色修改为别的颜色
secureCRT是每个IT人员的必用工具，如果设置Emulation Terminal 为Linux模式，则ls的时候，目录的蓝色跟背景颜色很接近，导致每次看的时候都特别费劲，老感觉看不起。现在我们来修改它的颜色：option->Global options –> Terminal->Apperance->ANSI Color ， Bold colors ，把蓝色修改...
2018-12-19 09:42:51
4039
原创 利用charles 抓取ios app的https数据包-----软件配置和抓取步骤
背景：最近在做数据缓存相关的工作；我们的设备是放在高铁里面的，主要是提供wifi服务。然而我们的wifi是由sim卡4g网络拨号提供的，用户在上网时需要下载我们的APP：掌上高铁；所以领导提出一个要求，要在自己服务器做一个缓存，用户在ios app-store下载掌上高铁的时候，直接把它劫持掉，改由我们设备服务器直接推给用户下载，这样我们就可以省下不少流量。 现在问题来了，我...
2018-11-15 11:02:19
1403
原创 使用dd命令在Linux下创建大文件，批量大小文件生成方法
前沿：最近在开发自动从U盘拷贝大批量文件到linux系统的的功能。由于需要几十个G的大文件来做测试，如果自己去找这么多资源，然后再拷贝，非常麻烦。所以学了下dd命令，现在总结一下：一、参数介绍if=FILE 从FILE中读取数据，而不是默认的标准输入。 if可理解为：in fileof=FILE 往FILE中写入数据，而不是默认的标准输出。 of可理...
2018-11-13 11:34:51
6780
原创 python 读取excel表内容：以获取高铁站点经纬度为例子
前言：python 操作excel表时需要：import xlrd。如果没有这个库，请直接：pip install xlrd步骤：1、import xlrd2、读入xls文件data = xlrd.open_workbook(filename)#文件名以及路径3、操作book和sheettable = data.sheets()[0] #通过索引...
2018-10-30 17:08:28
1847
原创 利用python爬虫实现：抖音短视频无水印视频下载
各位小伙伴，之前一段时间迷上了抖音小姐姐视频，但是下载的视频都有水印，于是自己用Python 写了个爬取小姐姐视频的工具，大家可以直接拷贝到自己编译器上运行。经过半天的琢磨，自己用python搞出来一个根据抖音分享视频链接去除水印并下载的功能。此外，我还利用pyqt5写了个操作界面，这样可以方便不懂代码的人使用。后面代码我都会一一贴上来。备注：这个只是个人兴趣，参考代码的小伙伴切莫用于非法商业...
2018-10-22 10:44:20
4239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人