- 博客(57)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 服务器缓存策略
遇到了个服务器缓存与cdn缓存的问题缓存规则http缓存规则由响应首部字段进行控制，其中的关键字段有Expires，Cache-Control，Last-Modified，Etag四个字段，Expires和Cache-Control用来确定确定缓存的存储时间，Last-Modified和Etag则用来确定缓存是否要被更新，我们简单来看一下区别。expires: HTTP1.0中用...
2019-09-24 17:28:09
392
原创 mysql集群和binlog
一、最近公司服务器binlog延迟比较大(8min)，准备深入学习mysql集群以及binlog原理，和mysql运维相关知识，先占坑二、reference1.https://zhuanlan.zhihu.com/p/335045552.https://www.cnblogs.com/hustcat/archive/2009/12/19/1627525.html3.https...
2019-05-27 22:56:08
638
原创 Golang Project 调用关系工具go-callvis
一、https://github.com/TrueFurby/go-callvis二、quick start，详见Readme文件三、注意事项1. 安装完成go-callvis在$GOPATH/bin下，需要加入到PATH，否则找不到2. go get 失败的可能要手动下，或者配置ssh四、run1. go-callvis [flags] <main package...
2019-05-20 17:08:45
2388
原创 Steaming SQL for Apache Kafka 学习
一、参考1.https://www.confluent.io/blog/ksql-streaming-sql-for-apache-kafka/2.https://www.iteblog.com/archives/2254.html3.https://www.confluent.io/product/ksql/
2019-05-19 23:42:35
187
原创 ClickHouse学习笔记
一、先占一坑，慢慢补二、学习路线1. 快速了解https://www.zhihu.com/question/47604963/answer/1187379952. 官方文档https://clickhouse.yandex/docs/en/三、1.online analytical processing of queries (OLAP)的特征大多数是读请求数据总...
2019-05-17 17:41:39
1189
原创 avro 和protobuf介绍
1. avrohttps://zh.wikipedia.org/zh-hans/Apache_Avrohttps://blog.csdn.net/xyw_blog/article/details/8967362、2. protobufhttps://en.wikipedia.org/wiki/Protocol_Buffers
2019-05-17 17:28:45
704
原创 Go Web编程学习笔记 （持续更新）
参考资料：1. 《GoWeb编程》 -郑兆雄一、搭建环境1. vscode + ubuntu（windows） (vscode看代码更方便)2. ubuntu二、笔记1. 信号会relay到channel chsignal.Notify(ch, syscall.SIGINT, syscall.SIGTERM)...
2019-05-12 10:43:55
265
原创 Go学习笔记（持续更新）
参考：1. 《Go语言实战》2. 《Goweb编程》3. 《Go Programming Language》1. golang中的三个点 '...' 的用法它的第一个用法主要是用于函数有多个不定参数的情况，可以接受多个不确定数量的参数。第二个用法是slice可以被打散进行传递。func test1(args ...string) { //可以接受任意个stri...
2019-05-11 11:31:46
174
原创 redis持久化
本文主要讲了 Redis 的持久化相关功能，持久化一直是影响 Redis 性能的高发地，也是面试中经常被问到的。包括 RDB 相关的特定和优缺点，AOF 的优缺点，事实上，由于 RDB 的数据实时性问题，目前用 AOF 比较多了。而持久化恢复也是优先 AOF。RDB 是旧的模式，现在基本上都使用 AOF。当然，两个都会一起说到。RDBRDB 流程图RDB 特点RDB 是一种...
2019-05-05 23:15:37
98
原创 C++对象模型详解
阅读目录0.前言 1.何为C++对象模型? 2.文章内容简介 3.理解虚函数表 3.1.多态与虚表 3.2.使用指针访问虚表 4.对象模型概述 4.1.简单对象模型 4.2.表格驱动模型 4.3.非继承下的C++对象模型 5.继承下的C++对象模型 5.1.单继承 5.2.多继承 6.虚继承 6.1.虚基类表解析 6.2.简单虚继承 6....
2019-04-21 14:57:32
280
原创 在100G文件中找出出现次数最多的100个IP，要求ip和次数都精确
1.刚开始自己想的是文件分100个桶，桶里取排序前1000，后来手动证明此算法有误2.后来想到可以另外取100个文件桶，将ip存到(ip) % 100的桶里。最后对各个文件读入内存，上hashtable即可...
2019-04-16 20:17:10
3735
原创 sentry 在flask 中和在 在celery 中初始化方式为 什么不一样
一、起因在flask里使用sentry.init_app()可以正常抓住异常发送消息到sentry服务器，而在celery中不行。详见文档：sentry源码阅读.pdf
2018-09-04 10:16:25
393
2
原创 nginx 反向代理配置文件
events { worker_connections 768; # multi_accept on;}http {upstream merchant { server 127.0.0.1:5002; keepalive 64;}upstream qiye { server 127.0.0.1:5003; keepalive 64;}upstream boss { s...
2018-07-06 18:13:59
939
原创 php_python远程调试
php远程调试1、解压相关文件2、tools->deployment->configuration (设置sshd登陆用户名和密码，rootpath设置为/home/fantom/apps)3、settings->language&frameworks->PHP->Debug (Debug port设置为9000)4、settings->language&framewo
2017-11-01 20:44:28
284
转载 python 正则表达式
初级篇链接：http://www.cnblogs.com/chuxiuhong/p/5885073.html上一篇我们说在这一篇里，我们会介绍子表达式，向前向后查找，回溯引用。到这一篇开始前除了回溯引用在一些场合不可替代以外，大部分情况下的正则表达式你应该都会写了。1.子表达式子表达式的概念特别好理解。其实它就是将几个字符的组合形式看做一个大的“字符”。不好理解？举个栗
2017-09-13 15:26:10
327
原创 python 字典
Python字典的遍历方法有好几种，其中一种是for...in，这个我就不说明，在Python了几乎随处都可见for...in。下面说的这种遍历方式是item()方法。item()item()方法把字典中每对key和value组成一个元组，并把这些元组放在列表中返回。DEMO代码：复制代码代码如下:person={'name':'lizhon
2017-07-22 11:49:31
1256
转载 菜鸟如何成为一个高效程序员的成长之路
互联网发展日新月异，社会科技每天都在发生着翻天覆地的变化，而程序员已经成了这个时代的庞大群体，各种各样的程序员数不胜数，我们每天上下班，不论你是坐公交还是乘地铁，在你的身边一定有程序员。本人我就是其中的一员，本人主修Java语言，从事java类开发工作。由于本人工作时间不长，经验尚浅，都是学着前辈高人的路子，在慢慢前行，下面我给大家分享下，如何从菜鸟成长为高效程序员。要想成为一个高效的程序员，不是
2017-07-21 17:05:55
292
转载 MongoDB 聚合管道（Aggregation Pipeline）
管道概念POSIX多线程的使用方式中， 有一种很重要的方式-----流水线（亦称为“管道”）方式，“数据元素”流串行地被一组线程按顺序执行。它的使用架构可参考下图：以面向对象的思想去理解，整个流水线，可以理解为一个数据传输的管道；该管道中的每一个工作线程，可以理解为一个整个流水线的一个工作阶段stage,这些工作线程之间的合作是一环扣一环的。靠输入口越近的工作线程，是时序较
2017-07-19 20:25:55
922
转载 daemon(守护进程)
Daemon Daemon程序是一直运行的服务端程序，又称为守护进程。通常在系统后台运行，没有控制终端不与前台交互，Daemon程序一般作为系统服务使用。Daemon是长时间运行的进程，通常在系统启动后就运行，在系统关闭时才结束。一般说Daemon程序在后台运行，是因为它没有控制终端，无法和前台的用户交互。Daemon程序一般都作为服务程序使用，等待客户端程序与它通信。我们也把运行的Daem
2017-07-17 09:19:50
576
原创 【python 语法】继承
1：在继承中基类的构造（__init__()方法）不会被自动调用，它需要在其派生类的构造中亲自专门调用。有别于C#2：在调用基类的方法时，需要加上基类的类名前缀，且需要带上self参数变量。区别于在类中调用普通函数时并不需要带上self参数3：Python总是首先查找对应类型的方法，如果它不能在派生类中找到对应的方法，它才开始到基类中逐个查找。（先在本类中查找调用的方法，找
2017-05-24 11:25:46
332
原创 PHP$a[]和$a的区别
PHPa[]和a的区别$a[]=array('b'=>'b','c'=>'c');$b=array('b'=>'b','c'=>'c');echo $a[0]['c'];//输出cecho $b['c'];//输出c也就是说$a[]本身就是一个数组，被array()赋值以后ibanchengle二维数组$a = array(1, 2, 3);$a[] = 5;这时，输出$
2017-05-23 14:58:51
4147
原创 PyCharm使用(完全图解(最新经典))
PyCharm使用一、PyCharm设置（版本：PyCharm 2016.1.2） 1、python环境设置 1.1、pycharm新建程序自动补全编码和环境： pycharm设置在【File】-->【Settings】打开 设置：可以在【File】-->【Settings】-->【Editor】-->【Code Style】的选项
2017-03-02 15:32:04
18037
原创 ffmpeg 图片转视频
ffmpeg -r 10 -i frame_%04d.jpg -vcodec libx264 -b 1000k video.avi 此处输入的图片文件名为从frame_0001.jpg开始
2016-12-05 10:59:08
627
转载 背景建模技术（二）：BgsLibrary的框架、背景建模的37种算法性能分析、背景建模技术的挑战
背景建模技术（二）：BgsLibrary的框架、背景建模的37种算法性能分析、背景建模技术的挑战 1、基于MFC的BgsLibrary软件下载 下载地址：http://download.csdn.net/detail/frd2009041510/8691475 该软件平台中包含了37种背景建模算法，可以显示输入视频/图像、基于背景建模得到的前景和背景
2016-12-02 11:08:10
509
转载 图像处理与计算机视觉基础，经典以及最近发展
在这里，我特别声明：本文章的源作者是 杨晓冬 （个人邮箱：[email protected]）。原文的链接是http://www.iask.sina.com.cn/u/2252291285/ish。版权归 杨晓冬 朋友所有。 我非常感谢原作者辛勤地编写本文章，并愿意共享出来。我也希望转载本文的各位朋友，要注明原作者和出处，以尊重原作者！
2016-12-01 14:56:40
495
转载 Adaboost 算法的原理与推导
0 引言 一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单：听取多人意见，最后综合决策，但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午，在我组织的机器学习班 第8次课上Z讲师讲决策树与Adaboost，其中，Adaboost讲得酣畅淋漓，讲完后，我知道，可以写本篇博客了。 无心啰嗦，本文结合机器学习班决策树与Adaboost 的PPT，跟
2016-11-26 10:59:29
295
转载 matlab图像处理程序大集合
matlab图像处理程序大集合 1.图像反转MATLAB程序实现如下：I=imread('xian.bmp');J=double(I);J=-J+(256-1); %图像反转线性变换H=uint8(J);subplot(1,2,1),imshow(I);subplot(1,2,2),imshow(H);2.灰度线性
2016-11-20 20:14:18
12112
原创 浏览器输入网址后，发生了什么
1. 首先是输入网址 以www.facebook.com为例1. 浏览器查找域名对应IP2.1 浏览器发起DNS查询请求：在广域网中，我们是基于IP地址进行通信的。但通常客户访问的是一个网址，为此，我们需要先得到网址对应的IP地址，这就需要域名服务系统将域名转换成IP地址。如下图所示，在客户端浏览器中输入网址：http://www.cricode.com时，浏览器会根据本地
2016-09-30 10:55:04
2362
原创 数据库面试题目经典大全
1、事务 事务是指一个工作单元，它包含了一组数据操作命令，并且所有的命令作为一个整体一起向系统提交或撤消请求操作，即这组命令要么都执行，要么都不执行。例如，网上购物的交易过程至少包括以下几个步骤的操作：（1）更新客户所购商品的库存信息。（2）保存客户付款信息。（3）生成订单井且保存到数据库中。（4）更新用户相关信息，如购物数量等 。 在正常的情况下，这些操作都将
2016-09-20 20:47:00
5772
1
原创 数据库SQL语句 SELECT LIKE like用法详解
在SQL结构化查询语言中，LIKE语句有着至关重要的作用。LIKE语句的语法格式是：select * from 表名 where 字段名 like 对应值（子串），它主要是针对字符型字段的，它的作用是在一个字符型字段列中检索包含对应子串的。A:% 包含零个或多个字符的任意字符串： 1、LIKE'Mc%' 将搜索以字母 Mc 开头的所有字符串（如 McBadden）。2、LIKE
2016-09-20 17:59:36
24273
原创 八大排序
版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]概述排序有内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。我们这里说说八大排序就是内部排序。 当n较大，则应采用时间复杂度为O(nlog2n)的排序方法：
2016-09-19 19:41:19
250
转载 同一进程中的线程究竟共享哪些资源
线程共享的环境包括：进程代码段、进程的公有数据(利用这些共享的数据，线程很容易的实现相互之间的通讯)、进程打开的文件描述符、信号的处理器、进程的当前目录和进程用户ID与进程组ID。 进程拥有这许多共性的同时，还拥有自己的个性。有了这些个性，线程才能实现并发性。这些个性包括： 1.线程ID 每个线程都有自己的线程ID，这个ID在本进程中是唯一的。进
2016-09-16 16:46:42
1601
原创 跳跃表原理 (加快在有序链表中的查找速度)
最近看了一种数据结构叫做skipList，redis和levelDB都是用了它。Skip List是在有序链表的基础上进行了扩展，解决了有序链表结构查找特定值困难的问题，查找特定值的时间复杂度为O(logn)，他是一种可以代替平衡树的数据结构。 下面是skipList的一个介绍，转载来的，源地址：http://kenby.iteye.com/blog/1187303，为防止
2016-09-15 19:09:12
7349
2
原创 海量数据存储之Key-Value存储简介
Key-value存储简介具备高可靠性及可扩展性的海量数据存储对互联网公司来说是一个巨大的挑战，传统的数据库往往很难满足该需求，并且很多时候对于特定的系统绝大部分的检索都是基于主键的的查询，在这种情况下使用关系型数据库将使得效率低下，并且扩展也将成为未来很大的难题。在这样的情况下，使用Key-value存储将会是一个很好的选择。它被广泛应用于缓存，搜索引擎等等领域。 根
2016-09-04 22:25:39
574
原创 gcc编译
分类： LINUX终于弄懂了如何编译多个模块的以c/c++程序.说实在的,本人目前接触linux时间才几个月,所有我所知道的可能是一些最基本的东西.呵呵,下面写的东西对于那些高手来说不定有帮助,不过对于刚接触gcc/g++的朋友可能有些帮助.1.简单程序(单模块程序)的编译文件file1.c#include int main(){
2016-09-04 22:07:37
245
原创 孤儿进程与僵尸进程[总结]
1、前言 之前在看《unix环境高级编程》第八章进程时候，提到孤儿进程和僵尸进程，一直对这两个概念比较模糊。今天被人问到什么是孤儿进程和僵尸进程，会带来什么问题，怎么解决，我只停留在概念上面，没有深入，倍感惭愧。晚上回来google了一下，再次参考APUE，认真总结一下，加深理解。2、基本概念 我们知道在unix/linux中，正常情况下，子进程是通过父进程创建的，子进
2016-09-03 16:15:34
511
转载 select、poll、epoll之间的区别总结[整理]
select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用
2016-08-30 14:21:58
293
原创 研究音频编解码要看什么书
前言。。。。。。最近总是有人问研究音频编解码要看什么书其实这是一个很难回答的问题，原因有很多。首先，做工程首先一个问题就是和课本学习不同，不是看书能解决的。其次，音频编解码技术在国内研究的人很少包括总体的音频技术国内相对国外都研究的不多。（从中国的潜艇噪声技术一直解决不好就能看出一二）。第三，音频编解码技术是一种应用，而一般的书籍都是理论基础。只看理
2016-08-29 15:46:38
14013
3
画中画 视频叠加 视频覆盖 overlay
2015-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人