- 博客(418)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 日志导入ES
为了解决分布式下的日志难于查询问题，需要一个将日志自动汇总的通用解决方案。业内标准是使用ELK方式，经典模式是app=>files=>filebeat=>logstash=>ES，但是我们机器比较多，为了简化部署问题，决定使用REDIS作为消息队列，同时框架中把这个功能集成，业务无需感知和配置，直接使用就可以了。配置如下：PUT /_template/...
2019-08-16 18:49:19
2217
原创 C/C++非标准目录下的编译依赖和运行库依赖
编译依赖：export LIBRARY_PATH=/home/webserver/local/lib:$LIBRARY_PATHexport PKG_CONFIG_PATH=/usr/share/pkgconfig:/home/webserver/local/lib/pkgconfig运行库依赖：export LD_LIBRARY_PATH=/home/webserver/local/lib...
2018-05-17 18:06:54
1497
原创 高并发TrafficServer设置
1. 提高后台响应阀值CONFIG proxy.config.http.keep_alive_no_activity_timeout_out INT 180CONFIG proxy.config.http.transaction_no_activity_timeout_out INT 180CONFIG proxy.config.http.connect_attempts_timeou
2017-05-16 17:04:05
1906
1
原创 图片搜索比较
信息阅读和理解的过程往往是一个信息整理的过程，如何把抽象多维的信息去噪或精练转成自己理解的信息。图像理解的过程也是一个这样的过程，噪音过滤(视觉不敏感)、锐化、归一化、抽象出特征信息，多维转成低维，通过特性对比进行归类。如果要用于搜索，输出的特征值需要可以转换成局部敏感。否则跟phash一样，循转不影响，但是发生裁剪就识别不出来了。边缘特征、线性特征、中心特征和对角线特征，组合成特
2016-09-27 21:13:16
4053
原创 视频处理——ffmpeg
概念一个视频是由特定的视频容器，比如flv,hls,mp4包起来的多个流（一个或多个音频、视频、subtitle），每个流的编码可能不一样，比如视频的h265，音频的acc等。视频处理的过程是：[分解视频=》多个输入路]=》[寻找合适解码器=》解码]=》过滤（缩放，裁剪）=》根据指定格式编码=》合流FFMPEG市面上最强的视频处理工具是ffmpeg，解决方案覆盖了多输入（实
2016-04-13 16:42:23
6531
原创 elasticsearch2.2.0安装
概念名称说明cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。
2016-03-29 20:07:32
3550
原创 日志采集——架构分类
角色Agent消息收集点，运行于消息产生源，分为三个角色：Adaptor，他从物理文件、sock、unixsock、标准输入等抽取原始消息，处理Filter，对不同的消息类型对消息进行不同的格式化，Agent，负责将消息传送出去出从进程模型上可能是三个进程或者一个进程有多个角色Collector采集点。汇集某类型消息，对某类型信息集中加工，比如将高频小写
2016-01-19 15:29:56
3497
原创 linux C获取进程的CPU和内存
获取内存开始尝试用getrusage，发现数值一直是0的，，，后面查资料，该函数内存相关的字段还没实现（unmaintained)。使用statm的，发现rss和data位即使top时看到的内存已经下降了但是数值仍然不变，只能通过resident字段来获取当前进程所占用的内size (1) total program size
2016-01-19 14:03:54
6607
原创 日志采集——其它
Flume（cloudare消息流：agent=>collect=>storeagent支持file，syslog等，store支持HDFS,file。它有三种不同消息级别保障：end-to-end（先持久化，再发送），storeOnFailure，best effort（消息发送后不确认）有管理端可以在线查询agent和collect运行情况，也可以动态配置S
2015-12-20 14:40:53
1512
原创 日志采集——logstash
logstash消息流采集=》过滤=》输出Broker，用于进行事件流管理，默认Redis，还支持AMPQ和ZeroMQ。Indexer，Output配置成ElasticSearch来将JSON推给ElasticSearch。这些组件都是很独立可以自由搭配的。LogStash的核心模块：采集（input)，支持文件，stdin，syslog，redis等过滤
2015-12-20 13:19:49
4355
原创 日志采集——rsyslog
rsyslog是linux下日志采集和传输系统。可以直接将日志写到数据库中，通过LogAnalyzer和Cacti显示，可以作为其他日志分析系统的输入源。架构消息流：输入模块->预处理模块->主队列->过滤模块(解析)->执行队列->输出模块可以通过指定不同module的方式对输入、过滤、输出进行定制，也可以使用你自己的Module来扩展。输入模块 支持文
2015-12-19 17:56:16
3825
转载 图像处理基本算法
1)将256*256分辨率的图像变为128*128分辨率可以将源图像划分成2*2的子图像块,然后将2*2的子图像块的所有像素颜色均按照F(i,j)的颜色值进行设定，达到降低分辨率的目的。如:F(i,j) F(i,j+1) F(i,j) F(i,j) F(i+1,j) F(i+1,j+1) 变成 F(i,j) F(i,j)
2015-09-21 13:33:19
6760
1
原创 atoi和atof优化
在应用场景上，我们是全部正数，同时都是十进制的，因此相对glibc的实现上减少了很多冗余代码，新的代码中，centos64环境下，atoi提高了5倍，atof起码20倍int my_atoi(const char *src_src){ int res = 0; char **str = (char **)&src_src; while (isdigit(**str)) { re
2015-09-19 14:46:06
2210
原创 字符串查询算法
glibc中的strstr的two-way算法，two-way算法主要依据Critical Factorization理论。要理解Critical Factorization理论，先要理解字符串的period： 设w是定义在字符集A上的非空字符串。设|w|是w的长度。存在正整数p，对所有满足模p同余的 非负整数i，j (i,j w[i] = w[j]
2015-09-19 13:24:24
2344
原创 运维故障总结
最近由于脚本不专业，因为依赖路径被删除，后台脚本cd失败，导致find了根目录进行查询和删除。整个服务器数据基本被干掉。教训是惨痛的，更重要的是要如果吸取教训。恢复：1. 定位问题： 把问题脚本停止，一般要看定时任务，后台任务等2. 让硬盘变得只读3. 使用extundelete和ext4magic恢复部分文件，ext4magic时可以挂接NFS来避免破坏现场4. 导出
2015-08-21 21:20:04
6133
原创 基数估计算法
Adaptive Counting（简称AC）在“Fast and accurate traffic matrix measurement using adaptive cardinality counting”一文中被提出。其思想也非常简单直观：实际上AC只是简单将LC和LLC组合使用，根据基数量级决定是使用LC还是LLC。具体是通过分析两者的标准差，给出一个阈值，根据阈值选择使用哪种估计。
2014-09-09 21:16:07
3143
转载 linux信号列表
$ kill -l1) SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL5) SIGTRAP 6) SIGABRT 7) SIGBUS 8) SIGFPE9) SIGKILL 10) SIGUSR1 11) SIGSEGV 12) SIGUSR213) SIGPIPE
2014-03-05 09:10:01
1157
原创 非root的crontab调用失败
感觉守护一直没作用，开始以为是守护脚本有问题。重试多次觉得很OK。实在不行找了root用户，看日志。Feb 11 18:19:01 crond[27831]: (CRON) ERROR (setreuid failed): Resource temporarily unavailableFeb 11 18:19:01 crond[27831]: (xxx) ERROR (failed
2014-02-12 09:36:17
7134
原创 解决TIME和CPU USAGE 9999问题
症状：系统运行一段时间，突然应用的CPU USAGE上到9999，load飙上去，接着网络中断。重启后不开任何应用，init等的TIME已经是6位数的h了。启动应用马上像之前的情况了。解决：过程1： 查询资料，这个是linux的kernel定时器相关bug， 但是具体跟什么东西有关就不清楚，因为所有的应用都是没有root权限的，不会破坏掉什么系统文件。多方排查和规避尝试后，都
2014-02-10 15:53:43
2911
原创 图片压缩算法
有损算法：JPEG，我们最为常用的算法。他是通过离散余弦变换，对图片质量尽量小的时候进行有损压缩，改算法对高中波特率下效果很好，但是对低波特率下，就会出现方格之类的，比如100多MB的MPEG电影，会发现稍微一暗就很多格子。为了解决这个问题，提出了JPEG2000标准。JPEG2000使用了小波变换算法，自称压缩率比JPEG高30%，同时对局部支持不压缩。同时支持先轮廓、模糊逐步清晰的编码
2014-01-18 10:49:51
15561
原创 SDN介绍
SDN，(Software-defined networking)，软件定义网络。计算机的发展，可以说日新月异，层出不穷，一日千里，以各个不同的姿势渗透到生活的每个角落。大到天体计算，dna破解，手工云计算，挖矿，小到手机，电子书。但是网络的发展相比之下如同银行业对比钢铁业相比一样，基本没啥改变，竞争都是土豪方式的简单又粗暴，相对集中在比拼硬件，专利。计算机能够如此迅猛的发展，我们需要致
2014-01-11 11:47:58
4676
原创 HZ的概念
HZ跟CPU频率没关系，HZ，The frequency of the system timer (the tick rate) is programmed on system boot based on a static preprocessor define,HZ.每秒发中断次数timer interrupt (IRQ 0)次数。Tick， 1/HZ, HZ=100时，t
2013-12-28 16:42:27
2511
原创 nginx access_log buffer大小设置
access_log 的buffer设置多大，看官网说是不能超过原子写入磁盘的大小。这个值在Linux里边是没有变量或者环境变量来设置的。The access_log directive sets the path, format and buffer size for the access log file. Using "off" as the only parameter clear
2013-12-23 20:02:07
8113
原创 解决系统丢包问题
当系统经常出现丢包问题时（ifconfig可以看到），修改rx_ring可以解决这个问题。sudo /sbin/ethtool -g eth0 | /bin/grep "RX:" | /bin/sed "1q"|/bin/cut -f 3 |xargs /sbin/ethtool -G eth0 rx[huanglq@hadoop99 ~]$ sudo /sbin/ethtool -
2013-12-13 14:54:44
13365
原创 mysql备机倒换配置
mysqldump, 加选项 --master-data=2 -F 来让主库新开启一个日志，这样就从那个新日志的0位置开始读了将dump数据导入从库，启用slave的时候，change master to 语句需要指定主库上备份开始的那一刻之后的日志文件以及位置，从库才知道从那开始同步。
2013-12-13 10:27:39
1398
原创 JAVA VS CPP Benchmark
第一组测试计算max是：4234567890 max*max nonprint是把 printf("%ld\n", res); 去掉的意思代码结构大概是这样的： #include #include #include #include int main(int argc, char** argv){ int op = atoi(argv[1]);
2013-12-12 17:20:30
1883
转载 获取时间的开销
time (s) => 4nsftime (ms) => 39nsgettimeofday (us) => 30nsclock_gettime (ns) => 26ns (CLOCK_REALTIME)clock_gettime (ns) => 8ns (CLOCK_REALTIME_COARSE)clock_gettime (ns) => 26ns (CLOCK_MONOTONIC)clock_
2013-12-11 20:51:24
2467
原创 hypertable架构与使用实践
uIMG的存储使用的是hypertable， 一个CPP版本的bigtable方案，它提供大数据存储，也提供了缓存，相对KV系统，它的功能和可管理性更强。调用栈Hypertable处于大数据生态系统调用栈的中间，在DFS的之上，它依赖DFS作为底层存储；在各种runtime-script之下，开放了灵活的高性能接口提供给业务策略使用。这是官方提供的一个HBASE
2013-12-11 20:26:45
2303
转载 rrdtool缩写翻译
RRD——round robin databaseDS——data sourceDST——data source typeRRA——round robin archiveCF——consolidation function（合并/归并函数）PDP——primary data point（基本数据点）CDP——consolidation data point（合并/归并数据点
2013-12-09 11:31:32
1239
原创 sudo一个小时内生效
vi /etc/sudoershuanglq ALL=(ALL) ALLhadoop ALL=(ALL) ALLDefaults:huanglq timestamp_timeout=60Defaults:hadoop timestamp_timeout=60
2013-12-04 11:28:35
2637
原创 502错误
测试环境运行很OK，但是放到线上就偶尔出现502错误。分析：Nginx 502 Bad Gateway的含义是请求的CGI已经执行，但是由于某种原因没有执行完毕而导致CGI进程终止。Nginx 504 Gateway Time-out的含义是所请求的网关没有请求到，简单来说就是没有请求到可以执行的CGI。我们这边应该都是部分耗时操作引起了超时，因此需要增大NG的超时时间。
2013-11-29 14:48:51
7416
原创 Hypertable+自定义HDFS
Hypertable默认支持CDH3和CDH4的HDFS。如果想自己用指定的HDFS怎么办呢。。。下面以hadoop2.2.0为例来解决。1. 配置中指定使用CDH42. 更换CDH4同HDFS交互的JAR/hypertable/current/lib/java/下于haddop2.2.0不兼容的有：hadoop-auth-2.2.0.jarhadoop-common-2.
2013-11-15 18:00:34
1070
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人