jianblog-CSDN博客

原创全文索引

全部文章索引分类目录：系统运维pythonperlelastic

2017-02-17 09:19:32 387

原创 elastic5.2.1安装

elk: 5.2.1解压安装后主要的修改配置文件，如下：

2017-02-21 11:42:25 453

原创 elastic案例：logstash grok正则

环境：elasticsearch 5.1.1 logstash 5.2.1 现有业务日志需要分析处理，目前已知，日志条目采用‘||’进行分割，但字段含义并不完全一致。某个状态位的代码值决定了后面若干字段的含义。后考虑先从日志中筛选出一种进行分析。这里为登录信息。#日志格式示范一：[2017-02-20 22:30:08,455] [INFO] [c.r.c.fr

2017-02-20 23:33:33 2925

原创 pyenv多版本管理

多版本管理多虚拟环境virtualenv pyenv用于多个python版本的管理，virtualenv用于相同版本各种模块包环境的

2017-02-17 09:25:10 311

原创 elastic笔记：logstash插件安装

logstash安装版本：5.2.1按照官方文档直接执行logstash-plugin install logstash-filter-dissect八成会报错。需要确保运行环境以及参考插件仓库步骤。运行环境ruby,ruby,gem,bundle的安装。安装ruby 下载ruby2.3.3源码包，解压，进入目录执行：./configure --prefix=/usr/local/ru

2017-02-17 00:20:24 2318

运维一项很烦琐的事情就是处理服务器上各种系统、应用产生的日志。有的需要定期删除清空，有的需要周期性存档。因此从系统搭建之初，每增加一些应用服务，就需要考虑到日志的管理策略。这里，记录一下合理利用linux自带服务logroate的配置。系统环境： centos6.5系统初次安装后，已经默认对一些系统日志使用logrotate进行管理。服务名：logrotate对应的系统服务名为 crond. ch

2017-02-16 10:15:35 604

原创 elastic笔记：两种日志处理流程整理

日志的流向比较灵活，已经测试过的包括： filebeat —> logstash filebeat —> elastic filebeat —> redis logstash <—> redis logstash —> elasticlogstash –>redis –> logstash –> elastic早期利用的环境，由于跨不同网络，故中间使用redis作为中转。采集端 logst

2017-02-14 17:18:54 1062

原创 Elastic search问题笔记: scroll查询数据

elastic search在普通方式查询时会返回记录总数以及开头的若干条，即便指定from和相应的长度size也有总数限制。根据文档介绍，这时需要通过scroll分页查询，在初次查询时指定改方式，之后不断的调用scroll方法针对同_scroll_id会得到后续数据。就像通过一个固定的游标以及指定的窗口大小来不断滚动获得新的数据。from elasticsearch import Elastics

2017-02-12 22:30:15 6646 6

原创 Elasticsearch学习笔记：multi-fields

multi-fields It is often useful to index the same field in different ways for different purposes. This is the purpose of multi-fields. For instance, a string field could be mapped as a text field for

2017-02-08 16:16:27 3797

原创 Elasticsearch学习笔记：index,mapping

关键词：term, token, index, mapping index，mapping是理解ela原理的两个关键概念。index首先，我们可以在kibana或curl命令行方式任意输入关键字进行全文检索是基于ela内部对信息存储的方式。一种称为倒排索引的方式（网上很多介绍这个概念，一看就懂）。了解了它又自然而然明白了文本的词、句在被索引前需要经过合适方式的处理。 elasticsearch对

2017-02-08 14:30:20 2969

原创 Elastic测试笔记：logstash读取redis，指定时间字段

环境前端filebeat 读取nginx日志（json格式），输出到中间redis，后端logstash从redis读取并解析。## filebeat.yml- input_type: log paths: - /var/log/nginx/prod_access.json document_type: "access_log" ## 定义了type字段 fields:

2017-01-22 16:16:01 2424 1

原创 ELK测试：logstash解析nginx时间字段

下面比较 nginx配置中输出日志格式的时间字段在两种格式下的解析方法：$time_iso8601log_format json '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"clientip":"$remote_addr",'

2017-01-17 17:18:23 7235

原创 ELK测试笔记-filebeat输出到logstash

测试说明通过filebeat监控nginx日志（已配置为json格式）。之后直接输出到logstash。filebeat配置增加部分： output.logstash: # The Logstash hosts hosts: [“192.168.100.34:5044”] index: shopweblogstash配置input { beat { por

2017-01-17 09:50:08 19128 2

原创 ELK测试笔记：filebeat与logsmash写入redis

需求场景监控nginx日志并读取缓存到redis，后端logstash读取。其中nginx日志已经按照json格式进行输出。以下测试分别使用filebeat和logstash对相同输入(stdin)情况下，是否能正确得到json相应字段。filebeat采集## 采用stdin进行测试- input_type: stdin#-------------- Redis output -------

2017-01-16 22:41:17 7443

原创用python 通过12306api抓取列车信息

参考： 12306官方火车票api 12306火车票查询12306网站通过chrome可以看到查询票的api 其中有log? 和 queryA?两种开头的接口，网上介绍log是判断服务是否正常，用queryA进行查询#在python控制台测试> import requests> url = 'https://kyfw.12306.cn/otn/leftTicket/log?leftTi

2017-01-09 17:28:57 4345 1

原创模块应用-docopt

docopt creates beautiful command-line interfaces oschina这样介绍这个模块: Docopt 抛弃optparse和argparse吧，使用docstrings来构建优雅的，可读性强的，并且复杂（如果你需要的话）的命令行界面。Docopt 提供多种语言版本，包括：Java、Python、PHP、C/C++、.NET、D语言、Scala、Go 语

2017-01-09 11:08:41 932

原创 nginx日志解析输出elasticstack

elastic stack 日志采集和解析分离，中间使用redis进行缓存

2016-12-27 15:55:21 529

原创为什么在Pool中传递Queue对象无法运行

应用python的多进程模块，multiprocessing创建进程池执行某项统计任务，结果保存在Queue对象中，主进程在所有子进程结束后读取该Queue。但在执行创建子进程时，返回码已经有错误。如果通过Manager创建共享列表，则各子进程正常执行并将结果报存到列表中，父进程最后正常读取全部结果。不知Pool方式生成的子进程是否不能应用Queue对象呢？

2015-11-09 14:47:36 686

原创 django给admin增加功能

修改django的默认控制台界面，增加额外链接功能时，需要扩展该模板。初步小试了一下如何在控制台中所需的app界面中上显示一个标签。1.django project路径: D:\Studio\django_web\mybase2.app路径 D:\Studio\django_web\mybase\beta步骤：A.从标准模板库中拷贝至当前pro

2015-09-07 10:46:45 2380

原创为什么没有blog android客户端

其实平日工作及研究学习过程中有很多想法思考想要记录下来，不过使用电脑条件受限，在家时间碎片化太多。手机倒是时时在手，很希望有个趁手的客户端便于同步记录博客，csdn直到现在也没有考虑不同平台的应用开发，很是遗憾。如果目前那个blog空间有更好的手机客户端，我很愿意转过去。

2015-04-13 22:01:45 370

原创 Perl 网络编程socket练习(四)

多路复用说明：

2014-04-19 20:43:17 763

原创文件异常增长应用定位

今天碰到一个系统的小问题，正巧以前也

2014-04-18 08:54:11 528

原创 Perl 网络编程socket练习(三)

前面多进程测试时发现两个问题:1.如果b

2014-04-15 21:52:07 700

原创 Perl 网络编程socket练习(二)

前面的服务端程序由于是单一进程。所以进入循环后无法处理第二个客户端的连接请求。下面，测试多进程:

2014-04-15 21:32:44 747

原创 Perl 网络编程socket练习(一)

测试一个最简单的客户、服务端通信。客户端发送消息，服务端接收后原样返回给客户端。###server use IO::Socket;my $server = IO::Socket::INET->new(LocalPort => '65432',

2014-04-14 21:07:12 1129

Jianblog's VED