12 jianblog

尚未进行身份认证

系统运维。 perl,python django ansible,saltstack

等级
TA的排名 11w+

elastic笔记:ik分词插件安装

ik中文分词插件安装

2017-02-21 12:23:07

elastic5.2.1安装

elk: 5.2.1解压安装后主要的修改配置文件,如下:

2017-02-21 11:42:25

elastic案例:logstash grok正则

环境:elasticsearch 5.1.1 logstash 5.2.1 现有业务日志需要分析处理,目前已知,日志条目采用‘||’进行分割,但字段含义并不完全一致。某个状态位的代码值决定了后面若干字段的含义。后考虑先从日志中筛选出一种进行分析。这里为登录信息。#日志格式示范一:[2017-02-20 22:30:08,455] [INFO] [c.r.c.fr

2017-02-20 23:33:33

终端环境运维菜单-yaml

终端菜单 yaml

2017-02-17 09:58:35

pyenv多版本管理

多版本管理 多虚拟环境virtualenv pyenv用于多个python版本的管理,virtualenv用于相同版本各种模块包环境的

2017-02-17 09:25:10

全文索引

全部文章索引分类目录:系统运维pythonperlelastic

2017-02-17 09:19:32

elastic笔记:logstash插件安装

logstash安装版本:5.2.1按照官方文档直接执行logstash-plugin install logstash-filter-dissect八成会报错。 需要确保运行环境以及参考插件仓库 步骤。运行环境ruby,ruby,gem,bundle的安装。安装ruby 下载ruby2.3.3源码包,解压,进入目录执行:./configure --prefix=/usr/local/ru

2017-02-17 00:20:24

logrotate使用

运维一项很烦琐的事情就是处理服务器上各种系统、应用产生的日志。有的需要定期删除清空,有的需要周期性存档。因此从系统搭建之初,每增加一些应用服务,就需要考虑到日志的管理策略。这里,记录一下合理利用linux自带服务logroate的配置。系统环境: centos6.5系统初次安装后,已经默认对一些系统日志使用logrotate进行管理。服务名:logrotate对应的系统服务名为 crond. ch

2017-02-16 10:15:35

elastic笔记:两种日志处理流程整理

日志的流向比较灵活,已经测试过的包括: filebeat —> logstash filebeat —> elastic filebeat —> redis logstash <—> redis logstash —> elasticlogstash –>redis –> logstash –> elastic早期利用的环境,由于跨不同网络,故中间使用redis作为中转。采集端 logst

2017-02-14 17:18:54

Elastic search问题笔记: scroll查询数据

elastic search在普通方式查询时会返回记录总数以及开头的若干条,即便指定from和相应的长度size也有总数限制。根据文档介绍,这时需要通过scroll分页查询,在初次查询时指定改方式,之后不断的调用scroll方法针对同_scroll_id会得到后续数据。就像通过一个固定的游标以及指定的窗口大小来不断滚动获得新的数据。from elasticsearch import Elastics

2017-02-12 22:30:15

Elasticsearch学习笔记:multi-fields

multi-fields It is often useful to index the same field in different ways for different purposes. This is the purpose of multi-fields. For instance, a string field could be mapped as a text field for

2017-02-08 16:16:27

Elasticsearch学习笔记:index,mapping

关键词:term, token, index, mapping index,mapping是理解ela原理的两个关键概念。index首先,我们可以在kibana或curl命令行方式任意输入关键字进行全文检索是基于ela内部对信息存储的方式。一种称为倒排索引的方式(网上很多介绍这个概念,一看就懂)。了解了它又自然而然明白了文本的词、句在被索引前需要经过合适方式的处理。 elasticsearch对

2017-02-08 14:30:20

Elastic测试笔记:logstash读取redis,指定时间字段

环境前端filebeat 读取nginx日志(json格式),输出到中间redis,后端logstash从redis读取并解析。## filebeat.yml- input_type: log paths: - /var/log/nginx/prod_access.json document_type: "access_log" ## 定义了type字段 fields:

2017-01-22 16:16:01

ELK测试:logstash解析nginx时间字段

下面比较 nginx配置中输出日志格式的时间字段在两种格式下的解析方法:$time_iso8601log_format json '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"clientip":"$remote_addr",'

2017-01-17 17:18:23

ELK测试笔记-filebeat输出到logstash

测试说明通过filebeat监控nginx日志(已配置为json格式)。之后直接输出到logstash。filebeat配置增加部分: output.logstash: # The Logstash hosts hosts: [“192.168.100.34:5044”] index: shopweblogstash配置input { beat { por

2017-01-17 09:50:08

ELK测试笔记:filebeat与logsmash写入redis

需求场景 监控nginx日志并读取缓存到redis,后端logstash读取。其中nginx日志已经按照json格式进行输出。以下测试分别使用filebeat和logstash对相同输入(stdin)情况下,是否能正确得到json相应字段。filebeat采集## 采用stdin进行测试- input_type: stdin#-------------- Redis output -------

2017-01-16 22:41:17

用python 通过12306api抓取列车信息

参考: 12306官方火车票api 12306火车票查询12306网站通过chrome可以看到查询票的api 其中有log? 和 queryA?两种开头的接口,网上介绍log是判断服务是否正常,用queryA进行查询#在python控制台测试> import requests> url = 'https://kyfw.12306.cn/otn/leftTicket/log?leftTi

2017-01-09 17:28:57

模块应用-docopt

docopt creates beautiful command-line interfaces oschina这样介绍这个模块: Docopt 抛弃optparse和argparse吧,使用docstrings来构建优雅的,可读性强的,并且复杂(如果你需要的话)的命令行界面。Docopt 提供多种语言版本,包括:Java、Python、PHP、C/C++、.NET、D语言、Scala、Go 语

2017-01-09 11:08:41

nginx日志解析输出elasticstack

elastic stack 日志采集和解析分离,中间使用redis进行缓存

2016-12-27 15:55:21

为什么在Pool中传递Queue对象无法运行

应用python的多进程模块,multiprocessing创建进程池执行某项统计任务,结果保存在Queue对象中,主进程在所有子进程结束后读取该Queue。但在执行创建子进程时,返回码已经有错误。如果通过Manager创建共享列表,则各子进程正常执行并将结果报存到列表中, 父进程最后正常读取全部结果。不知Pool方式生成的子进程是否不能应用Queue对象呢?

2015-11-09 14:47:36

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!