caixingyunzi-CSDN博客

原创 ELK5.2+kafka+zookeeper+filebeat集群部署

架构图考虑到日志系统的可扩展性以及目前的资源（部分功能复用），整个ELK架构如下：架构解读 : （整个架构从左到右，总共分为5层）第一层、数据采集层最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给两个logstash服务（17.162、17.163）第二层、数据处理层，数据缓存层logstash服务把接受到的日志经过格式处理...

2017-07-12 10:38:50 2162

原创 Pycharm中pyenv和virtualenv使用详解

Pycharm中pyenv和pyvenv使用详解背景python多版本控制工具的差异1、概念理解背景由于有一次ELK的升级文档写了半天,却忘记保存,以为自动保存的,结果发现没有了,打击了积极心,很久不曾更新这个博客,但是最近开发一个项目,需要python的多环境,使用的技术pyenv和pyvenv,最初几个概念老是搞混,耽误了很多时间,网上各种博客也没有解释清楚(当然也有可能是自己理解有误),...

2018-11-29 17:06:54 8158

原创 Python Elasticsearch模块的使用

参考URL： https://es.xiaoleilu.com/054_Query_DSL/70_Important_clauses.html http://www.cnblogs.com/letong/p/4749234.html背景最近发现某类日志每天几十万，但是有几百条的丢失，为了查找原因，首先要拿到数据对比，于是乎，就把ES中的数据导出来插入库中和原始数据进行对比，就有了下面的...

2018-08-21 16:08:04 2779

原创 vbs获取本机信息以及ping的监控检测

脚本背景有时候跟非技术人员沟通的时候，你让人家提供主机信息或者让别人ping什么域名检测健康情况先行判断的时候，一般的人员可能无法理解，这对于他们可能是灾难性的操作，所以这边提供了一个vbs脚本直接发给非技术人员，让别人双击之后截图即可程序本体Function GetIPMAC(ComputerName) Dim objWMIService,colItems,objItem,...

2018-08-14 16:39:39 1669

原创检测oracle数据库同步和备份

#! /usr/bin/env python# -*- coding: utf-8 -*-# auther : xiaojinsong([email protected])import paramikoimport logging, configparserimport cx_Oracle, datetimeimport reimport smtplibfrom email.mim...

2018-07-03 16:49:31 1371

原创 python安装cx_Oracle插件

python安装cx_Oracle插件一、操作系统centos7.4 x86 64bit二、所需软件instantclient-sdk-linux.x64-11.2.0.4.0.zipinstantclient-basic-linux.x64-11.2.0.4.0.zip三、linux下安装oracle客户端cd /optunzip instantclient...

2018-07-03 16:43:58 774

原创 jenkins部署jar包应用起不来的情况

jenkins部署jar包应用起不来的情况今天在用jenkins部署jar包发布的时候，发现没有任何报错，但是应用死活起不来，google了半天依旧没有解决，并不是网上的设置BUILD_ID=dontKillMe的方法解决的，因为此类方法的各种姿势都试验了遍毫无作用。具体情况如下: 为了测试方便，取消了jar包的替换那个步骤，单纯的执行一个指令 cat publish.sh...

2018-06-16 18:01:40 11094 10

原创 zabbix的数据库优化

zabbix数据库优化参考文档： https://www.zabbix.org/wiki/Docs/howto/mysql_partition https://www.kancloud.cn/devops-centos/centos-linux-devops/375488my.cnf的参数的调整要根据实际应用和长期使用中慢慢去调整，此处主要是创建四个存储过程： create，drop...

2018-06-07 09:13:11 4975

原创 zabbix—agent的批量安装和更新

zabbix—agent的批量安装和更新linux下批量安装和更新这里关于agent的安装有两个工具思路：配置中心管理思路，工具可以使用puppet或自主开发（由于公司业务繁多，但每个规模不大，这里未采用配置中心的方式）批量处理管理思路，工具使用ansible+shell，采用的此方法，下面做介绍（ansible的使用此处不做介绍，官方文档非常详细）：分为两部分：一个是批量安装...

2018-05-27 21:21:56 4378

原创 zabbix的server的安装

zabbix的server的安装环境准备操作系统：centos7.4nginx版本：nginx/1.12.2php版本：php-7.1.11mysql版本：5.5.56-MariaDB 初始化操作系统执行下面的交互脚本，输入主机名，ip，mask，gate#!/bin/bash#creat by xiaojinsongrelease=`cat /etc/r...

2018-05-25 11:53:59 543

原创用来扫描一些网段的ip和端口的存活

用来扫描一些网段的ip和端口的存活#!/usr/bin/env python# -*- coding:utf-8 -*-# __author__ = 'xiaojinsong'# __time__ = '2018/2/28'import sysfrom nmap import PortScannerfrom nmap import PortScannerErrorclass...

2018-03-05 13:30:44 2812

原创 python3.6 nmap模块的安装问题

python3.6 nmap模块的安装问题Traceback (most recent call last): File “/apps/data/web/working/study/yunwei_tool/port_scan.py”, line 7, in from nmap import PortScanner ImportError: cannot import nam...

2018-03-03 23:47:56 4189

原创 python2.6.6 sftp小程序

python2.6.6 sftp小程序用sftp的模块来传输文件，代码如下：#!/usr/bin/env python# -*- coding:utf-8 -*-# __author__ = 'xiaojinsong'# __time__ = '2018/2/27'import smtplibimport stringimport osimport timeim...

2018-02-27 14:25:38 600

原创 nginx错误日志入库小程序

nginx错误日志入库小程序为了独立记录nginx_error日志来自定义一些ip策略阻挡攻击，这里把所有nginx服务器的错误日志入库来进行统一处理，代码如下,然后结合supervisor来使用：#!/usr/bin/env python# -*- coding:utf-8 -*-# __author__ = 'xiaojinsong'# __time__ = '2018/2/27...

2018-02-27 14:20:01 274

原创 nginx、tomcat、php日志轮转程序

nginx、tomcat、php日志轮转程序为了按分类自定义轮转的文件，所以写了如下代码：#!/usr/bin/env python# -*- coding:utf-8 -*-# __author__ = 'xiaojinsong'# __time__ = '2018/2/26'import os, sys, time, datetimeimport tarfile, r...

2018-02-27 14:13:26 404