- 博客(58)
- 收藏
- 关注
RSS订阅原创 Elasticsearch集群索引分片未分配unassigned导致集群状态红色red异常若干问题解决记录
一.背景今天收到告警短信发现某个业务系统几台服务器的日志收集服务filebeat均已下线，把filebeat都重启之后，准备到Kibana查阅业务系统的日志，检索异常条目，发现从凌晨开始的日志条目都没有，今天的索引也没有建成，查看集群监控，发现elasticsearch集群状态为red，也无法继续使用和写入数据，于是开始着手排查故障。二.系统环境：所使用集群架构组件及版本信息如下：操作系统OS版本：CentOS Linux release 7.9.2009 (Core)名称 版...
2021-11-25 15:49:45
5161
原创 ELK集群中Logstash实现负载均衡及Kafka调优相关
所使用集群架构组件及版本信息如下：名称 版本号 filebeat 7.10.0 kafka 2.4.1 zookeeper 3.5.7 logstash 7.5.2 elasticsearch 7.5.2 kibana 7.5.2
2021-10-25 15:48:49
1265
原创 ELK日志接入流程
首先接入测试环境中进行适配测试，确认无误后，根据生产环境上线安排或做重启操作，最后完成生产环境的接入。以下是通用接入步骤，使用正式环境部署路径，截图为例：(一) 以下步骤和操作仅针对java项目，根据日志引擎输出的日志格式，使用log4j或者log4j2的配置文件为模板，和研发人员协商进行日志改造，改造完毕后重启应用，确认输出新格式的日志，整改前的旧日志删除掉或者移动到其他目录作为归档（生产和测试适用）。准备先接入到ELK测试环境。(二) 编辑logstash配置文件，加入新项目的配置：v.
2021-04-26 14:18:48
2387
原创 ELK集群搭建流程
一.背景本来打算采用Redis作为消息缓存，当日志数据量较小的时候，处理速度要优于Kafka技术，但针对数据量大并发的时候性能却表现不佳，无法应对吞吐量大的情况。采用Kafka作为消息队列缓存，支持分布式计算，可以多个Kafka节点同时处理信息，能有效解决数据量大并发的问题，拥有很高的吞吐量，单台支持每秒10万条数据以上的处理速率。由于项目较多，所有系统一天产生的日志总量保守估计有千万级别，采用Kafka作为ELK平台的缓存技术较为合适。二.操作系统环境和软件版本介绍操作系统版本：CentOS.
2021-04-23 17:17:46
812
2
原创 Filebeat-7.10.0安装流程
(1) 首先下载软件包(采用二进制包，非编译安装)：Filebeat：https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.0-x86_64.rpm(2) 使用以下命令安装，下载的安装包路径以/data/filebeat-7.10.0-x86_64.rpm为例rpm -ivh /data/filebeat-7.10.0-x86_64.rpm(3) 默认配置文件位置为/etc/filebeat/filebeat.
2021-04-23 17:11:38
791
原创 Kibana-7.5.2搭建流程
(1) 首先下载软件包(采用二进制包，非编译安装)：Kibana：https://artifacts.elastic.co/downloads/kibana/kibana-7.5.2-linux-x86_64.tar.gz(2) 解压Kibana安装包，解压路径以/data/kibana为例，下同，编辑解压文件中的config/kibana.yml配置文件，添加或调整以下配置：#Kibana从6.7.0开始，可以通过修改kibana.yml中的配置项i18n.locale: "zh-CN"，然后
2021-04-23 16:59:51
569
原创 Elasticsearch-7.5.2搭建流程
(1) 首先下载软件包(采用二进制包，非编译安装)：Elasticsearch：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.2-linux-x86_64.tar.gz(2) 解压Elasticsearch安装包，解压路径以/data/elasticsearch为例，下同，编辑解压文件中的config/elasticsearch.yml配置文件，添加或调整以下配置：#elasticsearch集群名称
2021-04-23 16:54:00
793
原创 Logstash-7.5.2搭建流程
(1) 首先下载软件包(采用二进制包，非编译安装)：Logstash：https://artifacts.elastic.co/downloads/logstash/logstash-7.5.2.tar.gz(2) 解压Logstash安装包，编辑解压文件中的config/logstash.yml配置文件，添加或调整以下配置：#每次发送的事件数pipeline.batch.size: 10000#发送延时pipeline.batch.delay: 10#pipeline线程数，官
2021-04-23 16:49:20
874
原创 Kafka-2.4.1搭建流程
(1) 首先下载软件包(采用二进制包，非编译安装)：Kafka：https://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz(2) 解压Kafka安装包，编辑解压文件中的config/server.properties配置文件，添加或调整以下配置：#kafka集群里的身份ID，节点间不能重复broker.id=1#kafka节点主机名host.name=192.168.145.109#允许在kafka上执行删除top
2021-04-23 16:34:31
486
原创 Zookeeper-3.5.7搭建流程
(1) 首先下载软件包(采用二进制包，非编译安装)：Zookeeper：https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz(2) 解压Zookeeper安装包，编辑解压文件中的conf/zoo.cfg配置文件，添加或调整以下配置：#Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTim
2021-04-23 16:09:49
490
原创 记一次Mongodb数据从单机迁移到集群过程
一.背景：最近公司一个项目由于初期部署MongoDB使用单节点部署，考虑到业务量大了之后数据量随之增长，对数据库并发性，可靠性，容灾方面要求较高。所以决定新增三台服务器，组建MongoDB的集群，并将原单节点运行的部分数据迁移到新集群当中，同时实现不同业务系统间数据分离。把流量较大的业务系统的数据操作分配到新搭建的集群当中，提升数据读写性能。二.基本信息：软件版本：mongodb-4.0.11系统环境如下：编号 IP地址 操作系统 备注 A 192.168.9
2020-12-23 03:06:13
2056
3
原创 记一次Jenkins版本升级故障处理记录
一.背景由于需要配合DBA人员给jenkins安装第三方的SQL质量审核插件(云和恩墨公司开发的SQM平台，详情见https://www.enmotech.com/web/classify/25.html)，在手动上传jenkins插件安装过程中发现当前jenkins版本偏低，安装该插件需要安装较多的前置依赖插件，否则会导致不兼容和冲突，引起某些jenkins自身功能无法使用。于是决定升级jenkins版本。二.原始操作过程1.由于jenkins是使用tomcat部署war包的形式，于是首先备份
2020-09-01 15:37:45
993
原创 ELK中Logstash失效问题处理记录
环境：系统均为CentOS 7.5 64位Elasticsearch：6.0.0Logstash：6.0.1Kibana：6.0.0filebeat：6.0.1集群有三台服务器，其中Elasticsearch 主节点master，Logstash，Kibana都部署在服务器A上，其余B和C分别部署Elasticsearch子节点，与A一并组成Elasticsearch集群，...
2019-12-04 14:53:12
922
原创 docker部署各类应用容器过程中遇到的问题整理(持续更新)
一、在docker run 新建mysql 容器的时候，由于容器里mysql 相关的数据文件的从属都是用户mysql，官方镜像里，mysql用户的id为999，且容器里的root用户只是普通用户的身份，非超级管理员，没有权限对挂载的宿主机的数据目录的文件进行写入修改操作，若直接启动mysql容器会失败，查看日志(docker logs -f CONTAINER_ID)会提示挂载的目录权限拒绝(PE...
2019-11-06 15:08:50
686
原创 搭建Starbound服务端流程记录与备忘
前言：阅读本文需要有一定linux系统使用经验由于多人联机对带宽上行要求不低，否则玩家（客户端）会出现卡顿延迟的现象。且由于国内运营商特殊原因，家用宽带的上传速率和下载速率并不对等，就是说上下行带宽不一样，通常是下载速率远远大于上传速率，鉴于这个现实情况，只有使用VPS等云服务器才能实现这个需求，因为一般云服务器的上下行带宽都会对等，而且比普遍的家用宽带的上传速度高，满足多人联机需求，对于...
2019-08-16 16:36:47
3948
原创 Hadoop+Hbase+Zookeeper伪分布式集群实践初探和心得记录
一.背景：首先是为了配合开发同学搭建列数据库，Hbase环境作为测试，由于服务器资源有限，只能把所有组件都安装部署在同一台服务器上，同时需要启用zookeeper，所以为伪分布式集群模式。而大数据流行的今天，学习相关组件技术也是很有必要的。为了更好的了解每一个组件，甚至是每一条配置的具体作用和原理，这里我们采用每个不同组件单独部署，而非使用CDH（Cloudera）等集成环境安装包去进行一键式...
2018-09-27 18:25:32
2369
原创 LVS+Keepalived负载均衡实践与心得补遗
一.实践背景，分析：公司研发的业务系统某个功能频繁出现数据库Mysql性能问题，导致系统使用卡顿，响应慢，且数据库所在服务器CPU负载居高不下，影响其他项目系统的正常数据库访问和使用。除去研发人员优化sql工作外，作为运维人员可以尝试对当前服务架构改造，目前架构大致如下：如上图所示，当前压力都集中在数据库这一节点上，且代码上没有做读写分离，也一定程度上影响了系统性能。虽然有主从复制备库...
2018-09-26 18:31:18
689
原创 实现内网服务器通过同局域网的代理服务器上网
一.场景描述：1.以下安装环境均在Linux系统下！2.现在有若干台云服务器，其中一台分配了外网IP地址，其余服务器只分配了内网IP地址，准备用来搭建内网服务（如数据库，后台接口等）使用，现为了安装部署便利，要求没有分配外网地址的服务器同样可以访问外网。二.解决方法：1.首先在分配了外网地址的服务器上，搭建Socks5 Proxy代理服务，具体步骤参考以下博文：《在Linux上...
2018-08-03 17:26:19
10713
原创 解决微信支付商户号提示服务器证书过期的问题
日前收到来自微信支付（pay.weixin.qq.com）的证书过期信息，遂参考官方文档进行新证书的安装和替换 根据文档介绍，微信支付证书更换涉及到两种证书：一.服务器CA根证书：1.Windows系统：直接下载DER格式的证书双击安装导入即可2.Linux系统（此处以CentOS为例，其他版本请自行查找安装方法）：（1）把pem或der后缀的证书文件复制到/etc/pki/ca-trust/so...
2018-06-01 15:15:05
12804
原创 解决Linux下scp传输成功后出现挂起hang和文件大小异常的问题
今天在安装系统为CentOS 6.6的服务器上使用SCP传输小文件的时候，出现传输进度达到100%但是接收文件一方文件大小为0的情况，下图为使用“scp -vvvv [file] [user]@[IP]:[directory]”打开了debug信息下的传输过程：由上图可知，接收方写入文件时候一直卡在2144个字节，没有达到总数为4813的字节数，并且使用ps查看系统进程，scp的进程处于挂起休眠待...
2018-04-11 18:09:10
7675
1
原创 Mysql临时文件目录控制（优化项之一）
查看mysql的log-error日志发现如下错误：ERROR 3 (HY000): Error writing file '/tmp/MYbEd05t' (Errcode: 28)这是由于mysql运行sql时会产生临时文件，这个临时文件大小取决于sql语句和表的大小，当存放临时文件的分区“/”大小不足的时候会出现上述错误。这时候需要更改临时文件目录的位置到空间足够的分区下，步骤如下：
2018-02-07 15:45:18
2082
原创 Eleastisearch6.0.0由单节点升级到多节点集群cluster时候出现的分片同步错误问题解决
启动多个节点的ES后，ES开始推举master节点并同步分片shard数据到新ES节点上，此时观察Logstash日志抛出以下错误：logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked
2018-01-18 16:33:21
11866
4
原创 记一次Mysql占用内存过高的优化过程
一.环境说明操作系统：CentOS 6.5 x86_64数据库：Mysql 5.6.22服务器：阿里云VPS，32G Mem，0 swap二.问题情况：1.某日发现公司线上系统的Mysql某个实例的从库长时间内存占用达到60%如下图2.于是开始按照以下步骤排查：(1).查看mysql里的线程，观察是否有长期运行或阻塞的sql：show ful
2017-12-26 13:44:37
75452
原创 ELK由5.5.x升级到6.0.0的错误及其解决办法收集
一.升级完毕打开Logstash运行日志观察提示如下错误信息：[2017-12-19T16:30:14,283][WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"logs
2017-12-19 17:36:35
3492
2
原创 记一次ELK从5.5.x升级到6.0.0的过程
前言：1.部署的ELK架构为elasticsearch(以下简称ES)+logstash+kibana+filebeat2.filebeat部署在需要收集日志的节点上，负责收集日志。接着交由logstash和elasticsearch过滤分析，然后传输并集中在kibana系统上进行可视化展示3.非集群部署none-cluster1.Eleasticsearch部分：
2017-12-09 17:43:01
3500
转载 zabbix监控进程的CPU和内存占用量
最近需要对公司产品的其中一个后台接口的物理内存的实时占用量和CPU使用量进行监控统计，使用zabbix系统，经查阅资料找到以下文章：------------------------------------------ 转帖正文分割线 --------------------------------------------由于需要对公司特定服务进行监控，于是，通过编写脚本获取各个进程
2017-09-28 10:40:38
9743
原创 shell下发送邮件工具sendEmail的用法详解
今天来分享一个可以在linux命令行(shell)模式下使用的发送电子邮件的软件首先上下载地址：http://caspian.dotconf.net/menu/Software/SendEmail/安装方式简单，不需要编译，只需把可执行文件添加到环境变量$PATH目录直接使用即可，由于该软件使用Perl开发，所以需要安装Perl，下面直接搬运Readme文件里的安装与使用方法，以及
2016-11-05 14:35:55
15094
原创 Oracle11gR2下搭建DataGuard主备同步详解
（PS：以下正文中以“//“开头的为注释行）一，环境基本信息：主库信息：操作系统版本：CentOS release 6.5 (Final)操作系统内核版本：2.6.32-431.el6.x86_64Oracle版本信息：BANNER----------------------------------------------------------------
2016-05-13 18:26:17
14873
6
原创 expdp/impdp数据泵和RMAN全库备份shell脚本各一则
脚本主要逻辑是全库备份读取到的实例的数据库，连同附属功能性文件（spfile，controlfile控制文件，listener监听文件，密码文件orapw[instance_name]）压缩后一并发送到远程服务器上。（PS：脚本正文中以#开头一行为注释，直接拷贝代码使用不影响运行）一.首先是数据泵expdp/impdp全库备份的：#!/bin/bash#backup oracl
2016-05-04 17:15:05
6398
原创 利用expdp/impdp数据泵对oracle进行数据迁移
按照惯例先报系统环境：导出环境：操作系统Release版本：CentOS 6.5OS内核Kernel版本：2.6.32-431.el6.x86.64Oracle版本信息：SQL> select * from v$version;BANNER------------------------------------------------------------
2016-04-08 12:35:21
8878
14
原创 解决linux系统下分区文件占用总空间比实际分区总容量要小却提示磁盘空间已满的问题
今天遇到个怪问题，同事反应部署tomcat的分区/app无法上传文件，无论是用lrzsz还是xshell附属的xftp均无法上传文件到指定位置，经检查目录权限均允许写入，然后查看系统分区空间大小发现空间已满，如下图(请忽略下面乱码)如图上逻辑卷/dev/mapper/vs_app-LV_app所挂载的/app目录显示94%已占用率（原本占用率100%满载，经手动删除一些文件后降到94%)，...
2016-01-08 10:50:45
10040
原创 利用RMAN针对同平台下Oracle的实例进行异机迁移
环境：CentOS 6.4Final x86_64数据库版本：Oracle11g release 11.2.0.2.0(R2)主要工具：Rman注意事项：本次操作是基于同平台，数据库版本一致的环境下进行迁移操作豆知识： 从Oracle8版本开始自带的工具,与imp/exp的区别： Imp/exp:基于数据级别备份，缺点：只能
2015-11-25 17:29:19
2081
原创 Oracle11g非图形化界面linux系统下静默安装
准备工作安装包linux.x64_11gR2_database_1of2.zip linux.x64_11gR2_database_2of2.zip //分包需要用unzip都解压一遍并放在相同目录下 pdksh-5.2.14-1.i386.rpm //安装依赖，安装o
2015-11-24 18:49:04
9476
3
原创 学习linux下安装phpmyadmin3.5.6
phpMyAdmin是一个便于数据库softcore用户使用，更新，管理mysql的工具，采用web UI的方式进行管理比常规登陆到数据库服务器后台使用SQL语句管理要来得直观和方便。 按照惯例，首先是OS ver：CentOS linux release 6.2 (Final)，kernel是2.6.32.57-tlinux_xenU-1.1.rc10-default一.首先安装基本...
2015-08-03 19:04:24
966
原创 Shell里内置数组BASH_REMATCH[n]个人解析
先引用一段资料,出自：http://bbs.chinaunix.net/thread-4125147-1-1.html红色注释为个人添加--------------------------------------------------------------搬运内容分割线-----------------------------------------------------------
2015-05-26 14:22:19
7314
转载 Linux umount 报 device is busy 的处理方法
出处：http://blog.csdn.net/tianlesoftware/article/details/6194295今天在IDC 辐射了半天，又弄了套DG。 在Linux 挂盘这块也小学了两招。 一. umout 移动硬盘 开始用sftp 将安装文件copy到服务器的时候，速度太慢了，500k/s。几个G的东西，copy 这些就要半个多小时，扛不住，拿
2015-04-16 16:39:46
501
转载 图解FTP的PORT和PASV模式
该文为转载，原文地址：http://hi.baidu.com/xianyang1981/blog/item/f17d6f6d8650c0f842169427.html一、ftp的port和pasv模式的工作方式 FTP使用2个TCP端口，首先是建立一个命令端口（控制端口），然后再产生一个数据端口。国内很多教科书都讲ftp使用21命令端口和20数据端口，这个应该是教书更新太慢
2015-04-15 11:10:19
1649
转载 Linux启动过程详解
出处：http://blog.chinaunix.net/uid-26495963-id-3066282.html启动第一步－－加载BIOS当你打开计算机电源，计算机会首先加载BIOS信息，BIOS信息是如此的重要，以至于计算机必须在最开始就找到它。这是因为BIOS中包含了CPU的相关信息、设备启动顺序信息、硬盘信息、内存信息、时钟信息、PnP特性等等。在此之后，计算机心里
2015-04-10 17:41:24
588
转载 linux kill用法、killall、pkill、xkill
出处：http://bbs.chinaunix.net/thread-1810140-1-1.html一. 终止进程的工具 kill 、killall、pkill、xkill终止一个进程或终止一个正在运行的程序，一般是通过 kill 、killall、pkill、xkill 等进行。比如一个程序已经死掉，但又不能退出，这时就应该考虑应用这些工具。 另外应用的场合就是在服
2015-04-01 15:37:01
655
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人