东孤熊猫-CSDN博客

原创 nginx针对url参数重写URI

场景：原url:http://blog.tuine.me/article/show?id=1&type=php&cat_id=2修改为:http://blog.tuine.me/article/show/1?type=php&cat_id=2ngixnrewrite: 不写last和break-那么流程就是依次执行这些rewrite 1.rewritebreak-url重写后，直接使用当前资源，不再执行location里余下的语句...

2020-11-05 15:34:25 2815

原创 zabbix自动清理30天前的数据

#!/bin/bashUser="xxxx"Passwd="xxxx"Date=`date -d $(date -d "-30 day" +%Y%m%d) +%s` #取30天之前的时间戳$(which mysql) -u${User} -p${Passwd} -e "use zabbix;DELETE FROM history WHERE 'clock' < $Date;optimize table history;DELETE FROM history_str WHERE 'cl.

2020-07-01 16:53:38 593

原创 jstat命令查看jvm的GC情况

jstat命令可以查看堆内存各部分的使用量，以及加载类的数量。命令的格式如下：jstat [-命令选项] [vmid] [间隔时间/毫秒] [查询次数]注意！！！：使用的jdk版本是jdk8. 类加载统计：　Loaded:加载class的数量 Bytes：所占用空间大小 Unloaded：未加载数量 Bytes:未加载占用空间 Time：时间编译统计　Compiled：编译数量。 Failed：失败数量 Invalid：不可用数量 Time...

2020-06-04 09:18:25 731

原创 Kong docker部署及简单使用

Kong使用数据库模式1. 创建kong-net网络$ docker network create kong-net2. 启动PostgreSQL容器docker run -d --name kong-database \--network=kong-net \-p 5432:5432 \-e "POSTGRES_USER=kong" \-e "POSTGRES_DB=kong" \-e "POSTGRES_PASSWORD=kong" \postgres:11.73.

2020-06-03 11:15:55 3612 1

原创变量字符串${var%%.*}

很多时候在使用Linux的shell时，我们都需要对文件名或目录名进行处理，通常的操作是由路径中提取出文件名，从路径中提取出目录名，提取文件后缀名等等。例如，从路径/dir1/dir2/file.txt中提取也文件名file.txt，提取出目录/dir1/dir2，提取出文件后缀txt等。下面介绍两种常用的方法来进行相关的操作。一、使用${}1、${var##*/}该命令的作用是去掉变量var从左边算起的最后一个'/'字符及其左边的内容，返回从左边算起的最后一个'/'（不含该字符）的..

2020-05-26 18:22:27 1195 1

原创使用rancher配置kong和konga

操作步骤：1、创建一个运行pg的pod，指定初始密码和端口信息，在登入数据库中创建kong和konga的数据库和kong用户和konga用户，并设置权限2、在创建kong的podkong:images:kong:2.0.3-centos环境变量：KONG_PROXY_ERROR_LOG =/dev/stderrKONG_PROXY_ACCESS_LOG =/dev...

2020-04-29 14:11:16 1585

转载 Elasticsearch 备份数据到 AWS S3

基本概念使用 Elasticsearch Snapshot 时需要有一些基本概念澄清，他不是拿指定的 Indices 文件做个压缩包丢在 S3 完事，他是有控制的。snapshot 结构Elasticsearch 的 snapshot 是由其自身控制的，整个系统保持了一个如下的从下到上的控制结构，他们具备包含关系：snapshot --> repository --> ...

2020-04-27 09:33:18 2389

转载 kibana自动创建索引

一般索引按月、季或年为单位创建索引。我这里写成logstash-www-2019-03,www是URL的二级域名。格式类型完全根据自己方便就行。当ELK集群中的索引过多时，我这里有100多个不同的日志，也就是得有100多个索引。如果要手动在在kibana界面上创建，还不得累死。所以就想到用程序调用API接口来做。如下是脚本：#type_log.txt 文件中的有用部分全都是logstas...

2020-04-26 14:03:12 1865

原创 Kong使用

Kong使用数据库模式1. 创建kong-net网络$ docker network create kong-net2. 启动PostgreSQL容器docker run -d --name kong-database \--network=kong-net \-p 5432:5432 \-e "POSTGRES_USER=kong" \-e "POSTGRES_DB=k...

2020-04-17 17:29:32 1528

原创 MySql Binlog备份脚本

MySQL数据库的二进制日志binlog记录了对数据库的全量DDL和DML操作，对数据库的point to point灾难恢复起着无法替代的关键作用。因此，基于此类考虑，需要对生产环境产生的binlog做好相应的备份措施。这里主要谈及2种备份方法，一种通过脚本定时调度的方式，强行切换binlog，增量备份二进制binlog。另一种则是通过mysqlbinlog的远程实时备份的方式实现b...

2020-03-24 10:49:53 1003

原创远程备份MySQL binlog

备份命令mysqlbinlog --read-from-remote-server --raw --host=192.168.244.145 --port=3306 --user=repl --password=repl --stop-never mysql-bin.000001解释如下：--read-from-remote-server：用于备份远程服务器的binlog。如果不指定该选项，...

2020-03-24 10:37:22 217

原创 nexuns上传包

mvn deploy:deploy-file -DgroupId=com.jzt -DartifactId=elastic-job-spring-boot-starter -Dversion=0.0.4-SNAPSHOT -Dpackaging=jar -Dfile=elastic-job-spring-boot-starter-0.0.4-SNAPSHOT.jar -Durl=http://ad...

2020-02-24 18:34:37 187

原创 IFS的使用值为$'\n'与'\n'时的区别

在shell中使用到for循环时，是通过IFS同样也是来定义分隔符。如果要指定多个IFS字符，只要将他们在赋值行串起来就行。如下:IFS=$'\n':;"这个赋值会将换行符、冒号、分号和双引号作为字段分隔符。如何使用 IFS 字符解析数据没有任何限制。那么下面三个的区别是什么呢？IFS='\n' //将字符\和字符n作为IFS的换行符。IFS='\n' //与上面一样。IFS=$...

2019-12-31 12:11:27 818 1

原创 bc显示小数点前的0

2019-11-29 10:33:51 2193

原创 EXPOSE和端口映射参数-p、-P总结

EXPOSE：功能为暴漏容器运行时的监听端口给外部，但是EXPOSE并不会使容器访问主机的端口，如果想使得容器与主机的端口有映射关系，必须在容器启动的时候加上 -P参数。-P：大写P为自动映射，会将EXPOSE暴露出来的端口随机映射到宿主机的端口上，如果没有暴露端口，就不会有映射。-p：小写p为手动映射，需要自己指定宿主机的端口和容器的端口，形式为：-p 宿主机端口：容器端口总结：...

2019-11-29 10:32:31 1360

原创 MongoDB---Invalid credentials for database 'admin'

mongodb C#连接报错 Invalid credentials for database 'admin'mongodb3.2.21,用户设置好了，结果报错了，看字面意思是用户验证没通过，但是我用shell是完全没有问题的，后来网上搜了下，发现原来是我用的是旧驱动，旧驱动用的是旧的校验方式，而mongodb3.2.9用的是新的SCRAM-SHA-1校验方式，所以验证就不通过了需要在mo...

2019-10-31 17:02:49 1242

原创 Bash中的一些快捷方式

1.最后一个参数：!$它会将最后一个命令的最后一个参数替换到你的命令行中2.第 n 个参数：!:2各个参数的索引是从零开始的，并且可以用!:之后跟上该索引数字代表各个参数3.全部参数：!:1-$想在文件中匹配 “ping” 或 “pong”，但我使用的是grep而不是egrep如果不想重新输入其他参数。因此，我可以使用!:1-$快捷方式来调取上一个命令的所...

2019-10-31 16:58:10 258

原创 RabbitMQ两种集群模式配置管理

RabbitMQ集群的两种模式1）普通模式：默认的集群模式。2）镜像模式：把需要的队列做成镜像队列。普通模式：默认的集群模式RabbitMQ集群中节点包括内存节点、磁盘节点。内存节点就是将所有数据放在内存，磁盘节点将数据放在磁盘上。如果在投递消息时，打开了消息的持久化，那么即使是内存节点，数据还是安全的放在磁盘。那么内存节点的性能只能体现在资源管理上，比如增加或删除队列（queue）...

2019-09-19 17:15:38 3134

原创 JAVA环境中内存问题记录

-Xmx1g -> JVM最大允许分配的堆内存，按需分配运行结果：Exception in thread "main" java.lang.OutOfMemoryError: Java heap spaceat geym.jvm.ch8.oom.SimpleHeapOOM.main(SimpleHeapOOM.java:14)原因：占用大量堆空间，直接溢出解决方法：增大...

2019-09-04 09:57:36 161

原创 jenkins调用aws接口实现auto-scaling机器的调整

背景：为了在灰度环境中进程压测，自动扩容机器实现和线上环境一样的机器配置，为了方便操作控制就是用jenkins来调用接口实现：同事实现如下，先贴出相关图片与脚本，以此记录一下aws autoscaling update-auto-scaling-group --auto-scaling-group-name gray-auto-scaling-v1 --min-size $size ...

2019-09-04 09:54:59 274

原创统计当前目录中，每个分目录和其里面的子目录总数

前景：有一个同事过来说想要统计一下，一个目录下面各个目录及其里面的目录总数。脚本如下：#!bin/bashfor i in `ls /home/admin/weipengfei/`;doif [ -d $i ];thennum=`ls /home/admin/weipengfei/$i -lR|grep "^d"|wc -l`echo "$i $num"fidone查看...

2019-08-19 14:18:06 633

原创 redis客户端连接过多不释放

前因：预线上环境连接redis导致连接太多，一直没有释放，后续的连接不能连接上来查看redis连接信息：/opt/redis/src/redis-cli -c -h x.x.x.x-p xxxxinfo clients查看最大连接配置：/opt/redis/src/redis-cli -c -h x.x.x.x-p xxxxCONFIG GET maxclients...

2019-08-19 11:23:33 4966

原创 RabbitMQ日常维护管理操作

1. RabbitMQ之激活Web管理插件0x01 激活Web管理插件# rabbitmq-plugins enable rabbitmq_management查看Web插件启用的端口# netstat -tnlpActive Internet connections (only servers)Proto Recv-Q Send-Q Local Address ...

2019-08-19 11:13:16 1104

原创数据库锁查询语句

SELECT "HOLD:", ph.id h_processid, trh.trx_id h_trx_id, trh.trx_started h_started, trh.trx_state h_state, lsh.lock_table h_table, lsh.lock_index h_index, lsh.lock_mode AS h_lock_mode, lsh.lo...

2019-08-07 11:45:07 593

原创记录一个使用supervisor启动rocketmq

[program:mqconsole]directory = /home/admin ; 程序的启动目录command = /opt/jdk/bin/java -jar /home/admin/htdocs/mqconsole/rocketmq-console-ng-1.0.0.jar --server.port=19876 --rocketmq.config.namesrvAddr=10....

2019-08-05 14:25:18 830

原创 AWS自动发现实例与实例ID

#!/bin/bash. /etc/profiledeclare -A dicecho $(/usr/bin/aws ec2 describe-instances) >/tmp/instances.txtlist=`cat /tmp/instances.txt|jq '.Reservations|length'`dic=()for i in $(seq 0 $(expr $li...

2019-07-22 10:22:52 1066

原创 AWS获取数据库性能指标

aws cloudwatch get-metric-statistics --namespace AWS/RDS --metric-name CPUUtilization --period 300 --statistics Maximum --dimensions "Name=DBInstanceIdentifier,Value=b2b5" --start-time 2019-07-...

2019-07-22 10:02:52 1263

转载 Linux Shell环境下用jq命令处理json文件

有时候需要在Shell环境下处理json文件，这时使用jq命令非常方便。安装 CentOS下可以直接通过yum安装：yum install jq -y使用方法假设有一个名为test.json的文件，内容如下：{ "Summary": { "Version": "1.0", "Comment": [ "List1...

2019-07-11 15:00:27 5625

原创 nginx带变量参数跳转

原因：在日常的运维工作中出现了很多前端的跳转，总结了一些日常用的一些跳转的实现proxy_pass转发url的参数，可以通过在location中用rewrite来做，所以完善后的配置如下：location ~ ^/api/([0-9]+)(\.[0-9]+)*/client/ { rewrite /(.*)$ /$1 break; proxy_pass http://bb...

2019-06-26 11:10:54 11402 1

原创 logstash只输出指定的tag文件

背景：在现在的日志收集环境中，在filebeat收集日志的时候，定义了很多不用日志收集路径与标签，但是这些日志写的时候全部写到了一个kafka的 topics里面，但是在输出的时候，只想输出某一个tag的文本，并不想输出全部的tag，所以在logstash设置output的时候就加了判断规则filebeat配置如图：logstash配置如图：这样就可以输出指定的 tag了...

2019-06-11 15:11:23 1830

转载 SHELL数组与字典定义

#!/bin/bashecho "shell定义字典"#必须先声明declare -A dicdic=([key1]="value1" [key2]="value2" [key3]="value3")#打印指定key的valueecho ${dic["key1"]}#打印所有key值echo ${!dic[*]}#打印所有valueecho ${dic[*]}#遍历ke...

2019-06-05 16:01:36 1239

转载 iptables 运行逻辑及-I -A 参数解析

刚开始接触Iptables 就对-I 和 -A 参数很疑惑，-I 插入一条或多条规则，-A 是追加一条或多条规则。都是加一条规则，究竟这两个有什么不同呢？实验：拿了两台机器，一台发PING包，一台被PING。两台机器使用 iptables -nvL INPUT 查看，iptables 是空的然后在被PING的机器加入 iptables -A INPUT -p icmp --...

2019-05-30 12:04:17 4656 1

转载 Docker基本操作命令

docker 常用命令如下管理命令： container 管理容器 image 管理镜像 network 管理网络 node 管理Swarm节点 plugin 管理插件 secret 管理Docker secrets service 管理服务 stack 管理Docker stack...

2019-05-28 10:25:59 91

原创 nginx将一个域名的访问跳转到另一个域名

目的：由于线上环境的域名需要替换，需要将旧域名test.xx.com跳转到新域名test.yy.com在线上nginx中,是将80和443配置在一个conf文件中，现在需要访问旧的http就跳转到新的http,访问旧的https就跳转到新的https，在线上环境重新配置了一个conf来进行测试，验证通过，测试成功了两种方法，使用到了nginx自带的变量。在网上找了一些nginx内置变量...

2019-05-27 15:49:13 12707 1

原创 sql函数case记录

目的：向DBA请教了一个sql判断提供另外一个值的函数caseSELECT db_name, table_name,CASE ---函数判断开始 is_nullable ---提供判断的字段 WHEN 'NO' THEN '不' ---对值进行判断 WHEN 'YES' THEN '是' ---对值进行判断 ELSE '其他'...

2019-05-21 14:34:27 207

转载 kafka清理数据

由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费Offset...

2019-05-13 11:26:42 14407

原创 zookeeper监控

zabbix监控keyUserParameter=zookeeper_chk_z0_21,python3.6 /home/admin/sbin/zookeeper_chk.py xx.xx.xx.xx:2181#-*- coding:utf-8 -*-import sysfrom kazoo.client import KazooClienthosts = sys.argv[1]...

2019-05-09 15:42:44 625

原创监控kafka队列状态

目的：zabbix监控kafka队列情况UserParameter=kafka.check[*],/home/admin/sbin/kafa_check.sh $1监控脚本：#!/bin/bash#/opt/kafka/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server b2b-z0-34:9092 --desc...

2019-05-09 15:11:55 1983

原创工作中监控订单同步具体情况

目的：日常工作中为了知道个地市分公司订单同步情况，自己写了一个zabbix监控的脚本，详细订单同步数据详情通过sql语句在数据库中查询结果，然后直接调用#!/bin/bash##监控订单同步状态####从生产数据库中获取订单提交信息，插入到zabbix数据库/bin/bash /home/admin/sbin/wpf/fengongshi_order/insert_data.sh...

2019-05-08 16:13:29 631

原创统计nginx日志

目的：统计某段时间nginx日志中的访问IP等相关信息#!/bin/bashfor i in `seq -w 0 59`do sum=0 echo -n "Time:2019-04-22 15:$i " echo -n "Ip:$(sed -n "/22\/Apr\/2019:15:$i:00/,/22\/Apr\/2019:15:$i:59/p" /opt/ng...

2019-05-08 16:05:31 426

空空如也

空空如也