木木的博客

原创 gitlab 16.2.4 恢复

进入容器内部 docker exec -it c51685817e27 /bin/bash。使用gitlab-ctl命令停止unicorn(或者puma)以及sidekiq服务。新创建新gitlab，版本需和备份的gitlab版本一致。确定备份目标： /etc/gitlab.rb。3.修改gitlab账号为超级用户。确认GitLab是否 正常运行，新的环境至少运行过一次，2.重启gitlab服务。

原创 oracle 异构环境oracle数据库迁移expdp impdp

expdpimpdp 只能在服务器端使用.conn / as sysdba创建备份目录create or replace directory expdp_dir as '/tmp/expdp_dir';授权用户grant read,write on directory expdp_dir to bank_bak;备份.expdp scott/cat directory=expdp_dir dumpfile=bank_bak.dmp logfile=bank_bakExpdp.

原创 oracle 异构环境oracle数据库迁移exp imp

set linesize 200set pagesize 800

原创 mongoimport批量import数据

for i in `ls /tmp/2/*.csv`; do #echo /usr/local/mongodb/bin/mongoimport -h 127.0.0.1:20000 --authenticationDatabase=admin -u mposadmin -p hkrtmposoracle --numInsertionWorkers 10 --db test --collection tb --type csv --columnsHaveTypes --ignoreBl.

原创 Oracle11G安装

安装vnc

原创 python 操作execl 格式设置

import xlwt;from datetime import datetime,timedelta;def date_compare(date1, date2, fmt='%Y-%m-%d') -> bool: """ 比较两个真实日期之间的大小，date1 > date2 则返回True :param date1: :param date2: :param fmt: :return: """ zero = datet.

原创 python mail 脚本

#!/usr/bin/python# -*- coding: UTF-8 -*-import smtplibfrom email.mime.text import MIMETextfrom email.utils import formataddrfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom email.header import Headermy_sende.

原创 滑动窗口与缓冲区_优化缓冲区与传输效率

原创 控制tcp三次握手参数 及优化 网络层

原创 多核间的负载均衡

原创 如何高效使用cpu

原创 stream_preread 模块取出ssl关键信息

原创 stream proxy 四层反向代理用法

上游服务:反向代理:2. 上游服务配置

原创 透传ip地址的3个方案

原创 UDP反向代理

原创 性能优化方法论

原创 四层反向代理处理ssl下游流量

原创 四层协议限制并发连接 限制ip 记录日志

原创 proxy protocol 协议与 realip模块

原创 stream四层反向代理的7个阶段及常用变量

原创 HTTP2 服务并推送资源

原创 HTTP2.0

原创 open file cache 提升系统性能

上游服务:

原创 用分片提升缓存效率--slice模块

默认访问文件所有内容.

原创 websocket 反向代理

抓包 tcpdump -i eth0 port 80 and host 174.129.224.73

原创 memeached 反向代理

压缩

原创 104---uwsgi fastcgi scgi http 指令对照表

原创 mysql5.7.19 升级到5.7.32 mysql小版本升级.

1. 修改全局配置 innodb_fast_shutdown 为0 . 执行慢速关闭. Innodb_fast_shutdown Innodb_fast_shutdown告诉innodb在它关闭的时候该做什么工作。有三个值可以选择： 1.0表示在innodb关闭的时候，需要purge all, merge insert buffer,flush dirty pages。这是最慢的一种关闭方式，但是restart的时候也是最快的。 2.1表示在innodb...

原创 mongo 两地三中心搭建 测试验证

192.168.109.129 mongo2 member3.com member4.com192.168.109.130 mongo3 member5.com member6.com192.168.109.128 mongo1 member1.com member2.comvm1:mkdir member1 member2mongod --dbpath ./member1/ --replSet demo --bind_ip 0.0.0.0 --port 10001 --fork --log.

原创 Mongo 分片集群搭建扩容

创建分片集群mongod --bind_ip 0.0.0.0 --replSet shard1 --dbpath /data/shard1 --logpath /data/shard1/mongod.log --port 27010 --fork --shardsvr --wiredTigerCacheSizeGB 0.1rs.initiate({_id:"shard1","members":[{ "_id":0, "host":"member1.com:27010...

原创 Mysql mha搭建配置

服务信息IP 主机名 用途192.168.114.133 mysql133 主库数据节点192.168.114.134 mysql134 从库数据节点192.168.114.135 mysql135 从库数据节点192.168.114.136 managenode136 管理节点配置hosts(4台服务器都执行)echo '''192.168.114.133 ...

原创 Mysql 主主+keepalived

主主搭建配置. 修改配置文件binlog_ignore_db=mysqlbinlog_ignore_db=information_schemabinlog_ignore_db=performance_schemabinlog_ignore_db=sysserver_id=…reset mastershow master logs. 添加复制用户(两台机器都添加)grant r...

原创 Xtrabackup 备份恢复mysqlbinlog 差异恢复

安装https://www.percona.com/downloads/wget https://www.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.9/binary/tarball/percona-xtrabackup-2.4.9-Linux-x86_64.tar.gzmv percona-x...

原创 Mysql 安装

downs-packshttps://www.mysql.com/downloads/wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.29-linux-glibc2.12-x86_64.tar.gzinstallcreate mysql usergroupadd mysqluseradd -g mysql mys...

原创 PYthon 3 安装

#!/bin/bashpy_dist="/data/dba_tools"py_file="${py_dist}/Python-3.6.6.tgz"if [ -z ${py_file} ];then wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz tar -xzf Python-3.6.6.tgz cd ...

原创 Mysql5.7 二进制安装

groupadd mysqluseradd -g mysql mysql -s /sbin/nologin -d /usr/local/mysql -d /usr/local/mysqltar -zxvf mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz -C /usr/local/mysql/chown -R mysql:mysql /u...

原创 mysql sys库使用功能

MySQL5.7新库sys的一些实用功能sys schema数据主要源自performance_schema。其目标是把查询performance_schema的复杂度降低，让DBA能更好地利用这个库里的数据，更快地了解MySQL的运行情况。sys schema包含了一些视图、函数和存储过程，sys schema用以帮助DBA及开发更方便的分析定位问题。 那么对于我们DBA来...

原创 mysql 优化 调整mysql 并发相关参数

max_connections.提高并发连接参数控制允许连接到mysql 数据库的最大数量.默认值151. 如果状态变量connection_errors_max_connections 不为零,并且一直在增长,说明不断有连接请求因数据库已达到最大允许的值而失败.应考虑增大max_connections 值.在增大max_connections时,也要注意open-files-limit的设...

原创 innodb log 机制及优化

更新数据,innodb 内部操作流程:将数据写入innodb buffer pool,并对相关记录加独占锁.将undo 信息写入undo 表空间的回滚段中.更改缓存页中的数据,并将更新记录写入redo buffer 中.提交时,根据innodb_flush_log_at_trx_commit的设置,用不同的方式将redo buffer 中的更新记录刷新到innodb redo log f...

原创 msyql 优化 调整用户服务线程排序缓存区.

改善排序sql性能.show global status 看到 sort_merge_passes 的值很大,可以考虑调整参数 sort_buffer_size的值来增大排序缓存区.以改善order by 或 group 子句的性能.对于无法通过索引进行连接操作的查询,可以尝试增大join_buffer_size的值来改善性能.e.q: sort buffer 和 join buf...