- 博客(307)
- 收藏
- 关注
RSS订阅原创 Lepus（天兔）监控数据库
该博文是参考Lepus官方文档撰写的，官方文档蛮详细的，但是有些下载链接失效（这个开源产品的维护者比较忙，所以更新不太及时），也为了以自己的写作风格记录下lepus的使用方法，所以这篇博文就出现了。Lepus系统特性如下：无需Agent,远程监视云中数据库WEB直观的管理和监视数据库实时MySQL健康监视和告警实时MySQL复制监视和告警实时MySQL资源监视和分析实时MySQL...
2020-02-29 19:54:17
2438
1
原创 SSL certificate problem: unable to get local issue
今天在使用git克隆一个库的时候，报错如下：正克隆到 'lepus'...fatal: unable to access 'https://github.com/ruzuojun/lepus.git/': SSL certificate problem: unable to get local issuer certificate隐隐约约记得之前遇到过这种报错，但忘了解决办法，于是上网搜索一...
2020-02-29 09:37:01
2353
原创 MHA之虚拟IP
在MySQL高可用之MHA部署这篇博文中，已经将MHA的基础架构部署完成，但是并没有解决一个虚拟IP的问题，因为当master宕机后，新的master顶上来，这时前端APP要连接的数据库IP已经发生了变化，为了解决这个问题，必然要引入虚拟IP，谈起虚拟IP，首先想到的应该是keepalived这个工具，但这个工具有个弊端，就是有一个脑裂的问题，所以更建议在生产中使用脚本的方式来控制这个VIP。1...
2020-02-24 16:55:54
1354
2
原创 MySQL高可用之MHA部署
MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 MHA里有两个角色一个是MHA Node（数据节点）另一个是MHA Manager（管理节点）。 MHA Ma...
2020-02-21 19:55:47
751
原创 Python之shutil模块
对比os模块的函数和shutil模块中包含的函数，会发现它们有一些重复。那么为什么会存在两个模块提供相同功能的情况呢？这就涉及到了标准库模块的定位问题了。os模块是对操作系统的接口进行封装，主要作用是跨平台，shutil模块包含复制、移动、重命名、删除文件目录以及压缩包的函数，主要作用是管理文件和目录，因此它们并不冲突，并且是互补的关系，对于常见的文件操作，shutil更易于使用。在shutil里...
2020-02-20 17:25:11
181
原创 mysql高可用——MMM架构部署
mysql高可用架构有MHA、MMM、PXC、MGR等，其中MHA和MMM的数据一致性相比较PXC和MGR要差一些，因为PXC和MGR是强一致性，其实现原理这里不过多介绍，这篇博文主要是将MMM高可用架构写下来。MMM是基于perl实现的，关于mysql主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件(在任何时候只有一个节点可以被写入)，MMM也能对从服务器进行读负载均衡，所以可以用它来...
2020-02-18 09:22:42
436
原创 使用shell及python分别判断某个IP是否在白名单
### 1、shell脚本如下：```[root@mysql01 ~]# cat a.sh#!/bin/bash ############## 定义白名单列表 ###############white_list=( 192.168.20.2 192.168.20.3 192.168.20.4 192.168.20.5 ) ...
2020-02-13 14:12:44
254
1
原创 MyCat实现读写分离+分库分表+全局表
前言mycat功能强大，配置简单，作为数据库中间件，是一个非常优秀的开源产品，关于MyCat的部署安装，可以参考博文：MyCat部署安装。本博文将展示mycat的如下功能：读写分离；分库分表；全局表；环境如下：系统IP主机名服务Centos 7.5192.168.20.2mysql01MySQL 5.7.24Centos 7.5192.16...
2020-02-11 14:50:13
596
原创 数据库中间件——MyCat部署安装
关于mycat的链接：Mycat官网Mycat下载链接Mycat官方文档，百度网盘官方文档下载链接，提取码：f9nq。Mycat简略文档可以在开始之前，阅读Mycat简略文档，对其有个大概了解。注：MyCAT 支持多种数据库接入，分别有：mongodb、oracle、sqlserver 、hive 、db2 、 postgresql。mycat应用场景如下：单纯的读写分离，此时配置最为简...
2020-02-10 14:19:01
307
原创 MySQL高可用方案——双主
MySQL的高可用方案有很多种，双主、MHA、MMM等等，这里只是写下最简单的双主这种高可用方案。一、配置MySQL互为主从1、环境准备系统IP主机名服务Centos 7.5192.168.20.2mysql01MySQL+keepalivedCentos 7.5192.168.20.3mysql02MySQL+keepalived注：MySQ...
2020-02-05 17:57:35
524
原创 linux下使用IPython编程工具
1、安装IPython工具IPython是一个第三方工具，使用以下命令进行安装：[root@python ~]# pip install ipython #安装ipython[root@python ~]# ipython #执行ipython进入IPython交互式界面Python 3.8.1 (default, Feb 3 2020, 18:39...
2020-02-03 21:33:31
1636
原创 linux中pip更改国内源
常用pip国内镜像源如下：豆瓣 https://pypi.doubanio.com/simple/网易 https://mirrors.163.com/pypi/simple/阿里云 https://mirrors.aliyun.com/pypi/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/更改方式如下有如下两种：1...
2020-02-03 18:58:51
1171
原创 安装配置elasticsearch 7.5.1群集
本博文只用于实现简单群集配置，更深入的资料可以参考官方文档。一、安装前准备环境如下：系统版本IP角色centos 7.5192.168.20.2ES 01、logstash、ES-Head、logstash、kibanacentos 7.5192.168.20.7ES 02centos 7.5192.168.20.8ES 03注：文中用到的...
2020-01-29 12:01:18
502
原创 ansible——组织变量
在ansible中有很多种定义变量的方式，我们没必要去关注太多，只需要掌握几个常用的变量定义和应用方式即可，这篇文章记录的是将变量定义在外部文件中，然后去引入这些外部文件中的变量。引入保存了变量的文件有两种方式：include_vars和vars_files。此外，还可以在命令行中使用“-e”或“--extra-vars”选项来引入。1、vars_filesvars_files是一个play...
2020-01-25 17:51:59
651
3
原创 ansible笔记——批量初始化服务器
本文要实现的初始化配置目标如下：ansible配置ssh免密登录；ansible远程配置主机名；ansible控制远程主机互相添加DNS解析记录；ansible配置远程主机上的yum镜像源以及安装一些软件；ansible配置远程主机上的时间同步；ansible关闭远程主机上的selinux；ansible配置远程主机上的防火墙；ansible远程修改sshd配置文件并重启ssh...
2020-01-24 17:12:12
1047
原创 ansible中的幂等性
1、ansible中的幂等性ansible中绝大多数的模块都具有幂等特性，意味着执行依次或多次不会产生副作用。但是shell、command、script、raw这四个模块时不满足幂等性，所有操作会重复执行，但是有些操作不允许重复执行，比如MySQL的初始化命令mysql_install_db，逻辑上它只在第一次配置的过程中初始化依次，其他任何时候都不应该再执行。所有，每当使用这四个模块的时候，...
2020-01-22 18:48:39
2257
原创 ansible笔记——安装配置ansible
1、安装ansiblecentos安装ansible如下：[root@ansible ~]# yum -y install epel-release[root@ansible ~]# yum -y install ansible[root@ansible ~]# ansible --version #安装的版本为2.9ansible 2.9.22、ansible参数补全功能从...
2020-01-19 15:47:34
357
原创 使用xtrabackup备份MySQL数据库
前言Xtrabackup提供了两种命令行工具：xtrabackup：专用于备份InnoDB和XtraDB引擎的数据；innobackupex：是一个perl脚本，在执行过程中会调用xtrabackup命令，这个命令即可以实现备份InnoDB，也可以备份Myisam引擎的对象。xtrabackup是由percona提供的MySQL数据库备份工具，其备份速度快并且可靠；备份过程不会打断...
2020-01-17 17:48:15
643
原创 python 3操作文件的异常处理
在执行python脚本时，正常运行的时候，也可能发生错误，返回的错误类型就是报错信息，我们可以针对其返回的错误类型执行相应的语句，错误类型有很多，如：ValueError、TypeError、NameError、ZeroDivisionError.....1、try / except来个简单的语法，如下：while True: try: x = int(input('...
2020-01-14 17:51:22
236
原创 MySQL数据库全库备份及增量备份脚本
脚本网盘链接下载。1、全库备份脚本如下：#!/bin/bash############### 定义默认值 #################user='root'passwd='123.com'host='localhost'today=`date '+%F'`dump_cmd='/usr/local/mysql/bin/mysqldump'full_backupdir="/...
2020-01-13 23:23:35
562
原创 Docker-Compose模板文件参数详解
前言模板文件是使用compose的核心，涉及到的指令关键字比较多，但是大部分和docker run相关参数的含义都是类似的。默认的模板文件名称为docker-compose.yml，为yaml格式，如下：version: "3"services: webapp: image: examples/web ports: - "80:80" volumes...
2020-01-11 14:43:55
2274
原创 MySQL数据备份及恢复（1）
前言MySQL备份一般采用全库备份加日志备份的方式，根据业务的需要，可以采用每周日凌晨1点进行完全备份以及每小时进行一次增量备份，这样在MySQL故障后可以使用完全备份和日志备份尽可能的去恢复最完整的数据。一、binlog日志恢复MySQL的二进制日志记录着该数据库所有增删改的操作日志（前提是需要自己开启binlog），还包括了这些操作的执行时间，binlog的使用场景无外乎就是主从同步以及...
2020-01-11 11:06:00
215
原创 MySQL分区类型
博文大纲：1、RANGE分区2、LIST分区3、HASH分区4、key分区5、MySQL分表和分区的区别6、附加：如何实现将分区放在不同的目录下进行存储MySQL分区类型如下：RANFGE分区LIST分区HASH分区key分区上面的四种分区的条件必须是整形，如果不是整形需要通过函数将其转换为整形。1、RANGE分区RANGE分区是基于属于一个给定连续区...
2020-01-09 17:13:33
259
原创 MySQL分区分表（1）
博文大纲：1、为什么要分表？2、MySQL分表3、利用merge存储引擎实现分表4、MySQL分区1、为什么要分表？数据库数据越来越大，随之而来的是单个表中数据太多。以至于查询速度变慢，而且由于表的锁机制导致应用操作也搜到严重影响，出现了数据库性能瓶颈。mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。...
2020-01-08 20:10:51
4058
1
原创 MySQL分区分表
博文大纲：1、为什么要分表？2、MySQL分表3、利用merge存储引擎实现分表4、MySQL分区1、为什么要分表？数据库数据越来越大，随之而来的是单个表中数据太多。以至于查询速度变慢，而且由于表的锁机制导致应用操作也搜到严重影响，出现了数据库性能瓶颈。mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。...
2020-01-08 20:10:51
93
原创 Pycharm常用快捷键
| 按键 | 作用 | | -------- | -------- ||Ctrl + Alt + Space | 快速导入任意类 ||Shift + Enter | 语句完成 ||Ctrl + y | 删除选定的行 ||Ctrl + Shift + U |对选定的代码进行大小写切换...
2020-01-07 21:25:59
82
原创 MySQL优化总结
前言优化有风险，涉足需谨慎！！！1、优化可能带来的问题？优化不总是对一个单纯的环境进行，还很可能是一个复杂的已投产的系统。优化手段本来就有很大的风险，只不过我们可能没有能力意识到和预见到！任何的技术可以解决一个问题，但必然存在带来一个问题的风险！对于优化来说解决问题而带来的问题，控制在可接受的范围内才是有成果，保持现状或出现更差的情况都是失败。2、优化的需求稳定性和业务的持续性，...
2020-01-06 22:28:51
128
原创 docker-compose命令说明
前言docker-compose术语：服务（service）：一个应用容器，实际上可以运行多个相同镜像的实例。项目（project）：由一组关联的应用容器组成的一个完整业务单元。一个项目可以由多个服务（容器）关联而成，Compose面向项目进行管理。博文大纲：一、docker-compose命令对象与格式二、命令选项三、命令使用说明build——构建（重新构建）项...
2020-01-05 16:36:48
2099
原创 docker容器HEALTHCHECK 健康检查
docker容器的健康检测是在编写dockerfile时，将检测机制写入到dockerfile中，基于此docerfile生成的镜像，在运行容器时会有健康检测的功能。dockerfile中的格式：HEALTHCHECK [选项] CMD <命令>：设置检查容器健康状况的命令。HEALTHCHECK NONE：如果基础镜像有健康检查指令，使用这行可以屏蔽掉其健康检查指令。...
2020-01-04 18:18:37
4021
原创 Dockerfile指令详解
博文大纲：dockerfile基本结构dockerfile常用指令FROM——指定基础镜像MAINTAINER——指定维护者信息RUN——运行指令COPY——复制文件\目录ADD——更高级的复制文件\目录ENV——设置环境变量ARG——构建参数EXPOSE——暴露端口CMD——容器启动命令ENTRYPOINT——入口点ENTRYPOINT和CMD组合使用VOLUM...
2020-01-04 11:51:37
545
原创 Linux高阶命令使用
1、awk[root@mysql nginx]# cat access.log | awk 'substr($9,1,3)>200'#查看访问日志中，过滤非200状态码的日志请求# substr($4,20) ：表示从第四个字段里的第20个字符开始，一直到设定的分隔符 结束# substr($4,1,3) ：表示从第四个字段里的第1个字符开始，截取3个字符结束# substr($...
2020-01-03 22:57:21
265
原创 MySQL数据库优化（1）
前言不管对于哪种服务，对于其优化，无非是从两个方面着手，第一个是对于硬件方面的优化，第二个是对系统以及服务本身的优化。1、查询连接MySQL服务器的次数mysql> show status like 'connections';+---------------+-------+| Variable_name | Value |+---------------+-------+|...
2020-01-03 20:26:15
161
原创 Python小脚本
1、跑马灯效果'''跑马灯'''import osimport timedef main(): content='人生苦短，我用python....' while True: os.system('cls') print(content) time.sleep(0.2) content=content[1:...
2020-01-03 13:56:26
436
原创 MySQL压力测试工具使用
一、MySQL自带的压力测试工具——Mysqlslapmysqlslap是mysql自带的基准测试工具,该工具查询数据,语法简单,灵活容易使用.该工具可以模拟多个客户端同时并发的向服务器发出查询更新,给出了性能测试数据而且提供了多种引擎的性能比较。mysqlslap为mysql性能优化前后提供了直观的验证依据,系统运维和DBA人员应该掌握一些常见的压力测试工具,才能准确的掌握线上数据库支撑的用户...
2020-01-02 18:57:43
352
原创 MySQL自带工具使用介绍
前言在MySQL中，自带了许多功能比较强大的工具，如mysql、mysqladmin、mysqldump等。这篇博文将写下部分命令工具的用法。1、mysql命令Mysql命令是用的最多的一个命令工具了，为用户提供一个命令行接口来操作管理MySQL 服务器。可以通过mysql --help来查看其详细使用方法。mysql命令选项作用说明-u指定连接数据库时使用的用户...
2020-01-02 17:25:58
295
原创 docker容器实现数据持久化的两种方式及其区别
前言这篇博文是我对docker实现数据持久化几种方式的特征进行一个总结。在docker中，它的存储文件系统是在dockerhost上原有的xfs或ext4架设了一层文件系统：overlay2（将此行重点标注的原因就是我在面试中被问到过：docker使用的是什么文件系统？），通过docker info命令可以查看出主机上docker相关的信息，包括支持的网络类型、系统版本、内核版本、docker...
2020-01-01 16:01:56
2128
原创 MySQL日志详解
前言MySQL日志记录了MySQL数据库日常操作和错误信息。MySQL有不同类型的日志文件（各自存储了不同类型的日志），从日志当中可以查询到MySQL数据库的运行情况、用户的操作、错误的信息等。MySQL的日志分为以下四大类：错误日志：记录mysql服务的启动，运行或停止mysql服务时出现的问题；查询日志：记录建立的客户端的连接和执行的语句；二进制日志：记录所有更改数据的语句，可以...
2020-01-01 09:09:37
313
原创 MySQL日志详解(未完待续)
前言MySQL日志记录了MySQL数据库日常操作和错误信息。MySQL有不同类型的日志文件（各自存储了不同类型的日志），从日志当中可以查询到MySQL数据库的运行情况、用户的操作、错误的信息等。MySQL的日志分为以下四大类：错误日志：记录mysql服务的启动，运行或停止mysql服务时出现的问题；查询日志：记录建立的客户端的连接和执行的语句；二进制日志：记录所有更改数据的语句，可以...
2019-12-30 21:53:38
159
原创 K8s命令汇总
```#查询相关命令[root@master ~]# kubectl get nodes #查看各节点的状态[root@master ~]# kubectl api-versions #查看API的所有版本[root@master ~]# kubectl explain deployment.metadata #查看Deployment资源对象对应的API...
2019-12-30 19:34:41
109
原创 MySQL用户和权限管理
前言在MySQL 5.7.24中，关于用户及用户权限的相关信息，都保存在了mysql库中的user表中，可以将user表中大致分为用户列、权限列、安全列、资源控制列这几种。1、用户列user表的用户列包括 Host、 User、password，分别表示主机名、用户名和密码。其中 user和 Host为user表的联合主踺。当用户与服务器之间建立连接时，输入的账户信息中的用户名称、主机名和密...
2019-12-27 22:06:56
300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人