- 博客(331)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 ProxySQL 配置详解及读写分离(+GTID)等功能说明 (完整篇)2
2) 从数据库mysql-slave1 (172.16.60.212)的配置操作 与主服务器配置大概一致，除了server_id不一致外，从服务器还可以在配置文件里面添加："read_only＝on", 使从服务器只能进行读取操作，此参数对超级用户无效，并且不会影响从服务器的复制； [root@mysql-slave1 ~]# >/etc/my.cnf ...
2019-10-16 18:07:17
1077
转载 ProxySQL 配置详解及读写分离(+GTID)等功能说明 (完整篇)1
ProxySQL是灵活强大的MySQL代理层, 是一个能实实在在用在生产环境的MySQL中间件，可以实现读写分离，支持 Query 路由功能，支持动态指定某个 SQL 进行 cache，支持动态加载配置、故障切换和一些 SQL的过滤功能。还有一些同类产品比如 DBproxy、MyCAT、OneProxy 等。但经过反复对比和测试之后，还是觉得ProxySQL是一款性能不谙，靠谱稳定的MySQL 中...
2019-10-16 18:05:34
928
转载 ProxySQL+MGR实现读写分离和主节点故障无感知切换 - 完整操作记录
ProxySQL+MGR实现读写分离和主节点故障无感知切换 - 完整操作记录前面的文章介绍了ProxySQL用法，这里说下ProxySQL中间件针对Mysql组复制模式实现读写分离以及主节点故障时能够自动切换到新的主节点，而应用对此过程无感知的功能。Mysql组复制(MGR)组复制能够完成主节点故障后推选出来新的主节点，不过在应用层不可能通过修改新的主节点的IP来连接新的主节点，但是通...
2019-10-15 17:47:54
1288
转载 ProxySQL 配置详解及读写分离(+GTID)等功能说明2 (完整篇)
1. 实验环境 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 ...
2019-08-23 14:18:02
1831
转载 ProxySQL 配置详解及读写分离(+GTID)等功能说明 (完整篇)
ProxySQL是灵活强大的MySQL代理层, 是一个能实实在在用在生产环境的MySQL中间件，可以实现读写分离，支持 Query 路由功能，支持动态指定某个 SQL 进行 cache，支持动态加载配置、故障切换和一些 SQL的过滤功能。还有一些同类产品比如 DBproxy、MyCAT、OneProxy 等。但经过反复对比和测试之后，还是觉得ProxySQL是一款性能不谙，靠谱稳定的MySQL 中...
2019-08-23 14:17:19
1187
转载 MySQL中间件之ProxySQL(3)：Admin管理接口
本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9281199.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭返回ProxySQL系列文章：http://www.cnblogs.com/f-ck-need-u/p/7586194.html1.ProxySQL的Admin管理接口当ProxySQL...
2019-08-21 14:06:20
290
转载 MySQL中间件之ProxySQL(1)：简介和安装和读写分离
本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9278818.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭返回ProxySQL系列文章：http://www.cnblogs.com/f-ck-need-u/p/7586194.html1.ProxySQL简介之前的文章里，介绍了一个MySQL的中间件：MyS...
2019-08-21 11:37:04
312
转载 详细分析MySQL的日志(一)
本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9001061.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭官方手册:https://dev.mysql.com/doc/refman/5.7/en/server-logs.html不管是哪个数据库产品，一定会有日志文件。在MariaDB/MySQL中，主要有...
2019-08-19 18:24:40
250
转载 详细分析MySQL事务日志(redo log和undo log)
转载请务必在文章最开头标明原文地址本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9010872.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭innodb事务日志包括redo log和undo log。redo log是重做日志，提供前滚操作，undo log是回滚日志，提供回滚操作。undo log不是...
2019-08-16 18:12:30
183
转载 MariaDB/MySQL备份和恢复(三)：xtrabackup用法和原理详述
MariaDB/MySQL备份和恢复(三)：xtrabackup用法和原理详述分类:数据库系列undefined转载请务必在文章最开头标明原文地址本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9018716.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭MariaDB/MySQL备份恢复系列：备...
2019-08-16 17:16:55
272
转载 MariaDB/MySQL备份和恢复(一)：mysqldump工具用法详述
MariaDB/MySQL备份和恢复(一)：mysqldump工具用法详述分类:数据库系列undefined转载请务必在文章最开头标明原文地址本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9013458.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭MariaDB/MySQL备份恢复系列：备份和...
2019-08-16 11:57:53
231
原创 mysql_sharding：谁都能读懂的分库、分表、分区
1.sharding前的初始数据分布在本文中，我打算用高考考生相关信息作为实验数据。请无视表的字段是否符合现实，也请无视表的设计是否符合范式。3张表：考生表，存放全国所有高考考生信息，假设34个省、(直辖)市、(自治区、特别行政)区共3000W考生 学科表，分文理科，共9门课程(语文、数学、英语、历史、地理、政治、物理、化学、生物) 成绩表，存过全国所有考生所有学科成绩，每个学生6...
2019-08-16 11:28:46
285
原创 MySQL_sharding：谁都能读懂的分库、分表、分区
1.sharding前的初始数据分布在本文中，我打算用高考考生相关信息作为实验数据。请无视表的字段是否符合现实，也请无视表的设计是否符合范式。3张表：考生表，存放全国所有高考考生信息，假设34个省、(直辖)市、(自治区、特别行政)区共3000W考生 学科表，分文理科，共9门课程(语文、数学、英语、历史、地理、政治、物理、化学、生物) 成绩表，存过全国所有考生所有学科成绩，每个学生6...
2019-08-16 11:26:21
284
原创 数据库性能测试：sysbench用法详解
1.简介和安装sysbench是一个很不错的数据库性能测试工具。官方站点：https://github.com/akopytov/sysbench/rpm包下载：https://packagecloud.io/akopytov/sysbench/packages/el/7/sysbench-1.0.15-1.el7.centos.x86_64.rpm源码包下载：https://gi...
2019-08-16 10:50:30
2359
转载 详细分析SQL语句逻辑执行过程和相关语法
本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/8656828.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭1.1 SQL语句的逻辑处理顺序SQL语句的逻辑处理顺序，指的是SQL语句按照一定的规则，一整条语句应该如何执行，每一个关键字、子句部分在什么时刻执行。除了逻辑顺序，还有物理执行顺序。物理顺序...
2019-08-15 16:25:09
510
原创 MariaDB字符集和排序规则
本文为mariadb官方手册：SETTING CHARACTER SETS AND COLLATIONS的译文。原文：https://mariadb.com/kb/en/setting-character-sets-and-collations/我提交到MariaDB官方手册的译文：https://mariadb.com/kb/zh-cn/setting-character-sets-and...
2019-08-15 16:20:37
1200
原创 mysql、mariadb安装和多实例配置
本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/7590376.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭本文介绍mysql各种安装方法(rpm/glibc通用二进制/源码编译)以及多实例配置的方法，没什么技术，算是一篇方法归总文章。本文的安装环境为centos6.6和centos7.2，但大多数地方都以...
2019-08-15 16:19:47
288
转载 MySQL组复制的限制和局限性
转载请务必在文章最开头标明原文地址本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9197442.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭本节列出和解释了组复制相关的要求和限制。1.组复制的要求要使用组复制，每个MySQL节点必须满足以下条件：1.1 基本要求InnoDB存储引擎：...
2019-08-15 16:11:54
352
转载 监控MySQL组复制
转载请务必在文章最开头标明原文地址本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9204774.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭使用 Perfomance Schema 中的表来监控组复制，假定你的MySQL编译时已经启动了 Performance Schema 表。组复制将添加如下两张 P_S...
2019-08-15 16:06:39
138
转载 MySQL高可用之组复制(4)：详细分析组复制理论
这一篇对MySQL组复制做个详细的整理和解释，是MySQL组复制官方手册的整理版和总结。1.组复制插件架构图MySQL组复制是一个MySQL插件，它基于常规的MySQL复制，利用了基于行格式的二进制日志和GTID等特性。下图是MySQL组复制的整体框架图。以下是对该图中各组件的大致介绍，涉及到的术语先浏览一遍，后面会详细解释。从上图的最顶端开始，有一系列的API控制组复制插...
2019-08-15 16:05:06
220
转载 MySQL高可用之组复制技术(3)：配置多主模型的组复制
MySQL组复制系列文章：MySQL组复制大纲 MySQL组复制(1)：组复制技术简介 MySQL组复制(2)：配置单主模型的组复制 MySQL组复制(3)：配置多主模型的组复制 MySQL组复制(4)：组复制理论透彻分析在这一篇，我演示的是如何配置MySQL组复制的多主模型(multi-primary)。在配置上，多主模型的组复制和单主模型基本没区别。本文仅为搭建和维护多主模型...
2019-08-15 16:01:59
142
转载 MySQL高可用之组复制技术(2)：配置单主模型的组复制
MySQL的组复制可以配置为单主模型和多主模型两种工作模式，它们都能保证MySQL的高可用。以下是两种工作模式的特性简介：单主模型：从复制组中众多个MySQL节点中自动选举一个master节点，只有master节点可以写，其他节点自动设置为read only。当master节点故障时，会自动选举一个新的master节点，选举成功后，它将设置为可写，其他slave将指向这个新的master。 ...
2019-08-15 16:00:42
279
原创 MySQL高可用之组复制(1)：组复制技术简介
1.MySQL高可用的背景数据库的主从复制是一个很实用的功能，但如何保证它的高可用却是一件难事。实现MySQL主从复制高可用的工具，常见的有：(1).MMM：淘汰了，在一致性和高并发稳定性等方面有些问题。 (2).MHA：有些人还在用，但也有些问题，也是趋于淘汰的MySQL主从高可用方案。 (3).Galera：引领时代的主从复制高可用技术。 (4).MariaDB Galera C...
2019-08-15 15:59:01
115
原创 深入MySQL复制(三)：半同步复制
本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9166452.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭1.半同步复制半同步复制官方手册：https://dev.mysql.com/doc/refman/5.7/en/replication-semisync.html默认情况下，MySQL的复制...
2019-08-15 10:59:03
200
转载 深入MySQL复制(二)：基于GTID复制
转载请务必在文章最开头标明原文地址本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9164823.html强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭相比传统的MySQL复制，gtid复制无论是配置还是维护都要轻松的多。本文对gtid复制稍作介绍。MySQL基于GTID复制官方手册：https://dev.mys...
2019-08-14 18:19:34
153
转载 深入MySQL复制(一)
转载请务必在文章最开头标明原文地址本文原创地址：博客园骏马金龙https://www.cnblogs.com/f-ck-need-u/p/9155003.html#blog4.2强烈谴责大量盗文狗：波波说运维，说不定你们的文章也已被抄袭本文非常详细地介绍MySQL复制相关的内容，包括基本概念、复制原理、如何配置不同类型的复制(传统复制)等等。在此文章之后，还有几篇文章分别介绍GTID复...
2019-08-14 18:15:30
169
原创 使用Mtools分析MongoDB日志文件
一 Mtools介绍 mtools是一组用来解析和过滤MongoDB日志文件的脚本。mtools包括以下几个工具： mlogfilter 可以根据时间切割日志文件，过滤慢查询等 mloginfo 返回日志文件信息，比如开始和结束时间等 mplotqueries 对日志文件进行视图展现 mlogvis 创建一个自定义html文件交互式展现...
2019-05-27 13:56:18
453
转载 MySQL反应慢的排查思路
一、导致MySQL慢可能的因素有1、计算资源不足2、系统层面未进行基本的优化，或不同进程间资源抢占3、MySQL配置不科学(附神器：http://imysql.com/my-cnf-wizard.html)4、垃圾SQL满天飞二、查看系统层面负载手段1、top查看整体负载情况，快速确认哪个进程系负载高2、free查看内存情况，是否有内存泄露和用了swap等风险3、vmstat/s...
2019-04-18 15:17:01
2606
转载 MySQL性能剖析工具(pt-query-digest)
MySQL性能剖析工具(pt-query-digest)【转】这个工具同样来自percona-toolkit该工具集合的其他工具MySQL Slave异常关机的处理 (pt-slave-restart)验证MySQL主从一致性(pt-table-checksum&pt-table-sync)http://www.linuxidc.com/Linux/2014-07/1...
2019-03-22 15:58:18
475
转载 mysql__一个神奇SQL引发的故障
一个神奇SQL引发的故障【转】前几天一个客户数据库主实例告警，诊断过程中发现是由一个慢SQL导致的数据库故障，而在排查逐步深入之后却发现这个现象的不可思议。问题描述2016年12日09日，大概9点26分左右，一个客户的生产库主实例发出告警，告警信息如下：MySQL实例超过五分钟没有更新。这个告警信息简单解释下就是持续五分钟无法获取该实例的信息。同时开发人员还反映，从12月09日...
2019-03-22 15:50:05
308
转载 从MySQL全库备份中恢复某个库和某张表【转】
一、全库备份-A[root@mha2 backup]#mysqldump -uroot -p123456 --default-character-set=utf8 --single-transaction --extended-insert=false --hex-blob --master-data=2 --log-error=/tmp/test.err --routines --trigge...
2019-03-22 15:22:32
457
转载 pt-table-checksum工具对Mysql主从数据一致性校验（Master、Slave端口不同）
一、简介pt-table-checksum是著名的 percona-toolkit 工具集的工具之一。它通过在主库执行基于statement的sql语句来生成主库数据块的checksum，把相同的sql语句传递到从库，并在从库上计算相同数据块的checksum，最后，比较主从库上相同数据块的checksum值，由此判断主从数据是否一致。这种校验是分表进行的，在每个表内部又是分块进行...
2019-03-21 13:49:10
714
原创 【Shell循环进程并行处理】利用简单的语句实现for循环并行处理命令
在生信分析中，经常会遇到不同的重复和处理，这样的分析过程有时是非常费时且占用资源并不是很多的，可以同时在后台运行以节约时间，这是并行处理的意义。除了需要并行处理，循环迭代来遍历整个文件夹的需要分析的数据也是非常消耗精力和时间的，按照宁可花费机器一分钟绝不浪费程序员一秒钟的精神，我决定开始探索并行循环处理的应用。首先摆在我面前的是tab分割的按行分布的不同的采样策略，这样一个文件我们要进行...
2019-03-20 15:43:21
2668
原创 Linux下通过软链接转移mysql目录，解决分区空间不足
当存放数据库分区的空间不足时，可以采取对数据库目录进行迁移的方法，具体步骤如下：1、先关闭数据库mysqladmin -p shutdown ##输入数据库管理员密码2、迁移数据库目录mv /var/lib/mysql /newdisk/mysql3、创建软连接ln -s /newdisk/mysql /var/lib/mysql4、启动数据库mysqld_safe --us...
2019-03-20 11:00:27
1437
转载 搭建高可用mongodb集群（一）——配置mongodb
在大数据的时代，传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了。NOSQL有这些优势：大数据量，可以通过廉价服务器存储大量的数据，轻松摆脱传统mysql单表存储量级限制。高扩展性，Nosql去掉了关系数据库的关系型特性，很容易横向扩展，摆脱了以往老是纵向扩展的诟病。高性能，Nosql通过简单...
2019-03-19 16:44:14
139
转载 搭建高可用mongodb集群（二）—— 副本集
在上一篇文章《搭建高可用MongoDB集群（一）——配置MongoDB》提到了几个问题还没有解决。主节点挂了能否自动切换连接？目前需要手工切换。 主节点的读写压力过大如何解决？ 从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？ 数据压力大到机器支撑不了的时候能否做到自动扩展？这篇文章看完这些问题就可以搞定了。NoSQL的产生就是为了解决大数据量、高扩展性、高性能、灵活...
2019-03-19 16:41:18
170
转载 搭建高可用mongodb集群（四）—— 分片
按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决：从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？ 数据压力大到机器支撑不了的时候能否做到自动扩展？在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，他不能解决海量数据怎么行！不行！“...
2019-03-19 16:34:08
521
转载 mongodb 3.4 集群搭建：分片+副本集
mongodb是最常用的nodql数据库，在数据库排名中已经上升到了前六。这篇文章介绍如何搭建高可用的mongodb（分片+副本）集群。在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。相关概念先来看一张图：从图中可以看到有四个组件：mongos、config server、shard、replica set。mongos，数据库集群请求的入口，所有的...
2019-03-19 16:29:35
177
转载 Zabbix 3.0 从入门到精通(zabbix使用详解)
Zabbix 3.0 从入门到精通(zabbix使用详解)分类: 运维基本功第1章 zabbix监控1.1 为什么要监控 在需要的时刻，提前提醒我们服务器出问题了 当出问题之后，可以找到问题的根源 网站/服务器 的可用性1.1.1 网站可用性 在软件系统的高可靠性（也称为可用性，英文描述为HA，High Available）里有个衡量其可靠...
2019-02-21 17:33:36
524
转载 MySQL 优化实施方案
1.1 前言 在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。更多关于MySQL查询相关参照：http://www.cnblogs.com/clsn/p/8038964.html#_label6 系列文章。 图 - MySQL查询过程1.2 优化的哲学优化有风险，...
2019-02-21 17:24:50
158
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人