- 博客(118)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 MySQL基于binlog文件的异地备份策略脚本--shell
[root@Mysql28 shell]# cat binlog.sh #!/bin/sh#mysql binlog backup script#by songftp_backup="D:\\dbbackup\\logbackup"/usr/local/mysql/bin/mysqladmin -uroot -proot flush-logsDATADIR=/usr/lo
2013-11-27 13:35:10
2308
原创 MySQL异地备份策略容灾脚本--shell
由于公司的机器异地的是win主机，需要把linux的备份脚本远程传输到这台win上，所以我选择ftp，大家可以使用wput会好很多，而且比较强大；[root@Mysql28 shell]# cat test.sh #!/bin/bash#tar xvzfi --------commondbackupdir=/data/back_up/mysqlip_d=192.168.155.
2013-11-27 13:27:06
3006
转载 percona-data-recovery-tool工具的配置
为了构建innodb-tools工具，需要依赖于C编译器、make工具等。1、下载解压innodb-tools工具源码：wget https://launchpad.net/percona-data-recovery-tool-for-innodb/trunk/release-0.5/+download/percona-data-recovery-tool-for-innodb-0
2013-08-30 16:55:52
2961
原创 Percona Data Recovery Tool for InnoDB工具恢复单表的案例
今天上班有个朋友询问我，相关Percona Data Recovery Tool for InnoDB恢复数据中的一些问题，比如说delete，没法恢复数据，原先做过类似的异常处理就，再次模拟了下相关的恢复操作流程，仅供学习使用；相关的配置工具策略网上很多，这里我就一笔带过了，不再进行详述，下面就开始梳理相关的细节问题；[root@Mysql64 local]# mysql -uroot
2013-08-30 16:47:25
2694
原创 xtrabackup-2.1.2-611安装
xtrabackup-2.1.2-611下载链接：wget http://www.percona.com/downloads/XtraBackup/XtraBackup-2.1.2/binary/Linux/x86_64/percona-xtrabackup-2.1.2-611.tar.gz安装编译所需的依赖包yum install libaio libaio-de
2013-08-23 14:47:08
1710
原创 mongodb分布式集群部署，集群分片策略
由于项目需要，要部署一个副本集的分片集群，有三个服务器用来部署mongoDB，我们将数据分为2个副本集分片，并分别部署2个config server和2个mongos， 则具体分配如下：Server 192.168.155.224： 10001 shard1 10002 shard2 20001 config1Server 192.168.155.225： 10001 sh
2013-07-23 11:47:47
2929
原创 redis的基础学习
[root@mysql ~]# yum install redisLoaded plugins: fastestmirrorDetermining fastest mirrorsExiting on user cancel[root@mysql ~]# service network restartShutting down interface eth0
2013-07-21 19:49:38
1703
原创 mongodb副本集自动切换修复节点解决方案
副本集部署1.启动mongod在每台运行mongod服务的机器上增加配置文件/etc/mongodb-rs.conf，内容为：[root@MongodbF-A etc]# vi /etc/mongodb-rs.confport = 27017dbpath = /data/dblogpath = /log/log.logfork = truereplSet = tes
2013-07-19 11:59:13
7491
原创 Mongodb主从配置
MongoDB 主从复制与 Mysql 类似。在主服务器上加--master 选项启动。[root@Mongodb bin]# /Apps/mongo/bin/mongod --dbpath=/data/db --master --port=27018 --oplogSize 64Tue Jul 16 19:17:44 [initandlisten] MongoDB startin
2013-07-16 13:00:14
1587
原创 mongodb的备份还原案例
Mongodb自带了mongodump和mongorestore这两个工具来实现对数据的备份和恢复。mongodump能够在Mongodb运行时进行备份，它的工作原理是对运行的Mongodb做查询，然后将所有查到的文档写入磁盘。但是存在的问题时使用mongodump产生的备份不一定是数据库的实时快照，如果我们在备份时对数据库进行了写入操作，则备份出来的文件可能不完全和Mongodb实时数据
2013-07-02 17:35:01
1941
原创 rpm安装配置mysql5.0过程
MySql的安装： 先检查是否已经安装了：rpm -qa |grep mysql ---两个都检查下 rpm -qa |grep MySQL 若安装有可删除：rpm -e ******1、安装前准备：mkdir usr/mysql cd进入该目录，上传安装包到/usr/mysql目录下2、安装：
2013-06-26 17:29:03
1119
原创 32G服务器内存配置，my.cnf参数预估
32G内存中，mysql服务器配置参数变更建议----------------------------------------------------------------------------------------------------------------innodb_file_per_table = 1打开独立表空间back_log = 300#back_log
2013-06-26 17:22:52
4811
1
原创 Mongodb的基本性能统计工具简单记录
1.Mongostat查看某组运行中的MongoDB实例的统计信息;[root@Mongodb ~]# /Apps/mongo/bin/mongostat connected to: 127.0.0.1insert query update delete getmore command flushes mapped vsize res faults locked %
2013-06-04 17:35:52
1059
原创 Mongodb初始化配置开发
Linux平台的Mongodb安装方法；1.下载Mongodb http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.8.1.tgz 2.设置MongoDB程序存放目录 将其解压到/Apps，再重命名为mongo，路径为/Apps/mongo 3.设置数据文件存放目录 建立/data/db的目录, mkdir –p
2013-06-03 16:52:19
3244
原创 [Warning] Unsafe statement written to the binary log using statement format since 错误
[Warning] Unsafe statement written to the binary log using statement format since BINLOG_FORMAT = STATEMENT. INSERT... ON DUPLICATE KEY UPDATE on a table with more than one UNIQUE KEY is unsafe State
2013-05-29 15:33:28
3318
1
原创 批量生成随机手机号码的存储过程和自定义函数
DELIMITER $$ USE `gem`$$ DROP FUNCTION IF EXISTS `getRand`$$ CREATE FUNCTION `getRand`(counts INTEGER) RETURNS VARCHAR(20) BEGIN DECLARE sTemp VARCHAR(20);
2013-05-24 11:53:25
2737
原创 一套比较绕口的SQL实现问题
题目：统计每个userid小于当前日期的累加次数，每个userid的dtime必须相邻，如果日期相邻，每天只累加1（一天只累加一次），如果小于当前日期，并且不相邻，不累加！(当前时间为：2013-05-21)id dtime userid5 2013-05-18 124 2013-05-19 12
2013-05-22 16:39:28
1114
2
原创 更改数据库文件的数据文件目录位置
原来的存放目录/usr/local/mysql/var新的目录/var/mysql1.service mysql stop2.mkdir /var/mysql chown -R mysql /var/mysql chgrp -R mysql /var/mysql3.vi /etc/my.cnf add: datadir=/var/mysql l
2013-05-20 17:29:48
1172
原创 淘宝的一些性能监控工具试用
针对前几天开数据大会当中，有相关图片的监控数据个人感觉比较好，在虚拟机上进行尝试测试，原来此脚本很早网上就有提出，现在记下，以备以后有机会使用；http://code.taobao.org/svn//orzdba/trunk/orzdba以下是在进行系统监控的测试；[root@Slave02 shell]# perl orzdba -mysql -innodb_rows.==
2013-04-26 11:41:31
3596
原创 监控系统组件
针对性能监控的时候，监控系统的需要以下四大部分；1.处理器；检查其利用率，和峰值；2.内存；内存和占用量，及其可用量3.磁盘；空间可用率，磁盘空间占用情况，是否有交换空间等；4.网络；网络通信的吞吐量，延迟和错误率等；
2013-04-25 17:41:44
885
原创 mysql5.6版本的安装配置过程
从今年3月份开始mysql官网开始发布相关的5.6系列的各个版本，对于mysql5.6系列的版本对一起的版本进行了全局性的细节性加强；个人感觉，以下是在虚拟机中配置的mysql5.6.10源码安装的过程分享记录下：[root@mysql5 ~]# groupadd mysql[root@mysql5 ~]# useradd -r -g mysql mysql[root@mysql5 ~]#
2013-04-16 17:44:24
2480
原创 Python切换到新master的脚本
今天看书上有个不错的切换master的脚本，python编写的；可以自动切换到新master上的脚本，拿下来分享下；def replicate_to_position(server,pos):server.sql("START SLAVE UNTIL MASTER_LOT_FILE=%s,MASTER_LOG_POS=%s",(pos.file,pos.pos))server.sql(
2013-04-16 16:11:11
986
原创 热备服务器中，切换master中切换SQL
在master出现故障，需要一个热备服务器及时切换的时候，原先master下面的slave也需要及时的进行切换到热备的那台新master服务器上，其切换的基本思路为：slave和备份服务器在完全相同的 位置停止运行，然后只要把slave重定向到备份服务器。因为备份服务器在你停止运行后的位置没有任何更改，你只需检查binlog的位置即可。然后，停止slave和备份服务器不一定保证是同步，需要手工
2013-04-16 15:47:45
1005
原创 mysqlbinlog中解释事件--hexdump
在binlog文件中有时候打印出来的标准时间并不足以确定一个问题，有时候会出现一个一些特殊的数字代表，无法具体理解其具体数字细节代表的意义；为处理类似的情况，可以通过使用--hexdump来打印出相关的事件的详情；以下是案例如：[root@Slave02 data]# mysqlbinlog --hexdump /usr/local/mysql/data/mysql-bin.000011
2013-04-15 15:23:50
1412
原创 MYSQL5.6新功能发布(一)
甲骨文公司于2013年3月份推出了MYSQL5.6版本的发布，改版本中在各个性能模块当中进行各种加强和改善；特别是在扩充性、可靠性和管理性，满足用户符合网络、云计算和嵌入式应用的严谨需求。以下是5.6版本中的新功能；☆ Better Performance and Scalability；☆ Improved InnoDB for better transactional thro
2013-04-15 10:38:13
1652
原创 多机数据同步机制Unison+inotify-tools
今天早上在QQ群里无意中，听到一个有关不同机器的双向实时同步的问题，想到后，发现数据库当中（mysql），好像对双向实时同步技术貌似很局限，更不要说要做到多机的双向实时同步了，一次便在网上进行各种谷歌，百度的文档搜索，希望查询其中的优秀案例，以供参考，最后无果而终，网上说有关文件的相关双向同步，可以做到实时的案例，但在DB层上，无法进行穿越，没有找到相关案例；以下是unison和inotify的相
2013-04-11 14:08:00
3863
1
原创 mysqldump全备的shell脚本分享
今天，测试人员又来催说一定要备份相关的bug库数据，需要每天定时全备；对于数据量不大的该库，感觉没打必要这么兴师动众，来同时搞2套方案，进行维护！不过需求提出来了，就需要去解决；下面是早上编写的一个简单的mysqldump的全备脚本分享给大家； #!/bin/sh################################此脚本用来全量备份#Justin sun#每个星期日
2013-04-11 12:58:08
1962
原创 站点的监控小工具-监控宝
在任何一个网站，或者个人的网站当中都希望自己提前预知自己网站的近期的状况，或者在出现问题前，能够得到最快的通知，以避免网站出现不良状况，保证其健康的运行；当然我们在生产中可能进程遇到Nagios、Cacti等开源的产品，需要进行不同情况下的定制任务，配置等操作！对于一个小的站点，我们可能无需如此费力去做这些动作，就可以来进行了解我们网站的健康状况！ 监控宝通过标准的网络管理
2013-04-10 15:00:44
2097
原创 Navicat设置执行计划任务方便管理备份
今天无意之中测试的人员提出了一个简单的任务，要求在一个他们的服务器上做个bug库的每天定时备份任务，该库为测试人员使用的各个产品的BUG补丁库，较为重要，不能出现数据丢失问题；并且要求使用人员恢复简单，灵活使用即可；对此想起了NAVICAT上有个定时任务的功能，无需在从新书写脚本来做定时备份；在使用Navicat的时候方便了我们进一步操作我们的数据库界面化的管理方案；我们可以方便的进行查询
2013-04-10 14:09:44
4279
原创 不同RAID的作用解释
RAID的作用：增强数据集中度；增强容错功能；增加处理量或者容量；根据不同磁盘的组合方式，常见的RAID组合方式可以分为；RAID 0， RAID 1 ,RAID 5，RAID 10 ,RAID 50等；（1）RAID 0：将多个磁盘合并成一个大的磁盘，不会有冗余，并行I/O,速度最快；RAID 0也称为带区集，它是将多个磁盘并列起来，，成为一个大磁盘，理论上多磁盘的效能就
2013-04-10 10:04:11
2095
原创 Linux磁盘同步技术中DRBD（Distributed Replicated Block Device）
2.6.33 Linux® 内核引入了一个有用的新服务，称为 Distributed Replicated Block Device (DRBD)。该服务在运行期间可以将整块设备镜像到另一个网络主机上，允许进行数据块高可用性集群的开发;Linux上的磁盘同步技术，已经被收入Linux主线代码里面去了。可以看作是一个基于网络的RAID 1的软件系统。简单的说就是磁盘同步;
2013-04-08 17:20:08
1703
原创 innodb中的REDO解析
在innodb存储引擎中，事务日志通过重做（redo）日志文件和innodb存储引擎的日志缓冲（innodb log buffer）来实现；当开始一个事务时，会记录该事务的一个LSN(Log sequence number)，当事务执行是，会往innodb存储引擎的缓冲池里插入事务日志，当事务提交是，必须将innodb粗才能引擎的日志缓冲写入磁盘（默认的实现，即innodb_flush_log_a
2013-04-08 13:03:33
1870
原创 MySQL--binlog日志恢复数据
恢复数据的重要命令如下mysql> flush logs; 默认的日志是mysql-bin.000001，现在刷新了重新开启一个就多了一个mysql-bin.000002 ./mysqlbinlog --no-defaults binlog日志名，来查看日志[root@localhost bin]# ./mysqlbinlog
2013-04-08 09:31:04
1237
原创 Mysql中排序在SQL优化中的部分解析
在mysql中，相关的复制的sql语句，会对所要搜取得结果进行规整，这里就有排序，分组，统计等相关整理过程，其中排序的算法的意义最为重要，在mysql不同的版本中，特别是在5.1系列以后对排序算法的定义不断加强改善； 在排序算法中对新旧算法当中提到的阵列的宽度，以及函数搜取的范围，大小，影响的高度等都进行了修改，并设置相关的阀值，以指导相关的参数自动闭合；以下是在5.5系列中相关
2013-04-07 15:55:50
791
原创 Oracle undo表空间爆满的解决
1. 启动SQLPLUS，并用sys登陆到数据库。#su - oracle $>sqlplus / as sysdba 2. 查找数据库的UNDO表空间名,确定当前例程正在使用的UNDO表空间：Show parameter undo_tablespace。3. 确认UNDO表空间；SQL> select name from v$tablespace; NAME -----
2013-04-03 17:14:57
1874
原创 Mysql中数据切分的不同形式
数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切可以称之为数据的垂直（纵向）切分；另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分;垂直切分的优点1.数据库的拆分简单明了，拆分规则明确；
2013-04-03 16:33:45
848
原创 awk的读取处理结构数据的案例
awk 是一种用于读取和处理结构化数据的极佳工具.FS （字段分隔符）变量设置成 ":",可以分析出一个复杂文件的各种我们所要取得的字段；但是对于一个多行记录需要一些其他变量来辅助；比如RS，OFS,ORS等；如果要分析占据多行的记录，仅仅依靠设置 FS 是不够的。在这些情况下，我们还需要修改 RS 记录分隔符变量。RS 变量告诉awk 当前记录什么时候结束，新记录什么时候开始；以下案例：
2013-04-02 14:25:36
1122
转载 哪些程序占用了swap脚本的监控
最近有人问，我的系统swap快被耗尽了，可是却不知道哪些程序占用了swap，到处发帖问什么命令可以查看。其实linux系统目前并没有这样的命令（或许是有，但我孤陋寡闻不清楚），但是我们可以通过编写脚本来自己找出占用swap的程序。那么怎样编写这个脚本呢，首先、我们需要知道去哪查看进程占用资源的情况。每个进程都会在/proc下面生成一个以进程号为名字的目录，里面的各个文件就是其在内存中的映像
2013-04-01 17:48:40
1134
原创 Percona-Toolkit命令集合工具，Mysql不可或缺的必备利器之一
Percona Toolkit for MySQL is a collection of advanced command-line tools used by Percona MySQL support staff to perform a variety of MySQL server and system tasks that are too difficult or complex to
2013-04-01 13:43:21
2024
1
原创 Mysql主从复制，单台服务器上实施
现在公司向在一台服务器上做主从复制，现在了解到的是需要安装多个mysql不同的服务，才可以，我现在 在现有单实例数据库下，分了不同的端口以下所示红色部分；[root@mysql ~]# netstat -tunlpActive Internet connections (only servers)Proto Recv-Q Send-Q Local Address
2013-03-29 17:07:27
1637
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人