- 博客(53)
- 收藏
- 关注
RSS订阅原创 Python模拟Redis与Mysql交互实现一个简单的二级缓存
基本逻辑：1、先查询Redis是否存在目标数据，存在即输出，不存在则查询Mysql；2、从mysql取出目标数据存入Redis后设置过期时间，输出目标数据。 mysql目标数据结构：CREATE DATABASE hyy_db;CREATE TABLE hyy_tab( id INT NOT NULL AUTO_INCREMENT COMMENT 'id', NA...
2018-12-25 14:13:04
721
原创 mysql误删除数据后的恢复策略
一、系统环境配置情况系统环境： Linux 2.6.32-754.3.5.el6.x86_64数据库环境：mysql 5.7.23日志格式： MIXEDgtid：启用备份策略：利用xtrabackup每天凌晨00:00自动完全备份 二、模拟场景 某技术人员在上午10点不小心trancate了一个表，上午11点发现了异常需紧急恢复被删除的数据。 三、...
2018-12-20 11:23:18
982
1
原创 redis安装文档
一、下载源码包并解压编译redis官网地址：http://www.redis.io/tar xf redis-stable.tar.gzcd redis-stablemake 编译完成后，在src目录下，有3个可执行文件redis-server、redis-benchmark、redis-cli。然后拷贝到redis目录下。mkdir /usr/lo...
2018-11-27 15:39:25
237
原创 MySQL5.7多种方式安装、升级、卸载
MySQL有源码安装、二进制安装、rpm安装三种安装方式。源码安装方式可用性最大，可以指定安装目录、数据目录等，并且可以自己定制mysql的功能和插件，只安装需要的模块，不需要的模块可以不用安装，例如储存引擎只安装innodb。源码安装过程需cmake编译，较为复杂，并且需要安装一些依赖包。二进制安装为官方编译，稳定，安装过程相对简单，也可以指定相关目录，移植性高；但不可定制相关功能。...
2018-10-11 14:49:07
1589
原创 mysql备份计划——xtrabackup
备份脚本每天凌晨3点通过crontab执行一次，需要注意的是prepare的文件都是加了--redo-only参数的，直接用的话需prepare一次最后的增备文件（不加redo-only）。#!/bin/bash##1.每周一、三、五凌晨3点基于上次增备做一次增量备份，并对本次备份文件做prepare合并到之前的prepare文件中##2.每周日凌晨3点全备##3.此...
2018-09-12 20:24:17
939
原创 shell实用脚本
1、写脚本时自动生成 #!/bin/bash 1.1、创建脚本vim.sh#!/bin/bashp=`pwd`#判断是否存在该脚本while((1))do { read -p "Please enter the name of your script: " name s=$p/$name.sh if [ ! -e $s ] then ...
2018-09-12 10:53:59
200
原创 关于keepalived+haproxy+mycat架构深入理解
1、为什么需要haroxyharoxy官方定义如下： HAProxy是一种免费的、非常快速和可靠的解决方案，它提供了高可用性、负载平衡和对TCP和基于http的应用程序的代理。它特别适用于非常高的流量网站，并且拥有相当多的世界上最受欢迎的网站。多年来，它已经成为事实上的标准的opensource负载平衡器，现在已经与大多数主流的Linux发行版一起发布，并且经常在云平台上默认部署...
2018-08-16 17:31:47
3265
1
转载 Linux ./configure --prefix命令
源码的安装一般由3个步骤组成：配置（configure）、编译（make）、安装（make install），具体的安装方法一般作者都会给出文档，这里主要讨论配置（configure）。Configure是一个可执行脚本，它有很多选项，使用命令./configure –help输出详细的选项列表，如下：-bash-3.00# ./configure --helpUsage: con...
2018-08-14 16:19:20
643
原创 关于Mycat配置文件scheme.xml的dataHost标签深入理解
首先得搞清楚，balance项是控制读而writeType是控制写的，如下图为官方文档截图（有点小问题）一、Balance属性1、Balance=0时读操作会发往第一个writeHost（不会发readHost），如图读操作是在hostM1上完成的。2、Balance=1时读操作不会发往第一个writeHost，如图M1不参与读3、Balance=2时读操作会随机...
2018-08-13 10:43:24
5747
1
转载 Redis cluster集群：原理及搭建
原文链接：https://blog.csdn.net/truelove12358/article/details/796129541.为什么使用redis？redis是一种典型的no-sql 即非关系数据库 像python的字典一样 存储key-value键值对 工作在memory中所以很适合用来充当整个互联网架构中各级之间的cache 比如lvs的4层转发层 nginx的7层代理层...
2018-08-01 15:36:05
159
转载 redis的主从复制(读写分离)、哨兵(主从切换)配置
当数据量变得庞大的时候，读写分离还是很有必要的。同时避免一个redis服务宕机，导致应用宕机的情况，我们启用sentinel(哨兵)服务，实现主从切换的功能。redis提供了一个master,多个slave的服务。 准备三个redis服务，依次命名文件夹子master,slave1,slave2.这里为在测试机上，不干扰原来的redis服务，我们master使...
2018-07-30 19:49:30
862
转载 Mysql查询结果导出为Excel的几种方法
Mysql查询结果导出为Excel的几种方法本文地址：http://www.cnblogs.com/qiaoyihang/p/6398673.html具体原文找不到了，此篇是借鉴门户的一篇文章方法一：查询语句直接输出语法格式：Example： select * into outfile '/data/var-3307/catid.xls' from help_cat...
2018-07-26 10:19:26
4354
转载 mysql客户端中文显示乱码问题
MySQL 插入数据时，中文乱码问题的解决当向 MySQL 数据库插入一条带有中文的数据形如 insert into employee values(null,'张三','female','1995-10-08','2015-11-12','Sales',2000,'是个好员工！'); 出现乱码时，可以使用语句 show variables like 'character%'; 来查看当前数据...
2018-07-26 10:13:59
1652
转载 深入了解复制-全局事务标识符（GTID）
1）什么是GTIDGTID(Global Transaction ID)是对于一个已提交事务的编号，并且是一个全局唯一的编号。GTID实际上是由UUID+TID组成的。其中UUID是一个MySQL实例的唯一标识，保存在mysql数据目录下的auto.cnf文件里。TID代表了该实例上已经提交的事务数量，并且随着事务提交单调递增。下面是一个GTID的具体形式：3E11FA47-71CA-11E1...
2018-07-19 09:20:52
923
转载 MySQL5.7 开启GTID复制模式终于不用开启log_slave_updates参数了
MySQL5.6的GTID复制模式，必须开启log_slave_updates参数，否则启动就报错，因为需要在binlog找到同步复制的信息（UUID:事务号），如果在密集型写的环境，比如双十一大促在线支付，这无疑增加了从库不必要的磁盘IO开销。（注：开启log_slave_updates参数，是把relay-log里的日志内容再记录到slave本地的binlog里。）但在MySQL5...
2018-07-18 11:20:26
1349
转载 解决困扰自己已久的InnoDB存储引擎行级锁问题
在事务中执行select…for update,update,delete会引起锁，对于事务的修改，事务中会使用X锁，X锁是行级锁，InnDB行锁是通过给索引上的索引项加锁实现的（只有通过索引条件检索数据（即explain sql语句，type=index或range），InnoDB才使用行级锁，否则使用表锁） 为了验证这个，我做了一个小测验 数据表t_bitfly：CREATE TABLE `t...
2018-07-13 11:19:32
230
原创 Tomcat报错：Processing of multipart/form-data request failed. /usr/local/tomcat/work/Catalina/local
web项目上传图片不成功，tomcat日志报错如下：Processing of multipart/form-data request failed. /usr/local/tomcat/work/Catalina/localhost/_/upload_065d149d_b147_4f36_bb49_9af8361c11ca_00000000.tmp (Permission denied)]...
2018-07-06 17:35:22
3137
转载 Linux抓包工具tcpdump详解
PS：tcpdump是一个用于截取网络分组，并输出分组内容的工具，简单说就是数据包抓包工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为Linux系统下用于网络分析和问题排查的首选工具。tcpdump提供了源代码，公开了接口，因此具备很强的可扩展性，对于网络维护和入侵者都是非常有用的工具。tcpdump存在于基本的Linux系统中，由于它需要将网络界面设置为混杂模式，普通用户不能正常执行...
2018-07-04 09:33:35
388
原创 慢查询数据超时告警脚本
基本逻辑为，每日跑一次该脚本，若前一天有超过5秒的慢查询记录，则发送邮件告警。 #!/bin/bashfile=/usr/local/mysql/data/slow.loginfo=/slowquery/infodate=`date +%Y_%m_%d`date_day_1=`date -d '1 days ago' '+%y%m%d'`#判断一天前是否有慢查询数据c...
2018-06-19 19:34:53
749
原创 mysql表空间增长超量告警脚本
比较简单的一个逻辑，通过information_schema.tables输出表空间数据大小，在两个时间点进行比较，增量大于1000000000b则发邮件警报，我这里设定的时间间隔为七天#!/bin/bashmysql=/usr/local/mysqluser=yourdatabaseuserpasswd=yourdatabasepasswdnow=/datalengt...
2018-06-13 20:33:15
339
原创 liunx使用mail发送邮件
安装mail：一般centos都默认有安装mail，若/etc/mail.rc文件不存在则需安装安装mail：yum install -y mailx查看mail日志文件：cat var/log/maillog 1、本地用阿里云邮箱发件vim /etc/mail.rcset from=我这里用的是阿里的企业邮箱set smtp=smtp.aliyun.comset sm...
2018-06-09 17:16:10
1535
转载 我的Mysql死锁排查过程（案例分析）
以前接触到的数据库死锁，都是批量更新时加锁顺序不一致而导致的死锁，但是上周却遇到了一个很难理解的死锁。借着这个机会又重新学习了一下mysql的死锁知识以及常见的死锁场景。在多方调研以及和同事们的讨论下终于发现了这个死锁问题的成因，收获颇多。虽然是后端程序员，我们不需要像DBA一样深入地去分析与锁相关的源码，但是如果我们能够掌握基本的死锁排查方法，对我们的日常开发还是大有裨益的。死锁起因先介...
2018-06-09 11:46:54
716
转载 Mycat从入门到放弃
当初写这篇文章的初衷只是想提醒自己在用一个开源产品前不仅要了解其提供的功能，更要了解其功能和场景边界。1.非分片字段查询Mycat中的路由结果是通过分片字段和分片方法来确定的。例如下图中的一个Mycat分库方案：根据 tt_waybill 表的 id 字段来进行分片分片方法为 id 值取 3 的模，根据模值确定在DB1，DB2，DB3中的某个分片如果查询条件中有 id 字段的情况还好，查询将会...
2018-06-07 10:20:50
210
原创 yum源安装出错汇总
一、http://mirrors.aliyun.com/centos/6.9/os/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 6 - "Couldn't resolve host 'mirrors.aliyun.com'"很大原因是因为当前系统的域名解析出问题，在/etc/resolv.conf里面加上nameserver 8.8....
2018-05-28 17:08:57
4921
转载 史上最详细的Hadoop环境搭建
GitChat 作者：鸣宇淳 原文： 史上最详细的Hadoop环境搭建 关注公众号：GitChat 技术杂谈，一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署A...
2018-05-25 10:14:42
570
原创 mysqldump定时任务生成备份文件内容为空解决方法
问题：写好了一个mysqldump备份脚本（如图）直接执行可以正常生成备份文件，但在用crontab运行时却生成内容为空原因：由于mysqldump存在于全局环境变量mysql的bin下面，故在直接运行时可以直接识别到mysqldump命令，而在crontab里面无法识别到mysqldump命令。解决：在备份脚本里面的mysqldump命令前加上绝对路径，如图...
2018-05-25 09:54:13
6189
2
原创 hadoop的web管理界面打不开解决办法
初学hadoop，试着搭建hadoop伪分布式，一开始在配置core-site.xml和yarn-site.xml时用的是127.0.0.1，初始化、启动啥的都没问题，但是在用外网访问web管理界面时却打不开；考虑到我这边的服务器用的是阿里云的公网ECS，所以试着在core-site.xml配置公网ip，没想到namenode启动失败，查看日志，发现报错：Cannot assign request...
2018-05-24 18:01:45
16106
转载 WARN util.NativeCodeLoader: Unable to load native-hadoop...解决方法
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/51538611配置完hadoop启动的时候出现如下警告信息：[html] view plain copy WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... usi...
2018-05-24 14:48:01
2832
原创 mysqldump数据备份及回复
备份：mysqldump -uroot --flush-logs --master-data=2 --single-transaction --routines --events --databases dbname -p > /pack/dumpname恢复：1、先恢复备份的数据：mysql -uroot -p dbname < /pack/dumpname2、再恢复备份位置到当前位...
2018-04-27 18:41:32
237
原创 二进制日志相关参数及命令
一、二进制日志记录模式binlog模式总共可分为以下三种：row，statement，mixed1.Row日志中会记录成每一行数据被修改的形式，然后在slave端再对相同的数据进行修改，只记录要修改的数据，只有value，不会有sql多表关联的情况。优点：在row模式下，bin-log中可以不记录执行的sql语句的上下文相关的信息，仅仅只需要记录那一条记录被修改了，修改成什么样了，所...
2018-04-27 11:09:11
676
转载 Repeatable-Read及Read-Committed区别
mysql 默认提供的是 Repeatable-Read 可重复读，更适用于oltpRead-Committed 不可重复读 也可以叫做提交读在MySQL中基本有这两种事务隔离级别的设置，默认的RR（Repeatable-Read）和实际中常见的RC(Read-Committed)。两者区别是什么，怎么正确理解，用几个SQL语句就能说明白，就用简单的实验来说明白。 我们开始吧。 首...
2018-04-24 16:28:28
9907
转载 sysbench安装、安装报错解决方法以及简单使用
sysbench 介绍SysBench是一个模块化的、跨平台、多线程基准测试工具，主要用于评估测试各种不同系统参数下的数据库负载情况。它主要包括以下几种方式的测试：cpu性能磁盘io性能调度程序性能内存分配及传输速度POSIX线程性能数据库性能(OLTP基准测试)目前sysbench主要支持 MySQL,pgsql,Oracle 这3种数据库。sysbench 安装默认支持MySQL，如果需要测试...
2018-04-23 15:17:01
4402
转载 Mysql 查看及设置事物隔离级别
Mysql 查看及设置事物隔离级别1.查看SELECT @@tx_isolation2.设置 2.1所有级别 1）read uncommitted : 读取尚未提交的数据 ：哪个问题都不能解决2）read committed：读取已经提交的数据 ：可以解决脏读 ---- oracle默认的3）repeatable read：重读读取：可以解决脏读 和 不可重复读 ---mysql默认的4...
2018-03-31 17:02:05
597
原创 tomcat非root用户启用1024以下端口
做端口转发，如下80转8080：iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-ports 8080此举实质上tomcat还是启用的8080端口，只是客户端访问的是80端口，防火墙规则给转为8080端口了；若想删除该规则，把A改为D即可。PS：查看端口映射信息命令：iptables -t nat -L -n注：有些系...
2018-03-30 11:04:45
1847
原创 tomcat配置http转https
1. 开启https默认端口443<Connector port="443" protocol="HTTP/1.1" SSLEnabled="true"maxThreads="150" scheme="https" secure="true"clientAuth="false" sslProtocol="TLS"keystoreFile
2018-03-30 10:57:12
2370
原创 MMM配置文件及相关命令
1、/etc/mysql-mmm/mmm_common.conf所有节点的命令配置文件，内容一样2、/etc/mysql-mmm/mmm_agent.conf代理节点的配置文件，配置对应的虚拟主机名3、/etc/mysql-mmm/mmm_mon.conf监控节点的配置文件4、/var/log/mysql-mmm/mmm_mond.log监控节点日志5、启动服务代理节点：chkconfigmysq...
2018-03-21 11:32:19
1429
转载 tomcat6配置https (双向认证/单向认证)
tomcat6配置双向认证 1、生成服务器端证书keytool -genkey -keyalg RSA -dname "cn=localhost,ou=sango,o=none,l=china,st=beijing,c=cn" -alias server -keypass password -keystore server.jks -storepass password -validity 365...
2018-03-20 14:38:40
729
原创 用service方式同时启用多个tomcat的方法
一、cp /etc/init.d/tomcat /etc/init.d/tomcat2二、vim /etc/init.d/tomcat2,更改Tomcat_HMOE为第二个tomcat的目录路径三、service tomcat2 start就可以另：我的tomcat是以shell脚本（自己写或网上找）的方式启动的，所以启动用户是可以自己定义，如图：...
2018-03-19 19:06:35
422
原创 ipvsadm安装出错
问题：yum install ipvsadm，报以下错误解决方法：一、手动下载rpm对应版本的rpm包：https://rpmfind.net/linux/RPM/centos/updates/6.9/x86_64/Packages/kernel-devel-2.6.32-696.10.1.el6.x86_64.html二、执行安装：rpm -ivh ipvsadm-1.26-4.el6.x86_...
2018-03-15 16:31:26
493
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人