- 博客(36)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Redis配置文件redis.conf详解
Redis配置文件redis.conf各个参数详解:1k => 1000 bytes1kb => 1024 bytes1m => 1000000 bytes1mb => 1024*1024 bytes1g => 1000000000 bytes1gb => 102410241024 bytes内存配置大小写是一样的.比如 1gb 1Gb 1GB 1gBdaemo...
2018-03-27 16:11:46
346
转载 redis overcommit memory (oom) 问题报错解决方法
一，什么是overcommit or oom问题Linux对大部分申请内存的请求都回复"yes"，以便能跑更多更大的程序。因为申请内存后，并不会马上使用内存。这种技术叫做Overcommit。当linux发现内存不足时，会发生OOM killer(OOM=out-of-memory)。它会选择杀死一些进程(用户态进程，不是内核线程)，以便释放内存。当oom-killer发生时，linux会选择杀死...
2018-03-27 16:10:59
2627
转载 MySQL · 功能分析 · 5.6 并行复制实现分析
背景我们知道MySQL的主备同步是通过binlog在备库重放进行的，IO线程把主库binlog拉过去存入relaylog，然后SQL线程重放 relaylog 中的event，然而这种模式有一个问题就是SQL线程只有一个，在主库压力大的时候，备库单个SQL线程是跑不过主库的多个用户线程的，这样备库延迟是不可避免的。为了解决这种n对1造成的备库延迟问题，5.6 引入了并行复制机制，即SQL线程在
2017-12-26 11:56:14
1734
原创 mysql 查询数据库中没有主键的表
select table_schema,table_name from information_schema.tables where (table_schema,table_name) not in( select distinct table_schema,table_name from information_schema.columns where COLUMN_KEY='P
2017-12-26 11:51:58
8123
原创 MySQL CARDINALITY确认索引选择性
SELECT t.TABLE_SCHEMA,t.TABLE_NAME,INDEX_NAME, CARDINALITY, TABLE_ROWS,CARDINALITY/TABLE_ROWS AS SELECTIVITY -- 得到选择性FROMTABLES t, -- 查询的表一，TABLES(SELECT table_schema,table_name,in
2017-12-26 11:50:25
276
原创 mysql source命令如何把日志记录到文件里面
第一种方法：执行前在mysql shell里面运行tee output.log之后你运行任何命令输出都会打在里面。output.log就是你要的文件，名字随便，路径随便第二种方法：可以使用expect，比如我常用这样的一个import.sh脚本:#!/usr/bin/env expectif {$argcsend_user "
2017-12-05 14:39:30
7922
原创 mysql主从关于函数过程同步问题
发现mysql主从同上步 对于函数过程总是出错 MySQL创建函数问题分析：根据系统提示，导致该错误的原因可能是一个设置方面的配置，查手册log_bin_trust_function_creators参数缺省0，是不 允许function的同步的。一般我们在配置repliaction的时候，都忘记关注这个参数，这样在master更新funtion后，slave就会报告错误，然后sl
2017-12-05 14:38:05
2641
原创 MySQL 批量删除库和表
此操作危险！请谨慎做好确认！因为db或者table的信息都保存在MySQL内置的 information_schema数据库的表中，因此思路为：like查询information_schema中的相关表名，拼接SQL后进行批量删除。批量删除DB（以前缀为KAI_FA_GE示例）:SELECT CONCAT( 'DROP DATABASE ', SCHEMA_NAME, ';') FRO
2017-12-05 14:35:50
1209
原创 redis 模糊删除key
摘要: redis-cliKEYS"pattern"|xargsredis-cliDELRediskeys命令支持模式匹配，但是del命令不支持模式匹配，有时候需要根据一定的模式来模糊删除key，这时只能结合shell命令来完成了。具体命令是：redis-cliKEYS"pattern"|xargsredis-cliDEL其中pattern是keys命令支持的模式，这样就可以模糊删除key了。服务
2017-12-05 14:31:54
10943
2
转载 MySQL · 引擎特性 · DROP TABLE之binlog解析
Drop Table的特殊之处Drop Table乍一看，与其它DDL 也没什么区别，但当你深入去研究它的时候，发现还是有很多不同。最明显的地方就是DropTable后面可以紧跟多个表，并且可以是不同类型的表，这些表还不需要显式指明其类型，比如是普通表还是临时表，是支持事务的存储引擎的表还是不支持事务的存储引擎的表等。这些特殊之处对于代码实现有什么影响呢？对于普通表，无论是创建还是删除，数据库
2017-12-05 14:23:53
1466
转载 MySQL · 数据恢复 · undrop-for-innodb
简介undrop-for-innodb 是针对 innodb 的一套数据恢复工具，可以从文件级别恢复诸如：DROP/TRUNCATE table, 删除表中某些记录，innodb 文件被删除，文件系统损坏，磁盘 corruption 等几种情况。本文简单介绍下使用方法和原理浅析。准备git clone https://github.com/twindb/undrop-for-innod
2017-12-05 14:20:51
2592
转载 使用 Cobbler 自动化和管理系统安装
Cobbler是一套快速搭建网络自动化安装操作系统的软件，个人感觉是PXE的升级版;提供cli和web两种管理方式，还提供API接口系统环境：Centos7_x64Iptables offSelinux disabledCobbler对象类型发行版（distro）：表示一个操作系统。它承载了内核和 initrd 的信息，以及内核参数等其他数据。配置文件（pr
2017-11-06 14:01:57
1794
转载 jenkins 持续集成环境搭建
持续集成持续集成（CI）是一种软件工程流程，将所有工程师对于软件的工作复本，每天集成数次到共用主线（mainline）上。依赖以下原则达到目标维护一个代码库自动建置让建置时会自我测试所有人每天至少提交一次应该要建置每一个提交让建置维持快速用在线环境的复本测试让获取最新发布版本更容易任何人都可以查看最后建置的结果自动部署产生的效益及早发现集成错误且由于修订
2017-11-06 13:59:24
807
原创 mysql 统计QPS和TPS
mysqladmin -uroot -pkkff@LL extended-status -i2 |awk 'BEGIN{local_switch=0;print "QPS Commit Rollback TPS Threads_con Threads_run \n------------------------------------------------------- "}$2 ~ /Qu...
2017-11-02 13:53:08
1892
原创 MySQL 批量删除库和表
此操作危险！请谨慎做好确认！因为db或者table的信息都保存在MySQL内置的 information_schema数据库的表中，因此思路为：like查询information_schema中的相关表名，拼接SQL后进行批量删除。批量删除DB（以前缀为KAI_FA_GE示例）:SELECT CONCAT( 'DROP DATABASE ', SCHEMA_NAME, ';') FRO
2017-11-02 13:52:10
2704
原创 Using Innodb_large_prefix to Avoid ERROR 1071
If you’ve ever tried to add an index that includes a long varchar column to an InnoDB table in MySQL, you may have seen this error:ERROR 1071 (42000): Specified key was too long; max key length is 7
2017-11-02 13:49:42
458
转载 MHA高可用部署及测试
MHA特性主服务器的自动监控和故障转移MHA监控复制架构的主服务器，一旦检测到主服务器故障，就会自动进行故障转移。即使有些从服务器没有收到最新的relay log，MHA自动从最新的从服务器上识别差异的relay log并把这些日志应用到其他从服务器上，因此所有的从服务器保持一致性了。MHA通常在几秒内完成故障转移，9-12秒可以检测出主服务器故障，7-10秒内关闭故障的主服务器以避免
2017-11-02 13:46:22
2332
转载 MySQL · 源码分析 · Innodb 引擎Redo日志存储格式简介
MySQL有多种日志。不同种类、不同目的的日志会记录在不同的日志文件中，它们可以帮助你找出mysqld内部发生的事情。比如错误日志：用来记录启动、运行或停止mysqld进程时出现的问题；查询日志：记录建立的客户端连接和执行的语句；二进制日志：记录所有更改数据的语句，主要用于逻辑复制；慢日志：记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询。而对MySQL中最常用的事
2017-11-02 13:41:53
2409
转载 MySQL · 引擎特性 · InnoDB Buffer Pool
前言用户对数据库的最基本要求就是能高效的读取和存储数据，但是读写数据都涉及到与低速的设备交互，为了弥补两者之间的速度差异，所有数据库都有缓存池，用来管理相应的数据页，提高数据库的效率，当然也因为引入了这一中间层，数据库对内存的管理变得相对比较复杂。本文主要分析MySQL Buffer Pool的相关技术以及实现原理，源码基于阿里云RDS MySQL 5.6分支，其中部分特性已经开源到AliSQ
2017-07-12 09:59:30
676
原创 mysql5.7 rpm包完整安装教程，解决网上更改数据文件就启动报错的故障。
在MySQL官网中下载rpm安装包，即将MySQL-5.7.18-1.el7.x86_64.rpm-bundle.tgz，下载在 /tmp 目录下，为了安装完整，建议下载一下所有包进行安装，包名如图： 下载这些包后，直接 yum install *， 即可安装成功。 初始安装后的MySQL各类文件位置如下： （1） 可执
2017-06-28 09:58:09
523
原创 rsync+inotify-tools实时同步真正可用版
在数据源服务器上安装rsync client 和inotify-toolsyum -y install rsync inotify-tools创建rsync client 和inotify 合体脚本vi /etc/rsync/rsync_do.sh#!/bin/shsrcdir=/home/xdja/updatedstdir=rsynctestrsyncuser=r
2017-06-16 17:21:21
301
原创 阿里云服务器添加swap
一、查看系统当前的分区情况：>free -m二、创建用于交换分区的文件:>dd if=/dev/zero of=/whatever/swap bs=block_size count=number_of_block三、设置交换分区文件:>mkswap /whatever/swap四、立即启用交换分区文件:>swapon /whateever/swap
2017-01-13 13:28:22
1612
转载 HTTPS 简介及使用官方工具 Certbot 配置 SSL 安全证书详细教程
Homepage » 教程 » HTTPS 简介及使用官方工具 Certbot 配置 Let’s Encrypt SSL 安全证书详细教程HTTPS 简介及使用官方工具 Certbot 配置 Let’s Encrypt SSL 安全证书详细教程POST TAGSCERTBOTDEBIANHTTPSISRGLET'S ENCRYPTLINUXSTORYNGINXSSLSSL/
2017-01-13 13:24:26
6471
转载 MySQL数据库配置的优化
我们究竟应该如何对MySQL数据库进行优化？下面我就从MySQL对硬件的选择、MySQL的安装、my.cnf的优化、MySQL如何进行架构设计及数据切分等方面来说明这个问题。服务器物理硬件的优化在挑选硬件服务器时，我们应该从下面几个方面着重对MySQL服务器的硬件配置进行优化，也就是说将项目中的资金着重投入到如下几处：1、磁盘寻道能力（磁盘I/O），我们现在用的都是SAS15000
2017-01-12 21:43:03
334
转载 ELK日志分析平台搭建全过程
一、使用背景 当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时 二、环境 系统：centos 6.5 JDK：1.8 Elasticsearch-5.0.0 Logstash-5.0.0 kibana-5.0.0 三、安装 1、安装JDK 下载JDK：一、使用背景 当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时
2017-01-12 15:03:29
287
原创 nagios+pnp4nagios系列文章（六） 安装配置及rrdtool出图最详细配置，解决途中遇到的各种问题！！！
服务器端IP地址：192.168.100.172客户端IP地址：192.168.100.1171、安装基本环境：[root@dawning-01 src]# yum install openssl openssl-devel gcc sysstat2、创建用户：[root@dawning-01 src]# groupadd nagios[root@dawning
2017-01-12 14:53:00
433
原创 nagios+pnp4nagios系列文章（五） 安装配置及rrdtool出图最详细配置，解决途中遇到的各种问题！！！
1、安装软件：名称：NSclient++（NSCP-0.4.1.73-x64.msi/NSCP-0.4.1.90-Win32.msi）下载路径：http://nsclient.org/download/安装软件时，需要输入nagios服务器的IP地址或主机名、密码。可在nsclient.ini配置文件中，找到[/settings/default]配置项，在该标签项中查看。
2017-01-12 14:51:24
554
原创 nagios+pnp4nagios系列文章（四） 安装配置及rrdtool出图最详细配置，解决途中遇到的各种问题！！！
1、修改pnp显示图形时间间隔（Time ranges）：【在监控时间间隔添加1小时的间隔】1-1、[root@HAD06 check_commands]# vim /usr/local/pnp4nagios/etc/config.php在第214行找到：$views[] = array('title' => '4 Hours', 'start' => (60*60
2017-01-12 14:48:46
480
原创 nagios+pnp4nagios系列文章（三） 安装配置及rrdtool出图最详细配置，解决途中遇到的各种问题！！！
Server环境。1、先处理个别问题：1-1、HTTP和SSH服务提示：Notifications for this service have been disabled。处理办法：[root@HAD06 nagios]# vim /usr/local/nagios/etc/objects/localhost.cfg在HTTP服务和SSH服务中找到notif
2017-01-12 14:45:36
916
原创 nagios+pnp4nagios系列文章（二） 安装配置及rrdtool出图最详细配置，解决途中遇到的各种问题！！！
1、基本环境：主机名：HAD06IP地址：192.168.100.172nginx的用户及所属组：www www软件源代码包存放位置：/usr/local/src源码包编译安装位置：/usr/local/软件名字2、软件列表：（包含9个源码包）nagios-3.5.0.tar.gznagios-plugins-1.4.16.tar.gzn
2017-01-12 14:39:28
339
原创 nagios+pnp4nagios系列文章（一） 安装配置及rrdtool出图最详细配置，解决途中遇到的各种问题！！！
一 软件环境1、操作系统：CentOS6.3-64bit主机名：HAD06IP地址：192.168.100.172本地网络yum源已配置好2、软件列表：（包含6个源码包）pcre-8.35.tar.gznginx-1.5.13.tar.gzphp-5.5.10.tar.gzcmake-2.8.8.tar.gzmysql-5.5
2017-01-12 14:37:20
508
转载 一次「Too many open files」故障
昨天，项目的 ElasticSearch 服务挂了，我说的挂可不是进程没了，因为有 Supervisor 保护，而是服务不可用了。以前曾经出现过一次因为 ES_HEAP_SIZE 设置不当导致的服务不可用故障，于是我惯性的判断应该还是 ES_HEAP_SIZE 的问题，不过登录服务器后发现日志里显示大量的「Too many open files」错误信息。那么 ElasticSea
2017-01-12 13:57:02
271
转载 Nginx带宽控制
有个老项目，通过 Squid 提供文件下载功能，利用 delay_parameters 实现带宽控制，问题是我玩不转 Squid，于是盘算着是不是能在 Nginx 里找到类似的功能。好消息是 Nginx 提供了 limit_rate 和 limit_rate_after，举个例子来说明一下：location /download/ { limit_rate_after
2017-01-12 13:49:44
1839
转载 用十条命令在一分钟内检查Linux服务器性能
如果你的Linux服务器突然负载暴增，告警短信快发爆你的手机，如何在最短时间内找出Linux性能问题所在?Netflix性能工程团队的Brendan Gregg写下了这篇博文，来看他们是怎样通过十条命令在一分钟内对机器性能问题进行诊断。概述通过执行以下命令，可以在1分钟内对系统资源使用情况有个大致的了解。uptime dmesg | tail vmstat 1 mpstat -P
2017-01-12 13:20:01
481
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人