wx_mdq的专栏

转载 mysql性能优化-慢查询分析、优化索引和配置

目录一、优化概述二、查询与索引优化分析1性能瓶颈定位Show命令慢查询日志explain分析查询profiling分析查询 2索引及查询优化三、配置优化1)      max_connections2)      back_log3)      interactive_timeout4)

转载 Redis3.0-集群环境搭建

Redis3.0已经发布一段时间了，趁着周末抓紧研究下，重点关注下相关的新功能及稳定性。性能及压力测试情况后续慢慢更新。目前公司使用的是2.8.7版本，非常的稳定。 Redis Cluster： 支持多节点数据集自动分片提供一定程度的分区可用性，部分节点挂掉或者无法连接其他节点后，服务可以正常运行集群中的每个Redis节点需要2个TCP连接端口，如6379端

转载 Elasticsearch的远程执行漏洞

公司使用的是Ucloud的云主机服务，今天上午突然被告知有一台服务器的出口流量激增，对外发包量短时间内达到了100万，而且都是UDP类型的，第一感觉就是：诶呀，莫不是被黑了，被当肉鸡了呀！探究：立马登录对应的服务器，首先使用iftop查看流量状况可以看出出口流量好吓人，1分钟内累计700M流量，查了一下这2个IP地址，一个是在美国，一个是在浙江电信；

转载 [置顶] 数据库分库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案

版权声明：本文由本人撰写并发表于2012年9月份的《程序员》杂志，原文题目《一种支持自由规划的Sharding扩容方案——主打无须数据迁移和修改路由代码》，此处作为本系列的第五篇文章进行转载, 本文版权归《程序员》杂志所有，未经许可不得转载！作为一种数据存储层面上的水平伸缩解决方案，数据库Sharding技术由来已久，很多海量数据系统在其发展演进的历程中都曾经历过分库分表的Sh

转载 洞悉Linux系统软硬件配置-aspersa

原创文章，转载请注明： 转载自系统技术非业余研究本文链接地址: 洞悉Linux系统软硬件配置我们在做服务器的时候，老大扔给你一台机器，要你在上面开发。通常服务器软件是非常依赖于系统的软硬件的，软件通常是要紧贴硬件的特性，如果我们不能了解机器的硬件，我们就无法高效的开发。比如说想知道Linux的系统的版本，CPU有几个，内存多少大， 机器什么型号，Raid卡什么型号，硬盘

转载 用 OProfile 彻底了解性能

评测 是表示不同性能特性和特征的数据的形式化总结或分析，它通常以图形和表的形式的出现。评测表提供为特定的处理器事件收集的采样的百分数或数量，比如高速缓存线路故障的数量、传输后备缓存( TLB )故障的数量，等等。Oprofile 是用于 Linux 的若干种评测和性能监控工具中的一种。它可以工作在不同的体系结构上，包括 IA32, IA64 和 AMD Athlon 系列。它的开销小，将被

转载 内核探测工具systemtap简介

systemtap是内核开发者必须要掌握的一个工具，本文我将简单介绍一下此工具，后续将会有系列文章介绍systemtap的用法。什么是systemtap假如现在有这么一个需求：需要获取正在运行的 Linux 系统的信息，如我想知道系统什么时候发生系统调用，发生的是什么系统调用等这些信息，有什么解决方案呢？最原始的方法是，找到内核系统调用的代码，加上我们需要获得信息的代码、重新编

转载 io系统的监控工具-blktrace

io系统的监控工具-blktraceblktrace是一个可以显示block的io详细信息的工具，但他的输出信息太专业了，很难看懂，可以同通过blkiomon、blkparse等工具来查看。 下载 [root@dhdb tmp]# wget ftp://mirror.switch.ch/pool/3/mirror/centos/5.8/os/x86_64/CentOS/

转载 tcprstat工具安装与使用

tcprstat工具安装与使用tcprstat是免费开源tcp分析工具，通过监控网络传输来统计分析请求的响应时间使用方法：tcprstat是安装在server端，统计分析本地网卡地址请求的响应时间，可以用于临时分析，也可定时任务做信息收集下载# wget http://github.com/downloads/Lowercases/tcprstat/tcpr

转载 出现javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name

今天研究网上的java版的微信模拟登录群发消息的代码时，运行报错handshake alert:unrecognized_name，调试发现完整的错误为javax.net.ssl.SSLProtocolException: handshake alert:unrecognized_name 在百度上发现有网友说是因为JDK的版本不对导致，笔者更换了jdk的版本发现问题依旧，最后看到另一个网友的解决

转载 MySQL 5.5 keepalived + haproxy + MHA 自动容灾

vip 192.168.161.80mysql master 192.168.161.81mysql backup 192.168.161.82（haproxy master）mysql slave     192.168.161.83 （haproxy backup）keepalived安装：[plain] view plaincopy

转载 linux 重定向命令

标准输入,输出和错误---------------------------------文件文件                描述符---------------------------------输入文件—标准输入       0输出文件—标准输出       1错误输出文件—标准错误   2--------------------------------- 

转载 MySQL innodb的锁机制解读

网上有许多关于innodb的锁机制的文章，有许多文章讲述的不明白或者有问题，最近研究了好久，结合网上资料和实践操作，记录一下，供大家参考。如果有不对的地方，请随时留言。一 Innodb具备的锁种类1. 表锁（MySQL提供的，跟存储引擎无关）2. 行锁（Innodb存储引擎实现）二 Innodb内部实现的锁种类1. 记录锁对应Innodb的行锁，记录

转载 mysql在线修改表结构大数据表的风险与解决办法归纳

整理这篇文章的缘由：互联网应用会频繁加功能，修改需求。那么表结构也会经常修改，加字段，加索引。在线直接在生产环境的表中修改表结构,对用户使用网站是有影响。以前我一直为这个问题头痛。当然那个时候不需要我来考虑,虽然我们没专门的dba，他们数据量比我们更大，那这种问题也会存在。所以我很想看看业界是怎么做的,我想寻找有没有更高级的方案，呵呵，让我觉得每次开发一个新功能，我在线加字段都比较

转载 MySQL的锁

锁机制是数据库系统区别于文件系统的一个关键特性，他可以确保用户能以一致的方式读取和修改数据。    为了保证一致性，必须有锁的介入。MySQL操作缓冲池中的LRU列表，删除、添加、移动LRU列表中的元素等地方也都适用锁，从而允许对多种不同资源的并发访问。    打个比方，我们到淘宝上买一件商品，商品只有一件库存，这个时候如果还有另一个人买，那么如何解决是你买到还是另一个人买到的问题

转载 MySQL执行Select语句将结果导出到文件的方法

如果是对MySQL整个表数据导出，可以参照文章：http://www.crazyant.net/1355.html然而也会遇到的场景是，需要执行一个SQL语句，然后将SQL语句的结果输出到文件；方法一：使用MySQL的select * into outfile ‘/tmp/rs.txt’ from tb_name句型这是个不可行的方法；举个例子，执行

转载 CXF+Spring配置ip地址拦截器

转自网络：http://www.blogjava.net/zzzlyr/articles/372858.html谢谢原作者！ 首先介绍下CXF的拦截器:简单地说，CXF使用流水线型(或者说总线型)处理机制，它的核心是一个Bus。一个客户端的请求或者一个对客户端桩代码的调用被组织成为一个Message。同时，所有的CXF功能都组织成Interceptor挂接在Bu

转载 linux shell 正则表达式(BREs,EREs,PREs)差异比较

我想各位也和我一样，再linux下使用grep，egrep, awk , sed, vi的搜索时，会经常搞不太清楚，哪此特殊字符得使用转义字符'\' ..   哪些不需要， grep与egrep的差异等等。下面就是我在网上找到的一篇介绍这方面的文章。如下：转载自：http://www.cnblogs.com/chengmo/archive/2010/10/10/1847287.html

原创 只打印IBatis的sql语句

转载 Linux查看版本信息及CPU内核、型号等

Linux下如何查看版本信息, 包括位数和多核信息，今天我们就来一起看看linux 查看版本信息以及查看CPU内核信息、CPU具体型号等等，整个CPU信息一目了然。相信不会让大家失望。# uname -aLinux euis1 2.6.9-55.ELsmp #1 SMP Fri Apr 20 17:03:35 EDT 2007 i686 i686 i386 GNU/Linux(Li

转载 sort帮你排序

sort是在Linux里非常常用的一个命令，管排序的，集中精力，五分钟搞定sort，现在开始！1 sort的工作原理sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。[rocrocket@rocrocket programming]$ cat seq.txtbananaapplepe

转载 实例详细说明linux下去除重复行命令uniq

一，uniq干什么用的文本中的重复行，基本上不是我们所要的，所以就要去除掉。linux下有其他命令可以去除重复行，但是我觉得uniq还是比较方便的一个。使用uniq的时候要注意以下二点1，对文本操作时，它一般会和sort命令进行组合使用，因为uniq 不会检查重复的行，除非它们是相邻的行。如果您想先对输入排序，使用sort -u。2，对文本操作时，若域中为先空字符(通常包括空格以及制表

转载 awk的类sql数据处理

工作中经常处理文本数据，以前经常接触db2数据库，最近在学习awk的过程中发现awk处理数据的强大，可谓无所不能！下面讲的就算awk对sql语句统计数据的模拟。一、先讲讲sql的单表操作，对应awk的单文件处理。    测试环境：sco unix + db2，数据文件名file，数据库表名mytable，为保证准确性，所有语句均做测试。    就以存折明细这样的数据来举

转载 linux awk命令详解

简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人 Alfr

转载 Spring MVC学习笔记

1.CGI:（Common Gateway Interface）公共网关接口，一种在web服务端使用的脚本技术，使用C或Perl语言编写，用于接收web用户请求并处理，最后动态产生响应给用户，但每次请求将产生一个进程，重量级。2.一种JavaEE web组件技术，是一种在服务器端执行的web组件，用于接收web用户请求并处理，最后动态产生响应给用户。但每次请求只产生一个线程（而且有线程池），轻

转载 Spring源码学习一_下载Spring项目源码并编译为Eclipse项目

Spring源码学习一_下载Spring项目源码并编译为Eclipse1.下载Spring源码       git下载地址：https://github.com/SpringSource/spring-framework/2.下载完成后，编译前需满足的先决条件1）当前系统中安装了gradle，如果为安装，可以从：http://www.gradle.org/downloads，选择一

转载 Spring源码分析之——导入spring-framework源代码到Eclipse

本人最近想要研究spring的源代码，但当要导入spring sub project到Eclipse里面去的时候遇到了不少麻烦（其实都怪自己想当然）。  找到spring-framework的gitHub主页（http://springsource.org/spring-framework），也没看README部分的说明就直接copy了工程的源码下载地址https://github.com

转载 重温：Spring 的编程式事务管理及声明式事务管理

开始之前关于本教程本教程将深入讲解 Spring 简单而强大的事务管理功能，包括编程式事务和声明式事务。通过对本教程的学习，您将能够理解 Spring 事务管理的本质，并灵活运用之。先决条件本教程假定您已经掌握了 Java 基础知识，并对 Spring 有一定了解。您还需要具备基本的事务管理的知识，比如：事务的定义，隔离级别的概念，等等。本文将直接使用这些概念而不做

转载 HotSpot VM GC 的种类

collector种类      GC在 HotSpot VM 5.0里有四种：incremental (sometimes called train) low pause collector已被废弃,不在介绍.类别serial collectorparallel collector( throughput collector )co

转载 OAuth1.0协议

OAuth1.0协议概要OAuth提供了一种client代表资源的拥有者访问server的方法，也就是在资源拥有者不向第三方提供证书（通常是指用户名和密码）的情况下，允许第三方使用用户代理重定向访问服务器上的资源。 1        介绍OAuth协议最初是设计用于解决一个最普遍的问题，如何代理访问受保护的资源，，于是在2007年10月建立OAuth1.0的一些标准

转载 在eclipse开发环境中使用Java搭建OAuth Server和OAuth Client

1. OAuth协议OAuth协议是各类开放平台验证第三方应用程序权限的常用方法。在此不多做解释，详情见百度百科 2. 资源介绍我们借助Google Code上的开源项目(下载地址：http://code.google.com/p/oauth/ ) 来搭建OAuth服务器和客户端，首先使用SVN将Java部分的代码checkout。这个项目是使用Maven进行管理的，对

转载 Java中的ReentrantLock和synchronized两种锁定机制的对比

原文：http://www.ibm.com/developerworks/cn/java/j-jtp10264/index.html多线程和并发性并不是什么新内容，但是 Java 语言设计中的创新之一就是，它是第一个直接把跨平台线程模型和正规的内存模型集成到语言中的主流语言。核心类库包含一个 Thread 类，可以用它来构建、启动和操纵线程，Java 语言包括了跨线程传达并发性约束的构造

转载 HttpClient4 Post XML数据

HttpClient4 Post XML数据最近项目中用到SOAP，要求客户端POST SOAP数据过去，整理一下自己写的东西。 POST XML一般有两种方法，一种是指定参数名，将该参数来进行XML数据的传输，这是最常用的一种方式。 这次我想说明的另外一种，直接将XML数据以流的方式写入请求。 Servlet POST方法中来接受传送过

转载 使用 Apache Lucene 和 Solr 4 实现下一代搜索和分析

登录 (或注册)中文IBM技术主题软件下载社区技术讲座搜索 developerWorks打印本页面用电子邮件发送本页面新浪微博人人网腾讯微博搜狐微博网易微博DiggFacebookTwitterDeliciousLinked In

转载 为何在Google地图、百度地图进行GPS定位时，开启WiFi有助于提高定位速度和精度，可达到20m级别？

主要讨论一下室外定位，所知有限，抛砖引玉。会有原理分析过程，可以直接看结论部分。目前应用最广泛的定位技术可分为两类：卫星定位技术和地面三角测量技术。1. 卫星定位技术名词解释：全球导航卫星系统(Global Navigation Satellite System,GNSS) 它是欧空局和国际民航组织倡导发起的全球定位和测时系统。其中最著名的全球定位系统(GlobalPositi

转载 学习Solr不错的系列文章

1）Solr 3.5 配置及应用　　（1）Solr 3.5 配置及应用(一)　　地址：http://blog.csdn.net/chunming8302/article/details/7321367　　（2）Solr 3.5 配置及应用(二)　　地址：http://blog.csdn.net/chunming8302/article/details/7321475

转载 java.util.concurrent介绍

ava.util.concurrent 包含许多线程安全、测试良好、高性能的并发构建块。不客气地说，创建 java.util.concurrent 的目的就是要实现 Collection 框架对数据结构所执行的并发操作。通过提供一组可靠的、高性能并发构建块，开发人员可以提高并发类的线程安全、可伸缩性、性能、可读性和可靠性。如果一些类名看起来相似，可能是因为 java.util.concur

转载 Hadoop集群（第7期）_Eclipse开发环境设置

1、Hadoop开发环境简介1.1 Hadoop集群简介　　Java版本：jdk-6u31-linux-i586.bin　　Linux系统：CentOS6.0　　Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介　　Java版本：jdk-6u31-windows-i586.exe　　Win系统：Window

转载 Hadoop集群（第6期）_WordCount运行详解

1、MapReduce理论简介 1.1 MapReduce编程模型　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job

转载 Hadoop集群（第3期）_VSFTP安装配置

1、VSFTP简介　　VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。　　安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。　　在速度方面，使用ASCII代码的模式下载数据时，VSFTP的速度是Wu-FTP的两