自有贵人相助

转载 it名博

团队技术博客淘宝UED淘宝用户体验团队淘宝核心系统淘宝核心系统团队博客阿里巴巴数据库团队专注数据库管理开发运维淘宝通用产品专注JAVA技术淘宝QA致力于做测试的行业标准淘宝搜索技术关注技术 关注搜索量子恒道专注大数据统计百度搜索研发关注搜索相关技术EMC中国研究院关注于云计算和大数据贰号楼肆层阿里巴巴平台技术部阿里数据平台阿里巴巴数据平台百度技术分享交流百度的互联网技术编码者说腾讯滴技术团

转载 大数据

转载 DevOpt

你喜欢免费的东西吗？获得开发者社区支持的自动化，开源的工具是大家梦寐以求的。这里列举了 50+ 款最棒的开源工具，可以帮助你很好的实行 DevOps。大图请点击这里。开发工具版本控制&协作开发版本控制系统 GitGit 是一个开源的分布式版本控制系统，用以有效、高速的处理从很小到非常大的项目版本管理。开源中国 Git 代码托管平台

转载 mysql性能查看命令2

1, 查看MySQL服务器配置信息 Java代码  mysql> show variables;  2, 查看MySQL服务器运行的各种状态值 Java代码  mysql> show global status;  3, 慢查询 Java代码  mysql> show varia

转载 mysql性能查看命令1

如果是root帐号，你能看到所有用户的当前连接。如果是其它普通帐号，只能看到自己占用的连接怎么进入mysql命令行呢？ mysql的安装目录下面有个bin目录，先用命令行进入该目录，然后用 mysql -uroot -p123456 来登录（注意：用户名和密码不用包含“”） 命令： show processlist; 如果是root帐号，你能看到所有用户的当前连接。如果是其它普通帐

转载 hbase分页

base过滤器的比较操作符： LESS  LESS_OR_EQUAL EQUAL =NOT_EQUAL GREATER_OR_EQUAL >=GREATER >NO_OP no operation比较器： BinaryComparator  按字节索引顺序比较指定字节数组，采用Bytes.compareTo(byte[])

转载 HBase内置过滤器

HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。1. RowFilter：筛选出匹配的所有的行，对于这个过滤器的应用场景，是非常直观的：使用BinaryCo

转载 tcpdump讲解

简介你执行 man tcpdump 命令，你会看到文档中对tcpdump的说明是“dump traffic on a network”。可见，tcpdump是一个根据使用者的定义对网络上的数据包进行截获的包分析工具。tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。tc

转载 java之hook

Runtime.getRuntime().addShutdownHook(shutdownHook);   这个方法的含义说明：       这个方法的意思就是在jvm中增加一个关闭的钩子，当jvm关闭的时候，会执行系统中已经设置的所有通过方法addShutdownHook添加的钩子，当系统执行完这些钩子后，jvm才会关闭。所以这些钩子可以在jvm关闭的时候进行内存清理、对象销毁等

转载 core dump设置(gdb分析)

1.core文件的生成开关和大小限制1）使用ulimit -c命令可查看core文件的生成开关。若结果为0，则表示关闭了此功能，不会生成core文件。2）使用ulimit -c filesize命令，可以限制core文件的大小（filesize的单位为kbyte）。若ulimit -c unlimited，则表示core文件的大小不受限制。如果生成的信息超过此大小，将会被裁剪，最终生成一个

转载 Java问题定位

一、摘要由于硬件问题、系统资源紧缺或者程序本身的BUG，Java服务在线上不可避免地会出现一些“系统性”故障，比如：服务性能明显下降、部分（或所有）接口超时或卡死等。其中部分故障隐藏颇深，对运维和开发造成长期困扰。笔者根据自己的学习和实践，总结出一套行之有效的“逐步排除”的方法，来快速定位Java服务线上“系统性”故障。二、导言Java语言是广泛使用的语言，它具

转载 MINA连接

简介Mina每建立一个连接同时会创建一个session对象，用于保存这次读写需要用到的所有信息。从抽象类AbstractIoSession中可以看出session具有如下功能：1、从attributes成员可以看出session可以存放用户关心的键值对2、注意到WriteRequestQueue，这是一个写请求队列，processor中调用flush或者flushNow方法时会将用户写

转载 java.net.preferIPv4Stack设置

使用了Java网络编程，涉及到ipv4和ipv6的问题，在hadoop集群中由于机器配置不一，会导致不同机器获取的机器名长短不一，从而引发一系列问题，如“hadoop或yarn集群任务数据本地化很差（后面会写篇文章进行分析）”。FQDN是Fully Qualified Domain Name的缩写, 含义是完整的域名。例如, 一台机器主机名(hostname)是www, 域后缀(dom

转载 java.awt.headless 模式

1. 什么是 java.awt.headless？Headless模式是系统的一种配置模式。在该模式下，系统缺少了显示设备、键盘或鼠标。2. 何时使用和headless mode？Headless模式虽然不是我们愿意见到的，但事实上我们却常常需要在该模式下工作，尤其是服务器端程序开发者。因为服务器（如提供Web服务的主机）往往可能缺少前述设备，但又需要使用他们提供的功能，生成相应的

转载 网络监控相关的一些命令

本文介绍了一些可以用来监控网络使用情况的Linux命令行工具。这些工具可以监控通过网络接口传输的数据，并测量目前哪些数据所传输的速度。入站流量和出站流量分开来显示。一些命令可以显示单个进程所使用的带宽。这样一来，用户很容易发现过度使用网络带宽的某个进程。这些工具使用不同的机制来制作流量报告。nload等一些工具可以读取"proc/net/dev"文件，以获得流量统计信息；而一些工具

转载 查看和改变网卡的速度和双工(ethtool)

没有比购买一个完全的Linux兼容网卡更好的Linux投资了。大部分的Linux厂商在他们网站上都有一份兼容的硬件列表：在开始连接你的机器到网络之前请仔细阅读它。如果你没有找到任何在本地的计算机商店可以买到的型号，那么同系列也是可以的。大多数网卡都能正常工作，但只有完全兼容的可为您提供无差错的，持续的吞吐量。Linux缺省会在网卡连接到路由器上时自动协商判断网卡的速度和双工。配置一个路由器

转载 通过/proc/net/dev分析网络包量，流量，错包，丢包

一，/proc/net/devuser_00@xxxx64:~> cat /proc/net/devInter-    | Receive                                                                                                      |  Transmit face   

原创 Mac下Eclipse内存设置修改以及安装MAT

一、今天需要调查java内存溢出的问题，dump出来的内存文件有1.4G，在mac上面用MAT进行分析，导入的时候eclipse内存溢出。找到Mac下Eclipse的配置文件eclipse/Eclipse.app/Contents/MacOS/eclipse.ini，将Xmx512m修改为Xmx1024m，重启eclipse。搞定！二、安装MAT插件：去官网http://www.ecl

原创 mysql数据库备份与恢复

周末没事，简单学习了下数据库的备份与恢复。备份:[未压缩]mysqldump -uroot -p123456 xxx > xxx.sql[压缩]mysqldump --uroot -p123456 xxx | gzip > xxx.sql.gz恢复[没有database的情况下，必须先创建]:[未压缩]mysql -uroot -p123456 xxx [压缩]gunzip

原创 mysql找回密码

很久之前安装的mysql，忘记登陆密码，只能找回。1、查看mysql位置: ps aux | grep mysql (ps -aux | grep mysql)2、关闭mysql: kill -9 xxx3、进入mysql安装目录的bin目录下，安全模式启动mysql:sudo ./mysqld_safe --skip-grant-tables4、客户端登陆mysql:mysql

转载 Mina中的session过期

从mina中学习超时程序编写在很多情况下，程序需要使用计时器定，在指定的时间内检查连接过期。例如，要实现一个mqtt服务，为了保证QOS，在服务端发送消息后，需要等待客户端的ack，确保客户端接收到消息，当服务端等待一段时间后，仍未获得客户端ack，就会将消息重新传送。在Mina中，每个链接都可以设置read ideal 和write ideal 时间，当链接read ideal或者wri

转载 MQTT协议笔记之连接和心跳

前言本篇会把连接(CONNECT)、心跳(PINGREQ/PINGRESP)、确认(CONNACK)、断开连接(DISCONNECT)和在一起。CONNECT像前面所说，MQTT有关字符串部分采用的修改版的UTF-8编码，CONNECT可变头部中协议名称、消息体都是采用修改版的UTF-8编码。前面基本上可变头部内容不多，下面是一个较为完整的CONNECT消息结构：

转载 MQTT协议详解

首先给出MQTT协议的查看地址：http://public.dhe.ibm.com/software/dw/webservices/ws-mqtt/mqtt-v3r1.html当然也有PDF版的，百度一下，不过个人感觉不是官网上的字体和排版最舒服。那么这个协议是用做什么或有什么特色呢？下面是mqtt.org上的首段介绍：It was designed as an extre

转载 bytes[i] & 0xf0是怎么运算的

bytes[i] & 0xf0是如何运算的StringUtil类：public class StringUtil {/** 16进制数字字符集*/  private static String hexString="0123456789ABCDEF";    /** 将字符串编码成16进制数字,适用于所有字符（包括中文）*/  public stat

转载 Java中byte转换int时与0xff进行与运算的原因

java中byte转换int时为何与0xff进行与运算在剖析该问题前请看如下代码 public static String bytes2HexString(byte[] b) {  String ret = "";  for (int i = 0; i    String hex = Integer.toHexString(b[i] & 0xFF);   if (hex

转载 Nginx日志文件配置与切割

Nginx日志的指令主要有两条：log_format，设置日志的格式access_log，指定日志文件的存放路径、格式和缓存大小两条指令在Nginx配置文件中的位置可以在http{……..}之间，也可以在虚拟主机之间，即server(…….)两个大括号之间。log_format 语法如下： log_format name format [format …]

转载 解决url中包含中文导致的乱码

今天的项目中碰到了一个乱码问题，从JS里传URL到服务器，URL中有中文参数，服务器里读出的中文参数来的全是“？”，查了网上JS编码相关资料得以解决。解决方法如下： 1、在JS里对中文参数进行两次转码 复制代码代码如下:var login_name = document.getElementById("loginname").value; login

转载 tcpdump详解

TCPdump抓包命令 tcpdump是一个用于截取网络分组，并输出分组内容的工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为类UNIX系统下用于网络分析和问题排查的首选工具。 tcpdump提供了源代码，公开了接口，因此具备很强的可扩展性，对于网络维护和入侵者都是非常有用的工具。tcpdump存在于基本的Linux系统中，由于它需要将网络界面设置为混杂模式，普通用户不能正常执

转载 书单｜后端开发书架

自从技术书的书架设定为“床底下”之后，又多了很多买书的空间。中国什么都贵，就是书便宜。书架主要针对Java后端开发， 书单更偏爱那些能用简短流畅的话，把少壮不努力的程序员所需的基础补回来的薄书，而有些教课书可能很著名，但干涩枯燥，喋喋不休的把你带回到大学课堂上昏昏欲睡。操作系统与网络的书《Linux内核设计与实现 - Linux Kernel Developme

转载 dubbo服务治理

在大规模服务化之前，应用可能只是通过RMI或Hessian等工具，简单的暴露和引用远程服务，通过配置服务的URL地址进行调用，通过F5等硬件进行负载均衡。 (1) 当服务越来越多时，服务URL配置管理变得非常困难，F5硬件负载均衡器的单点压力也越来越大。 此时需要一个服务注册中心，动态的注册和发现服务，使服务的位置透明。 并通过在消费方获取服务提供方地址列表，实现软负载均衡

转载 Git SourceTree 冲突解决方案

Git现在越来越火，很多人都从Svn迁移到Git上面,Git让我们更加与世界接轨，不再是“局域网”的程序猿，特别是掌握了Git之后，会发现它真的很好用，本文对Git中比较烦人的冲突进行了详细的说明，希望能帮助那些刚接触Git的程序猿。亮点：采用可视化SourceTree插件beyondCompare更加接近svn冲突比较构造冲突A 修改了conflict

转载 GitHub和SourceTree入门教程

-->本教程适用于主流的开源网站github和bitbucket，个人认为sourceTree还是比较好用的git客户端，支持windows和mac os。-->soureceTree的最新版本可能与此教程的screenshot有些许不同，但大同小异(sourceTree的最新版本操作上更人性化)-->在github上注册一个账号，然后登陆。-->在github上点击cre

转载 git常用命令

Git使用1. git pull    更新服务器代码到本地a). git pull origin master是将origin这个版本库的代码更新到本地的master主分支2. git push    将本地代码提交到服务器3. git log    查看提交信息a). git log -p    查看历次的log信息及更改情况b). git log -p -

转载 mac 安装SourceInsight

先安装模拟xp环境软件 CrossOver 具体请看http://blog.csdn.net/xiaohuangcat/article/details/41832295SourceInsight 3.5注册码：SI3US-567890-89293下载地址：http://pan.baidu.com/s/1i3j7Frn

转载 Java 6 JVM参数选项大全（中文版）

原文链接 http://kenwublog.com/docs/java6-jvm-options-chinese-edition.htm！本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Options 编写的译文。主要介绍JVM中的非稳态选项及其使用说明。为了让读者明白每个选项的含义，作者在原文基础上补充了大量的资料。希望这份文档，对正在研究JVM参数的朋友

转载 sed命令讲解

一个点（.）代表一个字符。比如：.a. 代表3个字符，中间一个字符是a，两边各一个任意字符。比如：... 代表3个任意字符。若要匹配点（.）本身，则使用转义字符。比如：my... 代表my.后接两个字符。 行首匹配^行尾匹配$ [...] 代表字符串中的一个字符。比如：[abc] 代表a或b或c中的任意一个字符。

转载 socket阻塞与非阻塞，同步与异步

1. 概念理解     在进行网络编程时，我们常常见到同步(Sync)/异步(Async)，阻塞(Block)/非阻塞(Unblock)四种调用方式：同步：      所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回。也就是必须一件一件事做,等前一件做完了才能做下一件事。例如普通B/S模式（同步）：提交请求->等待服务器处理->处理

转载 mac免费建模工具

下面介绍下mac下两款免费的UML建模工具。mac下工具不像w'indows下那么普及，但是也bu不少，需要发现的眼睛。闲话少说直接上网址：argouml　下载地址为：http://argouml.tigris.org/violet　UML　下载地址为：http://alexdp.free.fr/violetumleditor/page.php?id=en:

原创 问题追踪定位常用工具

有时间深入研究下这些工具，这里先记录下来。辅助工具：tcpdumpstraceltracebtracehousecdtrace线程栈等工具：jmapjstackgdbpmap服务器负载等工具：topperfnetstatiftopjmapjstat

转载 java crash分析

有一次服务器jvm crash,无任何异常信息。后来想想不对啊，除非是人为的将java的进程kill掉，要不然不可能没有错误日志的，后来突然想起上次价格行情做性能测试时，当jvm crash掉之后，是在命令目录下会生成一个hs_err_pid*****.log文件的，于是找到那个文件，下面是分析过程，这个文件有几部分内容，首先是头部信息，头信息包含了出错的大体信息和位置。[c-