dhtx_wzgl的博客

原创 dubbo其实很简单

原创 Innodb锁原理

转载请说明出处：https://blog.csdn.net/dhtx_wzgl/article/details/85230083一、Innodb锁1.1 锁介绍       innodb存储引擎是mysql5.1之后的默认存储引擎，相对于之前的默认存储引擎MyISAM，它有两个不同点：一是支持事物，二是采用了行级锁。下面介绍一下innodb的锁。        共享锁（S）：其实就...

原创 elasticsearch 基于spring api的基本操作

转载请注明出处：https://blog.csdn.net/dhtx_wzgl/article/details/852297091、批量更新 public void update() throws IOException { UpdateRequest updateRequest1 = new UpdateRequest().index(EsConstant...

原创 elasticsearch实践中遇到的问题总结

转载请注明出处：https://blog.csdn.net/dhtx_wzgl/article/details/85229634list查询返回结果最大只有10条。原因：是Spring es的list查询底层实现方法实际是分页查询，而PageSize的默认值是10，所以每次查询的最大返回结果只有10条。解决办法：自己设置PageSize的大小模糊查询时，参数为含多个字符时失效原...

原创 spring5缓存机制之Caffeine

转载请注明出处：https://blog.csdn.net/dhtx_wzgl/article/details/85229505前言Spring5不在支持guava cache，改为使用caffeine缓存。caffeine cache vs guava cache     caffeine cache是采用java8编写的一个高性能的缓存库。它的实现与guava cache差不多...

原创 spring异步机制

近期在组内做了一次spring的异步分享，将内容记录下来。转载请注明出处：https://blog.csdn.net/dhtx_wzgl/article/details/85229397！0、概念同步、异步和阻塞、非阻塞1、spring异步实现2、spring阻塞异步的使用环境最低要求：spring3.2+（3.0开始支持服务层异步，3.2开始支持控制层异步）、serv...

原创 Zookeeper client与 server通讯源码分析

转载请注明出处：https://blog.csdn.net/dhtx_wzgl/article/details/83999300 以dubbo 的provider注册和consumer订阅为例（下列过程默认dubbo的注册中心使用的是zookeeper）Dubbo provider注册过程首先从Dubbo jar包的spring.handlers中找到入口DubboNamespac...

原创 Spring mock测试 回滚数据库

今天在做Spring mock单元测试时，发现如果想要在测试结束后自动回滚数据库只需要在测试类或者方法上打上@Transactional注解即可，而使用Rollback无效。

转载 LSM-Tree （BigTable 的理论模型）

LSM-Tree理论模型：来源：http://www.cnblogs.com/raymondshiquan/archive/2011/06/04/2072630.html Google的BigTable架构在分布式结构化存储方面大名鼎鼎，其中的MergeDump模型在读写之间找到了一个较好的平衡点，很好的解决了web scale数据的读写问题。MergeDump的理

转载 PayPal高级工程总监：读完这100篇论文 就能成大数据高手

PayPal高级工程总监：读完这100篇论文 就能成大数据高手阅读目录关键架构层（Key architecture layers）架构的演进（Architecture Evolution）文件系统层（FIle Systems） 数据存储（Data Stores）资源管理层（Resource Managers）资源协调层（Coordination）计算框架（Computati

原创 深入java学习之java面向对象程序设计

前言        今天继续上一次的总结，上一次总结的是java语言基础，今天主要总结java的面向对象程序设计。对于java面向对象程序设计的一些概念都不总结了，像什么java中没有类的多继承，但是可以继承多个接口什么的，java入门时几乎都会学到，不再累述。对于面向对象程序设计的核心——设计模式，以后会专门写一类博客来进行总结。本文主要总结一些在开发过程中会用，但是却不了解原理的东

原创 深入java之java语言基础（一）

该文为原创，转载请标明出处：前言        用了这么久的java，却从未深入的学习过基础原理。以前总觉得会用就行，经过两年的代码编写发现，没有深入理解原理，也就难得用好技术。今年来实验室后，开始深入的学习了自己掌握的技术和工具的原理，在此决定一一记录在博客里，算是对学习的一个中总结吧。今天，首先总结java语言的基础，下面通过对比来阐述一些java基础原理。一、变量与包装类

转载 【Hadoop】HDFS的运行原理

转自：http://blog.csdn.net/weixuehao/article/details/16967485简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点：

原创 HBase连不上zookeeper

今天安装HBase1.0.1的集群，启动HBase时，总是出现 ZooKeeper create failed after 4 attempts这个错误。开始一直以为是HBase集群配置的问题，最后才发现是zookeeper的zoo.cfg里面的server.1与myid的序号不匹配，在myid里配成3了，改过来就好了。    以前一直以为只要每个zookeeper节点之间的myid不一样就o

转载 Mahout学习路线图

转自：http://blog.fens.me/hadoop-mahout-roadmap/前言Mahout是Hadoop家族中与众不同的一个成员，是基于一个Hadoop的机器学习和数据挖掘的分布式计算框架。Mahout是一个跨学科产品，同时也是我认为Hadoop家族中，最有竞争力，最难掌握，最值得学习的一个项目之一。Mahout为数据分析人员，解决了大数据的门槛；为

转载 GemFire 8.2 在CentOS的安装步骤

原文：http://www.cnblogs.com/doubletree/p/5185395.htmlGemFire目前已经开源，开源项目的主页：http://geode.incubator.apache.org/，商业版本的主页：https://pivotal.io/big-data/pivotal-gemfire，关于开源版本如何编译，以及与商业版本的区别(功能上有区别)，我们以后

转载 四叉树空间索引原理及其实现

转自http://blog.csdn.net/zhouxuguang236/article/details/12312099今天依然在放假中，在此将以前在学校写的四叉树的东西拿出来和大家分享。四叉树索引的基本思想是将地理空间递归划分为不同层次的树结构。它将已知范围的空间等分成四个相等的子空间，如此递归下去，直至树的层次达到一定深度或者满足某种要求后停止分割。四叉树的结构比较简单，并且当

转载 Linux 之 shell 比较运算符

原文：http://blog.csdn.net/sunboy_2050/article/details/6836382运算符描述示例文件比较运算符-e filename如果 filename 存在，则为真[ -e /var/log/syslog ]-d filename如果 filena

转载 Centos 内存占满 释放内存

一台老的PHP后台服务器，今天用 free -m 查看，发现内存跑满了。再 top，然后按下shift+m，也就是按内存占用百分比排序，发现排在第一的进程，才占用0.9%，那是什么占用的呢？谷歌了一下，据说是centos为了提高效率，把部分使用过的文件缓存到了内存里。如果是这样的话，我又不需要这样的文件性能，那就可以释放。如下两个命令就可以：#sync#echo 3

转载 最近5年133个Java面试问题列表

Java 面试随着时间的改变而改变。在过去的日子里，当你知道 String 和 StringBuilder 的区别就能让你直接进入第二轮面试，但是现在问题变得越来越高级，面试官问的问题也更深入。 在我初入职场的时候，类似于 Vector 与 Array 的区别、HashMap 与 Hashtable 的区别是最流行的问题，只需要记住它们，就能在面试中获得更好的机会，但这种情形已经不复存在。如今，你

转载 Hbase存储详解

started by chad walters and jim　　2006.11 G release paper on BigTable　　2007.2 inital Hbase prototype created as Hadoop contrib　　2007.10 First useable Hbase　　2008.1 Hadoop become Apache

转载 在Linux集群上安装和配置Spark

原文：http://www.cnblogs.com/sunwubin/p/4255109.html1 安装JDK1） 进入JDK官网2） 下载JDK安装包3）配置环境变量，在/etc/profile增加以下代码JAVA_HOME=/home/hadoop/jdk1.6.0_38PATH=$JAVA_HOME/bin:$PATH

转载 Spark入门实战系列--6.SparkSQL（下）--Spark实战应用

转自：http://www.cnblogs.com/shishanyuan/p/4723713.html1、运行环境说明1.1 硬软件环境l  主机操作系统：Windows 64位，双核4线程，主频2.2G，10G内存l  虚拟软件：VMware® Workstation 9.0.0 build-812388l  虚拟机操作系统：CentOS 64位，单核l  虚拟

转载 Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优

转自：http://www.cnblogs.com/shishanyuan/p/4723641.html1.1  运行环境说明1.1.1 硬软件环境l  主机操作系统：Windows 64位，双核4线程，主频2.2G，10G内存l  虚拟软件：VMware® Workstation 9.0.0 build-812388l  虚拟机操作系统：CentOS6.5 64位，单

转载 Spark入门实战系列--4.Spark运行架构

转自：http://www.cnblogs.com/shishanyuan/p/4721326.html1、 Spark运行架构1.1 术语定义lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码；lDri

转载 Spark入门实战系列--1.Spark及其生态圈简介

转自：http://www.cnblogs.com/shishanyuan/p/4700615.html【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、简介1.1 Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在

转载 Spark入门实战系列--6.SparkSQL（上）--SparkSQL简介

1、SparkSQL的发展历程1.1 Hive and SharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，

转载 spark操作hbase

转自：  http://blog.csdn.net/oopsoom/article/details/36071323在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spa

转载 Spark 下操作 HBase（1.0.0 新 API）

HBase经过七年发展，终于在今年2月底，发布了 1.0.0 版本。这个版本提供了一些让人激动的功能，并且，在不牺牲稳定性的前提下，引入了新的API。虽然 1.0.0 兼容旧版本的 API，不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark 结合，进行数据的写入与读取。鉴于国内外有关 HBase 1.0.0 新 API 的资料甚少，故作此文。本文将分两部分介绍，第

转载 Hadoop RPC框架

转自：http://blog.csdn.net/thomas0yang/article/details/412112591、RPC框架概述1.1 RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带

原创 多线程学习总结

多线程分为两种，一种是继承的Thread或Runnable,另一种继承的是Callable，第一种的有一个run()方法，第二种有一个call()方法。它们的区别是：run()没有返回值，call()有返回值。

原创 mysql数据库 SQL查询语句优化和一些注意

1、mysql不支持top,它是采用limit来实现这一功能的；2、当sql语句中含有in、like、exists时索引不起作用，开始变为全表查询；3、语句中的in和exists这样的条件能用子查询就用子查询，这样性能会提升不少，当然用关联查询更好；4、当遇到union这样的联合查询时，要想提高性能，可以采用将每一个子查询单独开一个线程的方式来替代实现；5、有时候将一个sql语句分

原创 List sublist的toIndex不能超过500

今天想在项目中使用多线程时，想将一个长度为700多的Llist链表，分割 成几个长度为50的子链表作为各个线程的参数，最后发现但sunblist的toIndex超过500时就会报Exception in thread "main" java.lang.IndexOutOfBoundsException: toIndex = 550的错。我这里是用变量实现的，如果改成直接写数字，即写成sublist

转载 在Linux上安装Memcached服务

转自：http://www.cnblogs.com/zgx/archive/2011/08/10/2134097.html下载并安装Memcache服务器端服务器端主要是安装memcache服务器端.下载：http://www.danga.com/memcached/dist/memcached-1.2.2.tar.gz另外，Memcache用到了libevent这个库

转载 MySQL模糊查询：LIKE模式和REGEXP模式

转自：http://www.linuxidc.com/Linux/2015-03/114580.htmMySQL模糊查询提供了两种模式：LIKE模式和REGEXP模式。LIKE模式LIKE模式是使用的LIKE 或 NOT LIKE 比较运算符进行模糊查询。SELECT 字段 FROM 表 WHERE 字段 LIKE[NOT LIKE] '条件'针对条件，

转载 理解MySQL——索引与优化

转自：http://www.cnblogs.com/hustcat/archive/2009/10/28/1591648.html写在前面：索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点。考虑如下情况，假设数据库中一个表有10^6条记录，DBMS的页面大小为4K，并存储100条记录。如果没有索引，查询将对整个表进行扫描，最坏的情况下，如果所有数据页都不在内存，需要

原创 sql逻辑运算符的优先级

以下列表显示了操作符优先级的由低到高的顺序。排列在同一行的操作符具有相同的优先级。:=||, OR, XOR&&, ANDNOTBETWEEN, CASE, WHEN, THEN, ELSE=, , >=,>, , !=, IS, LIKE, REGEXP,IN|&>-, +*, /, DIV, %, MOD

转载 MySQL存储引擎－－MyISAM与InnoDB区别

转自：http://blog.csdn.net/xifeijian/article/details/20316775MyISAM 和InnoDB 讲解　　InnoDB和MyISAM是许多人在使用MySQL时最常用的两个表类型，这两个表类型各有优劣，视具体应用而定。基本的差别为：MyISAM类型不支持事务处理等高级处理，而InnoDB类型支持。MyISAM类型的表强调的是性能，其执行数度

转载 Linux安装MySQL的两种方法

转自：http://blog.csdn.net/superchanon/article/details/8546254/1.       运行平台：CentOS 6.3 x86_64，基本等同于RHEL 6.32.       安装方法：安装MySQL主要有两种方法：一种是通过源码自行编译安装，这种适合高级用户定制MySQL的特性，这里不做说明；另一种是通过编译过的二进制文

转载 Linux查看系统配置常用命令

转自：http://www.cnblogs.com/codewater/articles/1818210.html系统# uname -a # 查看内核/操作系统/CPU信息# head -n 1 /etc/issue # 查看操作系统版本# cat /proc/cpuinfo # 查看CPU信息# hostname # 查看计算机名# lspci -tv # 列出