R_P_J-CSDN博客

原创 arthas常用命令整理

文章目录0 下载并启动arthas1 JVM相关命令1.1 dashboard实时数据面板1.2 thread查询线程信息1.3 jvm查询当前jvm信息1.4 vmoption调整VM诊断参数1.5 logger查看与修改日志信息1.6 heapdump堆快照2 class文件相关命令（代码热更新）2.1 jad反编译指定类的源码2.2 mc生成字节码文件2.3 retransform加载字节码文件2.4 sc/sm查看已加载的类和方法信息3 字节码增强相关命令3.1 monitor监控方法执行3.2 w

2021-12-14 14:34:42 15365

原创基于zookeeper实现分布式锁的底层原理

注：关于什么是分布式锁及其应用场景这里不赘述，需要了解请自行百度！一 zookeeper分布式锁原理：原理图基于curator(zookeeper客户端框架)，具体代码实现看下官网API(很简单)，此图解释了以下问题：多线程间如何获取锁资源？一个线程内重复加锁如何处理？争抢锁资源时如何保证性能？节点挂机是否会造成死锁？如何解决高可用？二 redis分布式锁RedLock算法简...

2018-10-31 23:08:18 745

原创图解elasticsearch的写入流程(包含对refresh、fsync、flush操作的理解)

elasticsearch写入数据时涉及到的核心概念讲解：segment file: 存储逆向索引的文件，每个segment本质上就是一个逆向索引，每秒都会生成一个segment文件，当文件过多时es会自动进行segment merge（合并文件），合并时会同时将已经标注删除的文档物理删除；commit point（重点理解）: 记录当前所有可用的segment，每个commit poin...

2018-08-31 12:06:43 6670 16

原创 Eureka启动流程 - EurekaBootStrap源码解析

cloud源码：https://github.com/spring-cloud/spring-cloud-netflixnetflix源码：https://github.com/Netflix/eurekaeureka-server中web.xml解读：配置了一个监听器（启动核心入口，重点分析）:&amp;lt;listener&amp;gt; &amp;lt;listener-class&amp;g...

2018-08-08 19:19:38 1723

原创十分钟了解23种设计模式

注：适用于设计模式入门和面试突击什么是设计模式?是经过前人无数次的实践总结出的，设计过程中可以被反复使用的，可以解决特定问题的设计方法，java面向对象编程的所有思想都出自这23种设计模式，无处不用。1）单例模式（以下几种单例务必掌握）：饿汉式、懒汉式、双重锁（使用volatile防止指令重排）、静态内部类的单例模式（自己封装时最常用）、枚举（最安全的单例）// 做...

2018-07-19 00:01:03 825

原创 Git常用命令

git入门命令1. 对一个已有的项目初始化git版本库// 进入此项目根目录下：git init解释： git init命令作用是将此项目交给git托管，创建的.git隐藏目录实际上就是存储了你的每个代码文件的每个版本。2. 对代码进行版本控制git add --all .git commit -m '自己输入的所需日志'解释： git本地仓库结构有三个区域...

2018-07-12 00:12:51 378

原创并行流parallel，CompletableFuture与Executors线程池的使用与区别

list并行操作在项目开发可以极大提高代码效率与性能，java8对其进行了很好的封装，简单使用研究一下：1. 先自己创建一个list：// list在实际使用中要注意线程安全，Collections.synchronizedList写操作性能高，CopyOnWriteArrayList读操作性能较好List<String> list = Arrays.asList(new S...

2018-03-16 15:57:53 11573 1

原创 redis-cluster核心原理分析：gossip通信、jedis smart定位、主备切换

1、节点间的内部通信机制1.1 基础通信原理redis cluster节点间采取gossip协议进行通信维护集群的元数据有两种方式：集中式和gossip 集中式：优点在于元数据的更新和读取，时效性非常好，一旦元数据出现变更立即就会更新到集中式的存储中，其他节点读取的时候立即就可以立即感知到；不足在于所有的元数据的更新压力全部集中在一个地方，可能导致元数据的存储压力。 gossip：

2017-12-15 15:02:27 3204

原创 redis-cluster集群搭建

本人最近在搭建一套主从复制+高可用+多master的redis cluster集群，搭建环境是CentOS7，redis版本3.2.8。1、补充redis-trib.rb文件基本知识redis-rib.rb是redis的集群管理工具，集成在redis的src目录下，是redis作者使用ruby脚本语言编写的，此工具提供了一下功能： 1、create：创建集群 2、check：检查集群 3、in

2017-12-02 23:39:35 438

原创 Redis哨兵架构详解

1、哨兵(sentinal)的介绍哨兵是redis集群架构中非常重要的一个组件，主要功能如下：集群监控：负责监控redis的master和slave进程是否正常工作；消息通知：如果某个redis实例有故障，那么哨兵负责发送消息作为报警通知给管理员；故障转移：如果master node挂掉了，会自动转移到slave node上；配置中心：如果故障转移发生了，通知client客户端新的maste

2017-11-20 19:51:32 1156 2

原创笔记：elasticsearch在项目中的使用需求

(摘抄自公司大牛的笔记，自己总结一下) 类比mysql，我们需要=、>、>=、<、<= 、or、and、in、like、count、sum、group by、order by、limit 在高版本的ES里面使用了boolquery替换了filter1、等于号=QueryBuilders.termQuery("isDel",1));//termQuery相当于=，相当于isDel=12、大于小于

2017-11-16 21:19:36 3038

原创第十七篇：elasticsearch java API的使用

首先添加上maven依赖：<dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId> <version>5.2.2</version></dependency><dependency> <groupId>org.apache.logging.

2017-11-06 20:42:20 594

原创第十六篇深入elasticsearch聚合数据分析

1. bucket与metric两个核心概念单词意思就可以理解： bucket：桶就是对我们的数据进行分组； sql中相当于：group by user_idmetric：度量标准就是对一个数据分组执行的某种聚合分析的操作，比如说求平均值，求最大值，求最小值；2、家电卖场案例背景以一个家电卖场中的电视销售数据为背景，来对各种品牌，各种颜色的电视的销量和销售额，进行各种各样角度的分析//添

2017-11-03 20:34:51 2338

原创补充篇基于linux centos 7安装elasticsearch

强调：elasticsearch是基于JDK1.8运行的，安装前请务必安装完jdk1.8一、安装elasticsearch1、进入我的安装目录：cd /usr/local/ 2、执行下载命令：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.tar.gz3、执行解压命令：tar -zxf e

2017-11-02 18:20:54 2321

原创第十五篇深度揭秘elasticsearch的搜索技术

1. 手动控制全文检索结果的精准度1.1 为帖子数据添加标题字段POST /forum/article/_bulk{ "update": { "_id": "1"} }{ "doc" : {"title" : "this is java and elasticsearch blog"} }{ "update": { "_id": "2"} }{ "doc" : {"title" : "thi

2017-11-02 17:17:49 584

原创第十四篇 elasticsearch的结构化搜索（全）

1. 使用term、filter来搜索数据1.1 插入一些数据POST /forum/article/_bulk{ "index": { "_id": 1 }}{ "articleID" : "XHDK-A-1293-#fJ3", "userID" : 1, "hidden": false, "postDate": "2017-01-01" }{ "index": { "_id": 2 }}

2017-11-02 14:27:31 1206

原创第十三篇 elasticsearch的Query DSL搜索语法

Query DSL基本语法{ QUERY_NAME: { ARGUMENT: VALUE, ARGUMENT: VALUE,... }}{ QUERY_NAME: { FIELD_NAME: { ARGUMENT: VALUE, ARGUMENT: VALUE,...

2017-10-31 18:01:12 1939

原创第十二篇 elasticsearch中的mapping透彻理解

首先插入几条数据，让es自动为我们建立一个索引PUT /website/article/1{ "post_date": "2017-01-01", "title": "my first article", "content": "this is my first article in this website", "author_id": 11400}PUT /website/a

2017-10-31 17:00:33 1578

原创第十一篇 elasticsearch的分页搜索和deep_paging性能问题

1. 分页搜索的语法size,fromGET /_search?size=10GET /_search?size=10&from=0GET /_search?size=10&from=202. deep paging性能探究deep paging简单来说，就是搜索的特别深，比如总共有60000条数据，每个shard上分20000条，每页是10条数据，这个时候你要搜索到第1000页，实际上要拿到的

2017-10-31 14:25:50 1221 4

原创第十篇 elasticsearch的写一致性原理以及quorum机制深入剖析

1. consistency参数：one（primary shard），all（all shard），quorum（default）我们在发送任何一个增删改操作时比如put /index/type/id，都可以带上一个consistency参数，指明我们想要的写一致性是什么：put /index/type/id?consistency=quorumone：要求我们这个写操作，只要有一个primar

2017-10-30 17:50:49 1981 2

原创第九篇 elasticsearch的document数据路由原理

1. document是怎么路由到shard上的？路由算法：shard = hash(routing) % number_of_primary_shards 假如一个index有3个primary shard,P0,P1,P2；在每次增删改查一个document的时候都会带过来一个routing number，默认就是这个document的_id（可能是手动指定，也可以自动生成）； elas

2017-10-30 14:13:55 545

原创第八篇 elasticsearch的批量增删改查

1. 批量查询1.1 mget查询的语法GET /_mget{ "docs" : [ { "_index" : "test_index", "_type" : "test_type", "_id" : 1 }, { "_index" : "test_index",

2017-10-30 11:35:01 3723

原创第七篇 elasticsearch如何解决并发冲突问题

1. 乐观锁和悲观锁两种并发控制方案数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性。乐观并发控制(乐观锁)和悲观并发控制（悲观锁）是并发控制主要采用的技术手段。不要把他们和数据中提供的锁机制（行锁、表锁、排他锁、共享锁）混为一谈。其实，在DBMS中，悲观锁正是利用数据库本身提供的锁机制来实现的。1.1 悲观锁如

2017-10-29 22:31:35 5267

原创第六篇 elasticsearch中的document全量替换、强制创建以及删除机制

1、document的全量替换语法与创建文档是一样的，如果document id不存在，那么就是创建；如果document id已经存在，那么就是全量替换操作，替换document的json串内容document是不可变的，如果要修改document的内容，第一种方式就是全量替换，直接对document重新建立索引，替换里面所有的内容es会将老的document标记为deleted，然后新增我

2017-10-28 18:27:38 2481 3

原创第五篇 elasticsearch中document的核心元数据

1、_index元数据（1）代表一个document存放在哪个index中（2）类似的数据放在一个索引，非类似的数据放不同索引：product index（包含了所有的商品），sales index（包含了所有的商品销售数据），inventory index（包含了所有库存相关的数据）。如果你把比如product，sales，human resource（employee），全都放在一个大的in

2017-10-28 17:25:48 640

原创第四篇 elasticsearch的基本分布式架构

1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式的系统，分布式是为了应对大数据量，它很好的隐藏了复杂的分布式机制：shard分片机制我们可以随随便便就将一些document插入到es集群中去，而且不用关心数据怎么进行分片的，数据到哪个shard中去。cluster discovery集群发现机制举例：我们之前在做那个集群status从ye

2017-10-28 17:19:13 1527

原创第三篇 elasticsearch的group by+avg+sort等聚合分析

本文依据如下数据模板进行分析PUT /ecommerce/product/1{ "name" : "gaolujie yagao", "desc" : "gaoxiao meibai", "price" : 30, "producer" : "gaolujie producer", "tags": [ "meibai", "fangzhu" ]

2017-10-28 16:00:35 10558 2

原创第二篇应用elasticsearch进行简单的商品管理

一、集群健康检查和文档CRUD1. 快速查询集群的健康状况GET /_cat/health?v了解集群的健康状况 green：每个索引的primary shard和replica shard都是active状态的。 yellow：每个索引的primary shard都是active状态的，但是部分replica shard不是active状态，处于不可用的状态 red：不是所有索引的pri

2017-10-27 20:12:24 1950

原创第一篇 elasticsearch介绍

1.es介绍1.1.es功能分布式的搜索引擎和数据分析引擎数据分析：电商网站，最近7天牙膏销量排行前十商家（举例）；全文检索，结构化检索，数据分析全文检索：我想搜索商品名称包含牙膏的商品，select * from products where product_name like “%牙膏%” 结构化检索：我想搜索商品分类为日化用品的商品都有哪些，select * from produ

2017-10-27 17:28:46 589

R_P_J的博客