RobertLab-CSDN博客

在Java中，关于锁我想大家都很熟悉。在并发编程中，我们通过锁，来避免由于竞争而造成的数据不一致问题。通常，我们以synchronized 、Lock来使用它。但是Java中的锁，只能保证在同一个JVM进程内中执行。如果在分布式集群环境下呢？一、分布式锁分布式锁，是一种思想，它的实现方式有很多。分布式锁一般有三种实现方式：数据库乐观锁；基于Redis的分布式锁；基于ZooKeeper的分布式锁；本篇博客将介绍第二种方式，基于Redis实现分布式锁，本篇博客将详细介绍如何正确地实现Redis

2020-08-17 14:04:45 342

原创【Redis】Redis事务

一、Redis事务的概念1.1、事务本质Redis 事务的本质是一组命令的集合。事务支持一次执行多个命令，一个事务中所有命令都会被序列化。在事务执行过程，会按照顺序串行化执行队列中的命令，其他客户端提交的命令请求不会插入到事务执行命令序列中。总结说：redis事务就是一次性、顺序性、排他性的执行一个队列中的一系命令。1.2、Redis事务没有隔离级别的概念批量操作在发送 EXEC 命令前被放入队列缓存，并不会被实际执行，也就不存在事务内的查询要看到事务里的更新，事务外查询不能看到。1.3、Re

2020-08-13 19:31:29 432

原创【Redis】主从复制

一、旧版复制功能的实现旧版本Redis(2.8版本)的复制功能可以分为全量同步和命令传播两个操作：同步操作用于将从服务器的数据库状态更新至主服务器当前所处的状态。命令传播操作则用于在主服务器的数据库状态被修改，导致主从服务器的数据库状态不一致时，让主从服务器的数据库重新回到一致状态。1.1、全量同步1.1.1、步骤当通过客户端向从服务器发送 SLAVEOF 命令，要求从服务器复制主服务器时，从服务器就要执行同步操作，即将从服务器的数据库状态更新至主服务器当前所处的数据库状态。同步过程步骤如下

2020-08-13 18:56:31 243

原创【Redis】持久化

Redis为持久化提供了两种方式：RDB：在指定的时间间隔能对你的数据进行快照存储。AOF：记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据。本文将通过下面内容的介绍，希望能够让大家更全面、清晰的认识这两种持久化方式，同时理解这种保存数据的思路，应用于自己的系统设计中。持久化的配置：为了使用持久化的功能，我们需要先知道该如何开启持久化的功能。RDB与AOF持久化的工作原理如何从持久化中恢复数据关于性能与实践建议一、RDB1.1、持久化配置# 时间策略

2020-08-12 17:46:52 140

转载【MySQL】第十三篇：MySQL锁

mysql锁划分按照锁的粒度划分：行锁、表锁、页锁按照锁的使用方式划分：共享锁、排它锁（悲观锁的一种实现）还有两种思想上的锁：悲观锁、乐观锁。InnoDB中有几种行级锁类型：Record Lock、Gap Lock、Next-key LockRecord Lock：在索引记录上加锁Gap Lock：间隙锁Next-key Lock：Record Lock+Gap Lock一、行锁行级锁是 MySQL 中锁定粒度最细的一种锁，表示只针对当前操作的行进行加锁。行级锁能大大减少数据库操作的

2020-08-08 23:46:40 528 1

原创【MySQL】第十二篇：MySQL视图和存储过程

一、视图1.1、什么是视图视图（view）是一种虚拟存在的表，是一个逻辑表，本身并不包含数据。作为一个select 语句保存在数据字典中的。通过视图，可以展现基表的部分数据；视图数据来自定义视图的查询中使用的表，使用视图动态生成。基表：用来创建视图的表叫做基表(base table)1.2、为什么要使用视图因为视图的诸多优点，如下：简单：使用视图的用户完全不需要关心后面对应的表的结构、关联条件和筛选条件，对用户来说已经是过滤好的复合条件的结果集。安全：使用视图的用户只能访问他们被允许查询的

2020-08-08 14:41:49 624

原创【MySQL】第十一篇：MySQL索引原理

一、索引是什么索引是帮助MySQL、Kafka、ES等组件高效获取数据的数据结构。本文针对的是MySQL的索引二、索引能干什么提高数据查询、排序的效率。索引：排好序的快速查找数据结构！索引会影响 where 后面的查找，和 order by 后面的排序。三、索引的分类从数据结构上来划分：Hash索引，BTree索引（B-Tree或B+Tree索引）描述的是索引存储时保存的形式从应用层次来分：普通索引，唯一索引，复合索引。普通索引：即一个索引只包含单个列，一个表可以有多个单列索引

2020-08-08 10:18:45 243

转载【MySQL】第十篇：MySQL事务详解

事务是MySQL等关系型数据库区别于NoSQL的重要方面，是保证数据一致性的重要手段。本文将首先介绍MySQL事务相关的基础概念，然后介绍事务的ACID特性，并分析其实现原理。一、基础概念事务（Transaction）是访问和更新数据库的程序执行单元；事务中可能包含一个或多个sql语句，这些语句要么都执行，要么都不执行。作为一个关系型数据库，MySQL支持事务，本文介绍基于MySQL5.6。首先回顾一下MySQL事务的基础知识。1.1、逻辑架构和存储引擎如上图所示，MySQL服务器逻辑架构从上往

2020-08-07 13:13:06 306 1

原创【MySQL】第九篇：慢查询日志截取及处理

一、慢查询日志慢查询日志是什么MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10秒以上的语句。由他来查看哪些SQL超出了我们的最大忍耐时间值，比如一条sql执行超过5秒钟，我们就算慢SQL，希望能收集超过5秒的sql，

2020-08-06 14:28:50 466

原创【MySQL】第八篇：MySQL的查询优化

建表语句：建表语句一、关联表查询优化1.1、left join结论：在优化关联查询时，只有在被驱动表上建立索引才有效！在优化关联查询时，要使用小表(驱动表)驱动大表(被驱动表)，这样效率更高left join 时，左侧的为驱动表，右侧为被驱动表；类比得出， right join 时，左侧为被驱动表；1.2、inner join结论：inner join 时，mysql 会自己帮你把小结果集的表选为驱动表。二、Not In 优化结论：在范围判断时，尽量不要使用 not in 和 n

2020-08-06 14:10:10 153

原创【Kafka】第三篇：Kafka核心知识点概览

一、Kafka工作流程Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic 的。topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位

2020-08-06 09:47:34 495 2

原创【MySQL】第七篇：索引失效常见场景

2020-08-05 19:23:45 298 1

原创【MySQL】第六篇：MySQL之详解 Explain

一、概念使用 EXPLAIN 关键字可以模拟优化器执行 SQL 查询语句，从而知道 MySQL 是如何处理你的 SQL 语句的。分析你的查询语句或是表结构的性能瓶颈。用法：explain+SQL 语句explain 执行返回后的信息如下：下面针对返回后的信息详细说明，准备工作：本文基于MySQL 8.0.19，不同的版本 explain 会不同省市区的级联sql：脚本下载地址二、explain 结果解析2.1、idselect 查询的序列号，是一组数字，表示查询中执行 select 子

2020-08-05 16:00:19 284

原创【Kafka】第二篇：Kafka入门

一、Kafka部署略二、Kafka常用命令查看当前服务器中的所有 topicbin/kafka-topics.sh --zookeeper hadoop102:2181 --list创建topicbin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 -- topic first选项说明:--topic 定义 topic 名 --replication-f

2020-08-04 21:36:09 254

原创【Kafka】第一篇：Kafka概述

一、定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要应用于大数据实时处理领域。Kafka定义_百度百科Kafka定义_官网使用消息队列的好处：解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。可恢复性：系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。缓冲：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处

2020-08-04 21:09:15 297

原创【MySQL】第五篇：MySQL之索引介绍

一、索引MySQL 官方对索引的定义为：索引(Index)是帮助 MySQL 高效获取数据的数据结构。可以得到索引的本质：索引是数据结构。可以简单理解为排好序的快速查找数据结构。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用(指向)数据，这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是索引。下图就是一种可能的索引方式示例：左边是数据表，一共有两列七条记录，最左边的是数据记录的物理地址。为了加快 Col2 的查找，可以维护一个右边所示的二叉查找

2020-08-04 16:28:46 233

原创【MySQL】第四篇：MySQL的Join

一、常见的Join查询图七种SQL Join：二、Join示例数据CREATE TABLE `t_dept` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `deptName` VARCHAR(30) DEFAULT NULL, `address` VARCHAR(40) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE = INNODB AUTO_INCREMENT = 1 CHARSET = utf8;CREATE

2020-08-04 14:40:51 208

原创【MySQL】第三篇：MySQL逻辑架构简介

一、整体架构图和其它数据库相比，MySQL 有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎的架构上，插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。1.1、连接层最上层是一些客户端和连接服务，包含本地 sock 通信和大多数基于客户端/服务端工具实现的类似于 tcp/ip 的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户

2020-08-04 12:12:45 209 1

原创【MySQL】第二篇：MySQL的用户和权限管理

一、MySQL用户管理MySQL版本：Ver 8.0.191.1、相关命令命令描述备注create user wells identified by ‘123456’;创建用户名为 wells，密码为 123456 的用户select host,user,authentication_string,select_priv,insert_priv,drop_priv from mysql.user;查看用户权限和相关信息update user set authe

2020-08-04 10:18:19 221

原创【MySQL】第一篇：MySQL简介

一、什么是 MySQLMySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle公司。MySQL是开源的，可以定制的，采用了GPL协议，你可以修改源码来开发自己的Mysql系统。MySQL使用标准的SQL数据语言形式。MySQL可以允许于多个系统上，并且支持多种语言。这些编程语言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby 和 Tcl 等。MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，

2020-08-01 09:16:16 162

原创【Spring5】第五篇：Spring事务详解

一、什么是事务事务是数据库操作最基本单元，逻辑上一组操作，要么都成功，如果有一个失败所有操作都失败；事务的四个特性：原子性一致性隔离性持久性事务的传播行为事务传播行为类型说明PROPAGATION_REQUIRED如果当前没有事务，就新建一个事务，如果已经存在一个事务中，加入到这个事务中。这是最常见的选择。PROPAGATION_SUPPORTS支持当前事务，如果当前没有事务，就以非事务方式执行。PROPAGATION_MANDATORY使用当前的事

2020-07-27 20:03:38 320

原创【Spring5】第四篇：AOP

一、什么是AOP来自百度百科：AOP为Aspect Oriented Programming的缩写，意为：面向切面编程，通过预编译方式和运行期间动态代理实现程序功能的统一维护的一种技术。AOP是OOP的延续，是软件开发中的一个热点，也是Spring框架中的一个重要内容，是函数式编程的一种衍生范型。利用AOP可以对业务逻辑的各个部分进行隔离，从而使得业务逻辑各部分之间的耦合度降低，提高程序的可重用性，同时提高了开发的效率。通俗描述：不通过修改源代码方式，在主干功能里面添加新功能；1.1、AOP相关术语

2020-07-23 09:48:02 117

原创【Spring5】第三篇：IOC之Annotation方式

一、什么是注解注解是代码特殊标记，格式:@注解名称(属性名称=属性值, 属性名称=属性值…)使用注解，注解作用在类上面，方法上面，属性上面使用注解目的：简化 xml 配置二、Spring 注解创建对象@Component@Service@Controller@Repository上面四个注解功能是一样的，都可以用来创建 bean 实例，名称不一样是为了按照约定的习惯规范代码2.1、注解创建对象默认的实例名为: 类名首字母小写；也可以自己指定 @Service(value="")

2020-07-19 22:48:28 206

原创【Spring5】第二篇：IOC之XML方式

一、传统方式创建对象缺点：耦合太高：比如UserService的类有了新的实现，那么就需要修改所有调用UserService的地方示例：package com.wells.demo.ioc.tradition;/** * Description 传统方式: 通过 new 对象来调用，带来的问题： * 1、耦合高：如果userDao有了新的实现，需要修改所有调用userDao的地方； * 因此，为了降低耦合，所以需要工厂模式来做，而Spring恰恰用了：xml配置(注解)、工厂模式、反射

2020-07-19 10:27:24 180

原创【Spring5】文章总览

一、Spring5框架概述Spring 是轻量级的开源的 JavaEE 框架，以前用 EJB，现在用SpringSpring 可以解决企业应用开发的复杂性Spring 有两个核心部分：IOC 和 AopIOC：控制反转，把创建对象过程交给 Spring 进行管理Aop：面向切面，不修改源代码进行功能增强Spring 特点方便解耦，简化开发Aop 编程支持方便程序测试方便和其他框架进行整合方便进行事务操作降低 API 开发难度二、系列文章2.1、IOC 容器I

2020-07-18 11:02:19 138

原创【Spring5】第一篇：IOC入门基础

一、什么是 IOC控制反转，把对象创建和对象之间的调用过程，交给 Spring 进行管理使用 IOC 目的：为了降低耦合度二、IOC底层原理XML解析(或注解扫描)、工厂模式、反射三、创建Bean (传统方式 vs BeanFactory)3.1、传统new方式创建Bean：耦合太高// UserService.javapackage com.wells.demo.create.bean.old;/** * Description 最原始的方式: 通过 new 对象来调用，带

2020-07-18 11:00:33 163

原创 Java最详细常用日志框架介绍

Java日志概述对于一个应用程序来说日志记录是必不可少的一部分。线上问题追踪，基于日志的业务逻辑统计分析等都离不日志。java领域存在多种日志框架，目前常用的日志框架包括Log4j1，Log4j2，Commons Logging，Slf4j，Logback，Jul。Java常用日志框架类别Log4j Apache Log4j是一个基于Java的日志记录工具。它是由Ceki Gülcü首创的，现在则是Apache软件基金会的一个项目。 Log4j是几种Java日志框架之一。Log4j 2 Apache

2020-07-09 23:32:44 2117

原创【Kubernetes】Service如何对外提供服务-Ingress

术语节点： Kubernetes 集群中的服务器集群： Kubernetes 管理的一组服务器集合边界路由器：为局域网和 Internet 路由数据包的路由器，执行防火墙保护局域网络集群网络：遵循 Kubernetes 网络模型实现集群内的通信的具体实现，比如 Flannel 和 Calico服务： Kubernetes 的服务 (Service) 是使用标签选择器标识的一组 Pod Service (Deployment)。除非另有说明，否则服务的虚拟 IP 仅可在集群内部访问一、内部访

2020-07-05 17:09:53 1651

原创【Elasticsearch实践】Elasticsearch为什么这么快

建议先自行学习偏基础的 Elasticsearch 知识内容：Elasticsearch基础思考几个问题：为什么搜索是近实时的？为什么文档的 CRUD (创建-读取-更新-删除) 操作是实时的?前言：ES整体架构1、集群cluster2、节点Node：就是个机器3、由一个或者多个节点，多个绿色小方块组合在一起形成一个ElasticSearch的索引4、在一个索引下，分布在多个节点里的绿色小方块称为分片：Shard5、一个分片就是一个Lucene Index6、在Luc

2020-07-03 09:40:05 4421

转载【Elasticsearch实践】（七）ES聚合搜索

【转载】ES聚合搜索案例

2020-06-27 18:15:54 423

原创【Elasticsearch实践】（五）ES搜索

一、Restful 风格说明一种软件架构风格，而不是标准，只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁，更有层次，更易于实现缓存等机制。基本Rest命令说明:methodurl地址描述PUTlocalhost:9200/索引名称/类型名称/文档id创建文档(指定id)POSTlocalhost:9200/索引名称/类型名称创建文档(随机id)POSTlocalhost:9200/索引名称/类型名称/

2020-06-26 11:38:25 365

原创【Elasticsearch实践】（六）ES搜索

一、复杂查询1.1、复杂条件搜索# 复杂条件搜索GET tindex/_doc/_search{ "query":{ "match":{ "name": "wells" } }}1.2、指定输出字段# 指定输出字段GET /tindex/_doc/_search{ "query": { "match":{ "name": "wells" } }, "_source": ["name", "age"]}1

2020-06-26 11:37:56 356

原创【Elasticsearch实践】（四）IK分词器插件

一、什么是IK分词器分词：即把一段文字（中文、英文、其他）划分成一个个的关键字，我们在搜索时候会将自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个词，比如 “我的中文名是赵四” 会被分为：“我”,“的”,“中文名”,“是”,“赵”,“四”，这显然是不符合要求的，所以我们需要安装中文分词器 ik 来解决这个问题。如果要使用中文，建议使用ik分词器，IK提供了两个分词算法：ik_smart：最少切分ik_max_word：ik_ma

2020-06-14 09:35:18 303

原创【Kubernetes详解】（三）搭建Kubernetes Dashboard

一、前言上一篇文章介绍了从零开始搭建Kubernetes集群，本文将介绍一下如何搭建K8S的Dashboard。简单的说，K8S Dashboard是官方的一个基于WEB的用户界面，专门用来管理K8S集群，并展示集群的状态。K8S集群安装好后默认没有包含Dashboard，我们需要额外创建它。Dashboard设计的还不错，界面友好，功能也比较强大。如果你厌倦了命令行的操作，全程使用Dashboard也是可行的。...

2020-06-13 22:32:09 5051 4

原创【Elasticsearch实践】（二）Elasticsearch部署

一、下载相关华为云服务器：国内下载还是比较快的Elasticsearch下载：https://mirrors.huaweicloud.com/elasticsearch/Kibana下载：https://mirrors.huaweicloud.com/kibana/注意：es与kibana一定要下载相同版本的下载时注意区分OS：linux、windows、mac(darwin)二、部署ES版本：7.6.0Kibana版本：7.6.0JDK版本：java version “1.8.0_

2020-06-11 21:36:13 286

原创【Elasticsearch实践】（一）Elasticsearch架构

待补充

2020-06-11 21:22:25 212

原创【Kubernetes详解】（一）Kubernetes架构

Kubernetes集群包含有节点代理kubelet和Master组件(APIs, scheduler, etcd)，一切都基于分布式的存储系统。下面这张图是Kubernetes的架构图。

2020-06-11 10:00:43 342

原创【Kubernetes详解】（二）从零开始搭建Kubernetes集群

一、前言在前两篇文章中，我们已经介绍了：VirtualBox搭建CentOS集群Docker安装现在，我们可以开启我们真正的K8S之旅。我们将现有的虚拟机称之为node1，用作主节点。为了减少工作量，在Node1安装Kubernetes后，我们利用VirtualBox的虚拟机复制功能，复制出两个完全一样的虚拟机作为工作节点。三者角色为：节点名节点作用node1masternode2workernode3worker二、安装Kubernetes官方文档

2020-06-08 06:50:26 1342

原创 Docker 安装

一、搭建 Linux 集群VirtualBox搭建CentOS集群二、设置 Linux 环境2.1、关闭图形界面CentOS 7 安装好后，登录时默认启用了很占资源的图形界面，若启动三个虚拟机更会卡的飞起。因此，我们可以通过如下命令切换默认的登录方式：命令模式systemctl set-default multi-user.target图形模式systemctl set-default graphical.target这里，强烈建议切换为命令模式，所有的操作都通过Xshell或者Sec

2020-06-07 20:29:28 365