ganjing222的博客

原创 mysql8通过binlog恢复数据

【代码】mysql8通过binlog恢复数据。

原创 Kafka知识点思维导图

转载 全网最全 | MySQL EXPLAIN 完全解读

对于MyISAM表，key的缓存大小由名为key_buffer_size的系统变量控制，详见。表示先按条件过滤索引，过滤完索引后找到所有符合索引条件的数据行，随后用 WHERE 子句中的其他条件去过滤这些数据行。该索引将需要500,000 * 7 * 3/2 = 5.2MB的存储空间（假设典型的索引缓存的填充率是2/3），因此你可以在内存中存放更多索引，可能只要一到两个调用就可以找到想要的行了。展示当前查询可以使用哪些索引，这一列的数据是在优化过程的早期创建的，因此有些索引可能对于后续优化过程是没用的。

转载 七种常见分布式事务详解（2PC、3PC、TCC、Saga、本地事务表、MQ事务消息、最大努力通知）

此时，参与者都会在等待超时之后，继续执行事务提交。但是最大努力通知，事务主动方仅仅是尽最大努力（重试，轮询....）将事务发送给事务接收方，所以存在事务被动方接收不到消息的情况，此时需要事务被动方主动调用事务主动方的消息校对接口查询业务消息并消费，这种通知的可靠性是由事务被动方保证的。2PC，两阶段提交，将事务的提交过程分为资源准备和资源提交两个阶段，并且由事务协调者来协调所有事务参与者，如果准备阶段所有事务参与者都预留资源成功，则进行第二阶段的资源提交，否则事务协调者回滚资源。

转载 （转载）Nginx——Nginx主从，双主高可用架构实战

vrrp_script模块参数告诉 keepalived 在什么情况下切换，所以尤为重要。可以有多个 vrrp_scriptscript ： 自己写的检测脚本。也可以是一行命令如killall -0 nginxinterval 2： 每2s检测一次weight -5 ： 检测失败（脚本返回非0）则优先级 -5fall 2： 检测连续 2 次失败才算确定是真失败。会用weight减少优先级（1-255之间）rise 1 ： 检测 1 次成功就算成功。

原创 linux下docker搭建mysql8

查看docker日志 docker logs -f -n 1000 mysql 查找是什么问题。3.1 在/usr/mysql8/conf/下创建my.cnf配置文件。3.3 在重启的时候可能会遇到mysql启动不起来的问题。docker ps(这里有可能容器没有运行成功)2.5 查询容器是否创建成功。2.3 创建挂载的目录文件。2.4 创建mysql容器。3.2 重启docker。2.2 查询镜像拉取成功。安装docker环境。

原创 linux(centos7)mysql8.0主从集群搭建(两台机器)

docker cp 容器id:/etc/mysql/my.cnf ./docker cp ./my.cnf 容器id:/etc/mysql。除了server-id=2为之外，其他的步骤跟主数据库一样。将容器中的mysql配置文件my.cnf复制到宿主机。主数据库服务器：192.168.1.10。将编辑好的my.cnf配置文件放回容器中。2.1在主数据库上创建docker容器。2.2在从数据库上创建docker容器。docker restart 容器id。重启mysql主容器。

原创 docker安装kafka单机详细步骤

2.1: 拉取zookeeper的镜像，并运行。2.拉取zookeeper和kafka的镜像。3.验证kafka，发送kafka消息。2.2 拉取kafka镜像并运行。1: 安装docker环境。

转载 Docker Compose 安装

这里先贴出来我的docker版本（24.0.2），官网现在推荐使用compose V2了，版本太低也可以使用，但是V1将不会更新了。为系统上的所有用户使用 Docker Compose，将 ~/.docker/cli-plugins 替换为 /usr/local/lib/docker/cli-plugins。不同版本的 Compose，将v2.19.1替换为要使用的 Compose 版本。如图，在官网上可以看到，安装，单机版安装，卸载3个目录。对于不同的架构，请将x86_64替换为想要的架构。

转载 （转载）centos7安装Docker详细步骤（无坑版教程）

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo（阿里仓库）yum-config-manager --add-repo http://download.docker.com/linux/centos/docker-ce.repo（中央仓库）1.安装需要的软件包， yum-util 提供yum-config-manager功能，另两个是devicemapper驱动依赖。

原创 SharedingJDBC4.0实现按月分片demo

这里实现了按月分表的新增，修改和范围查询功能，没有实现分库功能。

原创 nginx 主动健康检查搭建详解(nginx_upstream_check_module)

版本信息。

转载 (转载)mysql大数据量导入(LOAD DATA INFILE)

A) 如果是指定了local，则数据从客户端读取，文档中的说法是会在服务端的临时目录下创建一份文件的copy，但我在测试的时候并没有发现，如果file_name中是绝对路径就不用解释，如果是相对路径，则文件的位置应该是在客户端程序启动的位置，所以为了保险，一般使用绝对路径。如果指定了,那么,当前的数据跟表中的数据有惟一性冲突的时候，采用什么样的方式，是替换已有还是忽略当前。这是个非常重要的关键字，指明了文件的位置，简单的说，如果指定了local，则表示文件位于客户端，如果没有，则表示文件在Server端。

转载 分布式集群MinIo搭建

1、分布式MinIO所有节点是通过MINIO_ROOT_USER和MINIO_ROOT_PASSWORD两个参数相互连接和信任，为此，建议在执行MinIO server命令前，为所有节点设置环境变量MINIO_ROOT_USER和MINIO_ROOT_PASSWORD。例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服务器器宕机，这个集群仍然是可读的，不过你需要9台服务器才能写数据。5、建议所有运行分布式MinIO设置的节点都是同构的，即相同的操作系统、相同的硬盘数量和相同的网络互连。

原创 详解tomcat的连接数与线程池

一、总论根据http://lucene.apache.org/java/docs/index.html定义："Apache Lucene(TM) is a high-performance, full-featured text search engine library written entirely in Java. It is a technology suitable for nearly any application that requires full-text search,...

转载 java 泛型详解-绝对是对泛型方法讲解最详细的，没有之一

对java的泛型特性的了解仅限于表面的浅浅一层，直到在学习设计模式时发现有不了解的用法，才想起详细的记录一下。本文参考java 泛型详解、Java中的泛型方法、java泛型详解1. 概述泛型在java中有很重要的地位，在面向对象编程及各种设计模式中有非常广泛的应用。什么是泛型？为什么要使用泛型？泛型，即“参数化类型”。一提到参数，最熟悉的就是定义方法时有形参，然后调用此方法时传递实参。那么参数化类型怎么理解呢？顾名思义，就是将类型由原来的具体的类型参数化，类似于方法中的变量参数，..

转载 免费抠图神器！五秒在线搞定抠图

Allenzyg2020-08-06 13:31:0395收藏分类专栏：Photoshop文章标签：photoshop版权第一款：remove.bg（2018年）网站链接：https://www.remove.bg/详细介绍参考：5秒自动抠图！可能是2018年最强大的去背景神器！第二款：StickerMule（2019年）网站链接：https://www.stickermule.com/trace详细介绍参考：一键去背景！这个新的免费在线抠图神器太...

转载 (转载)MySQL 主从架构原理

MySQL 主从架构原理一. 主从架构基本原理上图展示的是 MySQL 的主从切换流程。在 State-1 中，客户端的读写都直接访问节点 A，而节点 B 是 A 的备库，只是将 A 的更新都同步过来，到本地执行。这样可以保持节点 B 和 A 的数据是相同的。当需要切换的时候，就切成状态 2。这时候客户端读写访问的都是节点 B，而节点 A 是 B 的从库。在主从架构下，建议把从库设置为 Read-Only 模式，这样做有以下几个考虑：有时候一些运营类的查询语句会被放到备库上去查，设置为只

转载 【躲不过的Java “锁事”】一文扫除对Java各种锁的困扰！

详情预备知识：初识锁的种类，和各种概念名词锁的种类从各种锁的设计，抽象出的概览思想可以分为 悲观锁 和 乐观锁根据线程获取锁的抢占机制，和锁的公平性又可以分为公平锁 和 非公平锁。从根据锁是否重复获取可以分为 可重入锁 和 不可重入锁根据锁能否被多个线程持有，可以把锁分为独占锁(排他锁)和共享锁。根据Synchronized锁升降级的状态可以分为 偏向锁 / 轻量级锁 / 重量级锁从资源已被锁定，获取锁的阻塞装填可以分为 自旋锁从对使用锁的粒度设计而言可以分为 分段锁概念名词AQS (

原创 spring事务的传播特性

spring事务的传播特性1：什么是事务的传播特性。事务的传播特性是在事务在多个方法的调用中是如何传递的，是重新创建事务还是使用父方法的事务？父方法的回滚对子方法的事务是否有影响？这些都是可以通过事务传播机制来决定的。2：事务的传播特性类别支持当前事务的情况：TransactionDefinition.PROPAGATION_REQUIRED： 如果当前存在事务，则加入该事务；如果当前没有事务，则创建一个新的事务。 TransactionDefinition.PROPAGATION_SU

转载 TCP和Udp的区别是什么？

作者：伴月飞鸟链接：https://www.zhihu.com/question/47378601/answer/276353285来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。OSI 和 TCP/IP 模型在传输层定义两种传输协议：TCP（或传输控制协议）和 UDP（或用户数据报协议）。UDP：UDP 与 TCP 的主要区别在于 UDP 不一...

转载 mysql之TIMESTAMP（时间戳）用法详解

timestamp数据类型是一个比较特殊的数据类型，他可以自动在你不使用程序更新情况下只要你更新了记录timestamp会自动更新时间.通常表中会有一个Create date 创建日期的字段，其它数据库均有默认值的选项。MySQL也有默认值timestamp，但在MySQL中，不仅是插入就算是修改也会更新timestamp的值！这样一来，就不是创建日期了，当作更新日期来使用比较好！...

转载 (转载)mysql锁机制详解

原文转载地址:https://www.cnblogs.com/volcano-liu/p/9890832.html前言　　大概几个月之前项目中用到事务，需要保证数据的强一致性，期间也用到了mysql的锁，但当时对mysql的锁机制只是管中窥豹，所以本文打算总结一下mysql的锁机制。　　本文主要论述关于mysql锁机制，mysql版本为5.7，引擎为innodb，由于实际中关于inno...

转载 （转载）MySQL索引底层实现原理

MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。提取句子主干，就可以得到索引的本质：索引是数据结构。我们知道，数据库查询是数据库的最主要功能之一。我们都希望查询数据的速度能尽可能的快，因此数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法当然是顺序查找（linear search），这种复杂度为O(n)的算法在数据量很大时显然是糟糕的，好在计...

原创 理解Zookeeper的Leader选举过程

选择机制中的概念serverId（服务器ID 既 myid） 比如有三台服务器，编号分别是1,2,3。 编号越大在选择算法中的权重越大。 zxid（最新的事物ID 既 LastLoggedZxid） 服务器中存放的最大数据ID。 ID值越大说明数据越新，在选举算法中数据越新权重越大。 epoch （逻辑时钟 既 PeerEpoch） 每个服务器都会...

原创 (转载)使用redis实现分布式锁

最近在项目中遇到了类似“秒杀”的业务场景，在本篇博客中，我将用一个非常简单的demo，阐述实现所谓“秒杀”的基本思路。业务场景所谓秒杀，从业务角度看，是短时间内多个用户“争抢”资源，这里的资源在大部分秒杀场景里是商品；将业务抽象，技术角度看，秒杀就是多个线程对资源进行操作，所以实现秒杀，就必须控制线程对资源的争抢，既要保证高效并发，也要保证操作的正确。一些可能的实现刚才提到过，实现秒杀...

转载 redis集群模式

redis的三种集群方式redis有三种集群方式：主从复制，哨兵模式和集群。1.主从复制主从复制原理：从服务器连接主服务器，发送SYNC命令； 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令； 主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令； 从服务器收到快照文件后丢...

转载 分布式事务-本地消息表实现方案

分布式事务-本地消息表实现方案2019年02月27日 16:09:02shine0312阅读数 274一、背景用单下单的时候需要先锁库存，然后再生成订单，库存所在的库和订单是两个库，这里就涉及到了分布式事务的处理，下面说下两种解决方案吧二、方案1、定时任务+本地消息表这种方案还有一个优化点就是：可以去掉消息的定时任务，然后就是在生成订单的事务中如果失败，那么就再...

转载 分布式事务之tcc补偿事务和基于可靠消息的分布式事务

之前网上看到很多写分布式事务的文章，不过大多都是将分布式事务各种技术方案简单介绍一下。很多朋友看了还是不知道分布式事务到底怎么回事，在项目里到底如何使用。所以这篇文章，就用大白话+手工绘图，并结合一个电商系统的案例实践，来给大家讲清楚到底什么是 TCC 分布式事务。首先说一下，这里可能会牵扯到一些 Spring Cloud 的原理，如果有不太清楚的同学，可以参考之前的文章：《拜托，面试请不...

转载 负载均衡基础知识

负载均衡基础知识原文地址:https://www.cnblogs.com/danbing/p/7459224.html一、什么是负载均衡？　互联网早期，业务流量比较小并且业务逻辑比较简单，单台服务器便可以满足基本的需求；但随着互联网的发展，业务流量越来越大并且业务逻辑也越来越复杂，单台机器的性能问题以及单点问题凸显了出来，因此需要多台机器来进行性能的水平扩展以及避免单点故障。但是要如何...

转载 离不开的微服务架构，脱不开的RPC细节（值得收藏）！！！

服务化有什么好处？服务化的一个好处就是，不限定服务的提供方使用什么技术选型，能够实现大公司跨团队的技术解耦，如下图所示：服务A：欧洲团队维护，技术背景是Java服务B：美洲团队维护，用C++实现服务C：中国团队维护，技术栈是go服务的上游调用方，按照接口、协议即可完成对远端服务的调用。但实际上，大部分互联网公司，研发团队规模有限，大都使用同一套技术体系来实现服务：这样的话，如果没有...

转载 MyCat | 分库分表实践(windows下实现)

引言先给大家介绍2个概念：数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。切分模式一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切可以称之为数据的垂直（纵向）切分；另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。垂直切分的最大特点就是规则简单...

转载 分布式事务(1)

前言最近很久没有写博客了，一方面是因为公司事情最近比较忙，另外一方面是因为在进行 CAP 的下一阶段的开发工作，不过目前已经告一段落了。接下来还是开始我们今天的话题，说说分布式事务，或者说是我眼中的分布式事务，因为每个人可能对其的理解都不一样。分布式事务是企业集成中的一个技术难点，也是每一个分布式系统架构中都会涉及到的一个东西，特别是在微服务架构中，几乎可以说是无法避免，本文就分布式事...

原创 Spring Boot + Redis 实现Shiro集群

 　　为实现Web应用的分布式集群部署，要解决登录session的统一。本文利用shiro做权限控制，redis做session存储，结合spring boot快速配置实现session共享。　　1、引入相关依赖 <dependency> <groupId>org.springframework.boot</gr...

转载 shiro授权

shiro授权本文介绍授权流程授权方式授权测试自定义授权realm授权流程开始构造SecurityManager环境subject.isPermitted()授权securityManager.isPermitted()执行授权Authorizer执行授权Realm根据身份获取资源权限信息结束授权方式Shiro支持三种方式的授权：编程式：通过写if/else授权...

转载 (转载)Zookeeper实现分布式应用系统服务器上下线动态感知

来到一家新公司，要求做zookeeper注册中心的服务器上线下线的动态感知。结果把要求看成了zookepper注册中心的动态感知。哎，好尴尬呀！结果看到这篇文章我才恍然大悟。讲的也很细致！特发表一篇文章做为收藏。我们现在有一个分布式应用系统提供服务，服务器有很多台，服务器根据我们的负载会增加或减少，这样服务器就会有动态上下线的情况。这样我们的客户端怎么知道我们的服务器有哪几天，服务器宕机我们怎...

转载 HashMap 的实现原理

HashMap 的实现原理HashMap 概述HashMap 是基于哈希表的 Map 接口的非同步实现。此实现提供所有可选的映射操作，并允许使用 null 值和 null 键。此类不保证映射的顺序，特别是它不保证该顺序恒久不变。此实现假定哈希函数将元素适当地分布在各桶之间，可为基本操作（get 和 put）提供稳定的性能。迭代 collection 视图所需的时间与 HashMap 实例的“容量”...