coley-wu-CSDN博客

原创 Mysql锁详解

01 | Mysql事物1.1 ACID原子性（Atomicity）：事务是一个原子操作单元，对数据的修改，要么全都执行，要么全都不执行。一致性（Consistency）：指的是事务开始之前和事务结束之后，数据库的完整性限制未被破坏。一致性包括两方面的内容，分别是约束一致性和数据一致性。隔离性（Isolation）：指的是一个事务的执行不能被其他事务干扰，即一个事务内部的操作及使用的数据对其他的并发事务是隔离的。持久性（Durability）：指的是一个事务一

2020-08-04 09:20:32 189

原创 Mysql索引详解

索引可以极大的提升Mysql的数据检索速度，类似于书籍的目录，可以根据目录的章节标题快速定位到书中的内容。但索引在提高查询速度的同时需要额外的存储成本和维护成本，会降低对表更新操作的速率。01 | 索引类型1.1 普通索引最基本的索引类型，基于普通字段建立的索引，没有任何限制。1.2 唯一索引在普通索引的基础上，要求字段值必须唯一，但允许NULL值1.3 主键索引特殊的唯一索引，不允许NULL值且一个表只能有一个主键1.4 复合索引1.5 全文索引...

2020-07-30 09:24:59 244

原创 Docker搭建MHA环境

MHA环境搭建01 | 基础环境准备# 1. 安装docker（for mac）# 其他版本国内镜像下载 http://mirrors.ustc.edu.cn/docker-ce/brew cask install docker# 2. 获取centos镜像docker pull ansible/centos7-ansible# 3. 查看镜像docker images REPOSITORY TAG IMAGE

2020-07-29 09:06:23 1629 2

原创 InnoDB存储引擎

文章内容输出来源：拉勾教育Java高薪训练营；01 | InnoDB存储结构1.1 InnoDB内存结构（In-Memory Structures）1.1.1 Buffer Pool：缓冲池目的：避免频繁的随机IO读写影响数据库性能。InnoDB存储数据，都是存放在表空间中，表空间实际对应着一个或者几个实际文件，访问数据时，InnoDB只能以Page页（默认16K）为单位进行读写，InnoDB通过Buffer Pool把加载进入内存的页缓存起来，避免立即释放，从而减少磁盘IO操作，提升效率。

2020-07-14 10:26:46 242

原创 Mysql架构原理

01 | Mysql逻辑架构网络连接层客户端连接器：提供与Mysql服务器监理连接的支持。各个语言使用各自的API技术与MySQL建立连接。服务层服务层是MySQL的核心，主要包含以下六个部分：连接器：管理连接，权限验证系统管理和控制工具：提供备份恢复、安全管理、集群管理等功能。SQL接口：接收客户端发送的各种SQL命令，并且返回用户需要查询的结果。比如DML、DDL、存储过程、视图、触发器等。解析器：查询优化器：当“解析树”通过解析器语法检查后，将交由优化器将其转换成执行计划，然后

2020-07-07 21:49:47 336

原创 Docker基本概念

Docker基本概念镜像容器仓库Docker镜像Docker 镜像是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的一些配置参数（如匿名卷、环境变量、用户等）。镜像不包含任何动态数据，其内容在构建之后也不会被改变。镜像只是一个虚拟的概念，其实际体现并非由一个文件组成，而是由一组文件系统组成，或者说，由多...

2018-08-23 16:02:54 250

原创 CentOS7.3安装最新版Docker无法启动

官方安装手册方式一：yum install docker-ce默认安装最新稳定版本，当前最新稳定版本为：18.06.1.ce-3.el7 方式二：使用转包的方式进行安装，下载地址：HTTPS：//download.docker.com/linux/centos/7/x86_64/stable/Packages/yum install /path/to/package....

2018-08-23 14:39:04 860

原创软件七大设计原则

开闭原则对拓展开发，对修改关闭；用抽象构建框架，用实现拓展细节；优点：提高软件系统的可复用性和可维护性；依赖倒置原则高层模块不应该依赖底层模块，二者都应该依赖其抽象；抽象不应该依赖细节，细节应该依赖抽象；针对接口编程，不要针对实现编程；优点：可以减少类间的耦合性、提系统稳定性，提高代码可读性和可维护性，可降低修改程序所造成的风险；单一职责原则不要...

2018-08-20 15:50:50 269

原创 Spring Boot 一分钟拥有支付宝支付功能

创建Spring Boot项目并添加如下引入依赖 <dependency> <groupId>white.fisher</groupId> <artifactId>alipay-starter</artifactId> <versio...

2018-07-25 18:01:40 4186 2

原创 SpringBoot自定义Starter

一、创建stater项目创建一个maven项目并在pom中引入Spring依赖&amp;lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&amp;gt;&amp;lt;project xmlns=&quot;http://maven.apache.org/POM/4.0.0&quot

2018-06-15 14:21:48 815

原创设计模式

一、创建型创建对象的同时隐藏创建逻辑1. 工厂模式2. 单例模式3. 建造者模式4. 原型模式二、结构型关注类和对象的结合1. 适配器模式2. 桥接模式3. 过滤器模式4. 组合模式5. 装饰器模式6. 外观模式7. 享元模式8. 代理模式三、行为型关注对象之间的通信1. 责任链模式...

2018-06-13 15:44:03 229

原创 ffmpeg安装（linux-centos）

官网下载ffmpeg源码包ffmpeg-xxx.tar.bz2，下载地址解压bz2安装包tar -xjvf ffmpeg-3.3.1.tar.bz2如果缺少bzip2包需要先安装yum install -y bzip2编译cd ffmpeg-xxx/./configure --enable-shared --prefix=/app/ffmpeg编译可能错...

2018-04-24 11:17:06 1415

原创 Spark整合Mongodb

环境准备 mongodb下载解压安装启动mongodb服务$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log pom依赖 <dependency> <groupId>org.mongodb.spark</groupI

2017-11-13 18:14:36 5042

原创 Spark源码无法下载

官方源码下载地址选择版本，选择源码如图：下载连接依然指向的是编译好的二进制文件。F12 Spark官网的js竟然报错了 = _ =!!。还好官网源码提供了下载路径 https://archive.apache.org/dist/spark/

2017-11-06 17:54:28 2238 1

原创 Spark Programming Guide(五)

RDD PersistenceOne of the most important capabilities in Spark is persisting (or caching) a dataset in memory across operations. When you persist an RDD, each node stores any partitions of it that it c

2017-09-26 09:39:02 475

原创 Spark Programming Guide(四)

Shuffle operationsCertain operations within Spark trigger an event known as the shuffle. The shuffle is Spark’s mechanism for re-distributing data so that it’s grouped differently across partitions. Th

2017-09-23 12:03:46 518

原创 Spark Programming Guide(三)

Working with Key-Value PairsWhile most Spark operations work on RDDs containing any type of objects, a few special operations are only available on RDDs of key-value pairs. The most common ones are dis

2017-09-22 10:36:56 551

原创 Spark Programming Guide(二)

spark中文文档 Spark Programming Guide(二)

2017-09-19 15:58:53 902

原创 Spark官方文档翻译：Spark Programming Guide(一)

spark中文文档

2017-09-06 11:54:10 935

原创 Spark官方文档翻译：Quick Start

Spark中文文档

2017-09-05 12:46:11 1204

原创 Spark入门（七）：Spark运行时架构

在一个 Spark 集群中，有一个节点负责中央协调，调度各个分布式工作节点。这个中央协调节点被称为驱动器（Driver）节点，与之对应的工作节点被称为执行器（executor）节点。驱动器节点可以和大量的执行器节点进行通信，它们也都作为独立的 Java 进程运行。驱动器节点和所有的执行器节点一起被称为一个 Spark 应用（application）。一、Spark驱动程序Spark 驱动器是执行

2017-08-24 16:08:08 566

原创 Spark入门（六）：共享变量（累加器和广播变量）

1.共享变量1.1累加器对信息进行聚合，常见用途是在调试时对作业执行过程中的时间进行计数使用过程通过在驱动器中调用 SparkContext.accumulator(initialValue) 方法，创建出存有初始值的累加器。返回值为 org.apache.spark.Accumulator[T] 对象，其中 T 是初始值 initialValue 的类型。park闭包里的执行器代码可以使

2017-08-16 10:18:05 662

原创 Spark入门（五）：键值对RDD

1.创建PairRDD普通RDD转Pair RDDval rdd = sc.parallelize(Array("java","scala"))rdd.foreach(println)//java//scalaval pairRdd = rdd.map(w => (w,"编程语言"))pairRdd.foreach(print)//(java,编程语言)//(scala,编程语言)2

2017-08-14 16:30:24 1057

原创 Spark入门（四）：RDD基本操作

1.RDD转换RDD的所有转换操作都不会进行真正的计算1.1单个RDD转换操作# 创建测试RDDval rdd = sc.parallelize(Array("hello world","java","scala easy"))# 1.map():遍历RDD中的每个元素，将返回值构成新的RDD，返回值类型可和原RDD不一致val mapRdd = rdd.map(x => "map:"+x)m

2017-08-14 10:29:34 2600

原创 Spark入门（三）：RDD概述

1.RDD概述Spark 对数据的核心抽象—弹性分布式数据集（Resilient Distributed Dataset，简称 RDD）1.1 不可变RDD是一个不可变的分布式对象集合，一旦创建便不能修改。1.2 分区每个RDD都可被分为多个分区，分布在不同的节点机器之上1.3 转换（transformation）转化操作会由一个 RDD 生成一个新的 RDD，从已有的RDD派生出新的RDD,S

2017-08-12 22:39:28 614

原创 Spark入门（二）：打包程序、提交任务到集群

1.环境工具1.1环境系统 centos jdk 1.8.0_144 scala 2.11.8 hadoop 2.7.3 spark 2.1.01.2打包工具IDEA + sbt2.打包2.1安装插件需要预先安装scala插件，点击File ->Setting ->Plugins ->输入框输入scala->install 安装完成需要重启IDE2.2创建

2017-08-11 16:07:43 2225

原创 Spark入门（一）：核心概念简介

1.Spark核心概念简介1.1程序驱动器每个 Spark 应用都由一个驱动器程序（driver program）来发起集群上的各种并行操作。驱动器程序包含应用的 main 函数，并且定义了集群上的分布式数据集，还对这些分布式数据集应用了相关操作。驱动器程序通过一个 SparkContext 对象来访问 Spark。这个对象代表对计算集群的一个连接。使用Scala初始化Spark

2017-08-11 15:22:06 591

原创 Hadoop伪分布式环境搭建

一、环境准备 1、Linux 2、JDK1.8 3、hadoop-2.7.3 jdk和hadoop的安装都比较简单，这里不再赘述二、Hadoop配置 hadoop安装完成后，配置文件在/etc/hadoop目录下，搭建伪分布式环境需要修改5个配置文件 1、hadoop.env.sh vim hadoop.env.sh export JAVA_HOME=/usr/java/jdk1

2017-08-05 10:58:56 311

原创 Spring boot使用Redis集群替换mybatis二级缓存

pom.xml添加相关依赖<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.1.RELEASE</version></parent>

2017-03-16 13:46:49 5598 5

原创 Spring Data REST入门（四）：自定义查询

Spring Data REST入门（一） Spring Data REST入门（二） Spring Data REST入门（三）一、自定义查询方法通常会有这样的需求，根据给定的字段查找相应表中的数据对象。比如在前几篇博客中定义的User实体来，需要一个按照name值查到与之对应的数据对象返回，只需要在UserRopository中定义如下代码： /** * 根...

2017-01-08 22:42:01 11210 6

原创 Spring Data REST入门（三）：自定义配置

Spring Data REST入门(一)：两行代码搞定RESTFul Spring Data REST入门(二)：环境搭建+实战演练一、基础配置 Spring Data REST的基础配置定义在RepositoryRestConfiguration（org.springframework.data.rest.core.config.RepositoryRestConfigurat...

2017-01-06 16:46:12 16191 5

原创 Spring Data REST入门（二）

Spring Data REST（一）：两行代码搞定RESTFul 一、环境搭建创建Maven项目，添加相应依赖 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent...

2017-01-06 11:07:22 13484 1

原创 Spring Data REST入门（一）

Spring Data REST入门（一） Spring Data REST入门（二） Spring Data REST入门（三） Spring Data REST入门（四）什么是Spring Data REST Spring Data REST是基于Spring Data的repository之上，可以把 repository 自动输出为REST资源，目前支持Spring Data...

2017-01-05 23:45:28 47668 13

原创 Spring Boot起步依赖源码分析（二）

Spring Boot起步依赖源码分析（一）上次说到EnableAutoConfigurationImportSelector.getCandidateConfigurations方法导入了META-INF/spring.factories配置文件，把配置信息封装到了一个List集合中，接下来看下这个方法在什么地方呗调用，这里交大家一个eclipse看源码的小技巧，在方法名上右键然后选择Open

2016-12-22 13:48:34 2553 1

原创 Spring Boot起步依赖源码分析（一）

这里我们搭建一个简单的spring boot web应用 maven依赖 pom.xml <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.4.2.RELEASE

2016-12-21 23:44:49 9746

原创 3分钟快速搭建Spring Boot开发环境

一、创建一个Maven项目二、打开Spring Boot官网，找到quick start Spring boot quick start 当前稳定版本为1.4.2，把相关依赖copy到pom.xml中 copy官方hello world到项目中右键运行Run as 运行main方法如看到控制台输出上图spring标志，那么恭喜你的第一spring boot项目已经成功运行

2016-12-14 14:43:08 8882 1

原创当Spring遇见MongoDB，五分钟搞定CRUD

一、引入相关依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> </dependency> <depende

2016-12-13 12:12:55 994

原创 MongoDB十分钟搞定CRUD

一、环境准备 MongoDB环境安装参照 MongoDBWindows平台安装二、创建项目，添加MongoDB驱动依赖Jar<dependency> <groupId>org.mongodb</groupId> <artifactId>mongo-java-driver</artifactId> <version>3.4.0</version></dependenc

2016-12-12 17:23:16 2734

原创 Spring+SpringMVC+Redis

搭建Redis环境 Redis github下载地址 CSDN资源下载地址目前官方推荐的最新稳定版本为3.2.1 下载之后直接解压得到以下目录结构点击redis-server.exe即可启动Redis数据库看到如下截图，Redis即启动成功搭建spring环境添加springmvc需要的依赖包 <dependency> <gro

2016-12-09 16:43:59 4498 2

原创源码有毒：JFinal源码解析之验证码

JFinal自动集成了验证码模块，使用起来也非常简单后台Controllerpublic class UserController extends Controller{ private static final String FORM_ITEM_CODE = "code"; /** * 返回验证码 */ public void code(){

2016-10-15 15:02:28 2050 6