simple_start的博客

原创 Redis持久化 ROD快照和AOF的 简单自我记忆

RDB快照（snapshot）AOF你可以配置 Redis 多久才将数据 fsync 到磁盘一次。 有三个选项：1 appendfsync always：每次有新命令追加到 AOF 文件时就执行一次 fsync ，非常慢，也非常安全。2 appendfsync everysec：每秒 fsync 一次，足够快，并且在故障时只会丢失 1 秒钟的数据。3 appendfsync no：从不 fsync ，将数据交给操作系统来处理。更快，也更不安全的选择。AOF重写R...

原创 mysql 中 timestamp 长度的问题

时间戳。范围是'1970-01-01 00:00:01.000000'UTC到'2038-01-19 03:14:07.999999'UTC。 TIMESTAMP值存储为自纪元（'1970-01-01 00:00:00'UTC）以来的秒数。TIMESTAMP不能代表值'1970-01-01 00:00:00'，因为它等于从历元开始的0秒，而值0保留用于表示’ 00:00 -00-00 00:00:00’，即" 0 "时间戳值。mysql 中 timestamp 设置时间不能超过 '1970-01-01.

转载 JVM 虚拟机 执行 class 字节码七个阶段：加载、验证、准备、解析、初始化、使用、卸载。

一、加载下面是对于加载过程最为官方的描述。加载阶段是类加载过程的第一个阶段。在这个阶段，JVM 的主要目的是将字节码从各个位置（网络、磁盘等）转化为二进制字节流加载到内存中，接着会为这个类在 JVM 的方法区创建一个对应的 Class 对象，这个 Class 对象就是这个类各种数据的访问入口。其实加载阶段用一句话来说就是：把代码数据加载到内存中。这个过程对于我们解答这道问题没有直接的关系，但这是类加载机制的一个过程，所以必须要提一下。二、验证当 JVM 加载完 Class 字节.

原创 SpringBoot 使用Swagger-ui get请求 date参数

@GetMapping("/select/date")@ApiImplicitParams({ @ApiImplicitParam(name = "startTime",value = "开始时间",dataType = "java.util.Date" ), @ApiImplicitParam(name = "endTime",value = "结束时间",dataType = "java.util.Date")})public void select(Date start.

原创 Springboot 统一处理异常 自己实现

软件开发过程中，不可避免的是需要处理各种异常，如何优雅的抛出异常自定义一个 异常基类继承运行时异常类 RuntimeException 让其他自定义异常继承import lombok.Data;/** * * 自定义一个 异常基类继承运行时异常类 * 让其他自定义异常继承 * @author not_simple * @version 1.0 * @date 2020/8/17 20:50 */@Datapublic class Ba...

转载 Springboot 统一异常处理 Assert @ControllerAdvice

Springboot 统一异常处理 Assert @ControllerAdvice软件开发过程中，不可避免的是需要处理各种异常，就我自己来说，至少有一半以上的时间都是在处理各种异常情况，所以代码中就会出现大量的try {...} catch {...} finally {...} 代码块，不仅有大量的冗余代码，而且还影响代码的可读性。比较下面两张图，看看您现在编写的代码属于哪一种风格？然后哪种编码风格您更喜欢？丑陋的 try catch 代码块优雅的Controller上面的.

原创 RabbitMQ 5种队列

RabbitMQ 5种队列1.简单队列生产者 - > Queue -> 消费者2.Work模式一个生产者、2个消费者。一个消息只能被一个消费者获取。轮询分发模式1、消费者1和消费者2获取到的消息内容是不同的，同一个消息只能被一个消费者获取。2、消费者1和消费者2获取到的消息的数量是相同的，一个是消费奇数号消息，一个是偶数。公平分发 （能者多劳）// 同一时刻服务器只...

原创 java8 新特性 - Optional类

Optional类 到目前为止，臭名昭著的空指针异常时导致java应用程序失败的最常见原因。以前，为了解决空指针异常，Google公司著名的Guava项目引入了Optional类，Guava通过使用检测空指针的方式来防止代码污染，他鼓励程序员写更干净的代码。收到Google Guava的启发，Optional类已经成为java 8 类库的一部分。 Optional<T>类（java.util.Optional）是一个容器类，他可以保存类型T的值，代表这个值存在。或者...

原创 java8 新特性 - Stream API

Stream API说明 java8中有两大最为重要的改变。第一个是lambda表达式；另一个则是Stream API。 Stream API（java.util.stream）把真正的函数式编程风格引入到java中。这是目前为止对java类库最好的补充，因为Steam API 可以极大的提供java程序员的生产力，让程序员写出更高效、干净、简介的代码 Stream 是 java8中处理集合的关键抽象概念，它可以指定你希望对集合进行的操作，可以执行非常复杂的查找、过滤和映射数据...

原创 java8 新特性 - 方法引用

方法引用方法引用的使用 1.使用情景:当要传递给Lambda体的操作，已经有实现的方法，可以使用方法引用 2.方法引用，本质上就是lambda表达式，而Lambda表达式作为函数式接口的实例。所以方法引用，也是函数式接口的实例 3.使用格式：类(或对象) :: 方法名 4.具体分为如下的三种情况： 情况1 对象::非静态方法 情况2 类 :: 静态方法 ...

原创 java8 新特性 - 函数式接口

函数式接口函数式接口(Functional Interface)就是一个有且仅有一个抽象方法，但是可以有多个非抽象方法的接口。函数式接口可以被隐式转换为 lambda 表达式。Lambda 表达式和方法引用（实际上也可认为是Lambda表达式）上。@FunctionalInterface 注解作用检验是否是函数式接口代码练习package com.sgl.lambda;/** * 自定义函数式接口 * *@FunctionalInterface 注解作用检验是否是..

原创 java8 新特性 - Lambda表达式

为什么使用Lambda表达式 lambda是一个匿名函数，我们可以吧Lambda表达式理解为是一段可以传递的代码（将代码像数据一样进行传递）。使用它可以写出更加简洁、更加灵活的代码。作为一种更紧凑的代码风格，是java 的语言表达能力得到了提升。package com.sgl.lambda;import org.junit.Test;import java.util.Comparator;import java.util.function.Consumer;/** * l...

原创 java 动态代理 自我学习笔记

动态代理：当想要给实现了某个接口的类中的方法，加一些额外的处理。比如说加日志，加事务等。可以给这个类创建一个代理，故名思议就是创建一个新的类，这个类不仅包含原来类方法的功能，而且还在原来的基础上添加了额外处理的新类。这个代理类并不是定义好的，是动态生成的。具有解耦意义，灵活，扩展性强。动态代理实现：首先必须定义一个接口，还要有一个InvocationHandler(将实现接口的类的对象传递给它)处理类。再有一个工具类Proxy(习惯性将其称为代理类，因为调用他的newInstance()可以产生代理对象

原创 java 反射机制 自我学习笔记

本文章只是自我学习总结与整理 https://www.bilibili.com/video/BV1Kb411W75N?p=636目录1 java反射机制概述2 理解class类并获取class实例3 类的加载与classLoader的理解4 创建运行时类的对象5 获取运行时类的完整结构6 调用运行类的制定结构1 java反射...

转载 对java封装和java反射机制之间的关系的一些理解

java的封装，个人的简单理解就是将一个类的功能暴露给外部，但是将内部实现细节隐藏起来。换个说话就是类的外部只需要知道我给你提供了哪些功能即可，关于这些功能是是如何实现的你不需要知道，也不让你知道。这就相当于一款软件，用户只需要这款软件有些什么功能，如何使用即可，具体这些功能是如何实现的，用户不需要知道也无权知道。java的封装机制就有效的在代码的编码阶段防止外部类窥探功能接口的内部原理...

转载 将jar包安装到本地Maven仓库

1、安装jar包到本地仓库mvn install:install-file -Dfile=D:\temp\rc-gateway-api-client.jar -DgroupId=cn.conac.rc.api.client -DartifactId=rc-gateway-api-client -Dversion=1.0.0 -Dpackaging=jar ...

转载 MySQL的四种事务隔离级别及分析

一、事务的基本要素（ACID）　　1、原子性（Atomicity）：事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体，就像化学中学过的原子，是物质构成的基本单位。　　2、一致性（Consistency）：事务开始前和结束后，数据库的完整性约束没有被破坏 。比如A...

转载 com.alibaba.fastjson和net.sf.json用法区别

最后总结两者区别：【1】json转换json对象net.sf.json使用：JSONObject object = JSONObject.fromObject(body);com.alibaba.fastjson： JSONObject object = JSONObject.parseObject(body);【2】json对象转换成javabean对象net.sf.json...

转载 linux redis安装以及RedisDesktopManager连接失败的情况

linux redis安装以及RedisDesktopManager连接失败的情况 linux 官网 https://redis.io/download安装官网网页底部 偷懒了* RedisDesktopManager连接失败的情况 解决方法一1 修改 配置文件redis.confbind 127.0.0.1...

原创 linux 如何查看端口占用并关闭占用端口的进程

linux 查看端口占用并如何关闭占用端口的进程查看端口netstat -tunlp查看某端口netstat -tunlp|grep 6379杀死进程 小心别 输入错了kill -9 2970...

转载 hive sql去重a,b和b,a 类型 转载他人代码 只为了记录这个问题 ，有大佬进来帮我回答下这个问题吗

转载地址：https://blog.51cto.com/darrenmemos/2175665今天我的mysql 中遇到了sql去重a,b和b,a 类型 。所以百度到了这个网站我的理解 若hex(a)>hex(b) a=嘉兴,b=富阳 成立 则hex(a) > hex(b) a=富阳,b= 嘉兴 不成立 所...

原创 文件上传(图片上传) 大小限制的配置 及注意点

文件上传(图片上传) 设置 大小 注意点 //检查文件是否为空 if (multipartFile.isEmpty()){ return "文件为空"; } //检查文件大小 2097152 =2M if(multipartFile.getSize() > 2097152) { return "文件大于2M"; } //检查是否是图...

原创 excel的导入导出 以及将数据存入到MySQL

excel的导入导出 以及将数据存入到MySQL前端代码<!DOCTYPE html><html><head> <meta charset="UTF-8"> <title>客户管理</title> <!--jqueyr--> <script src="/jq/...

转载 mysql 删除重复记录 出现的错误You can't specify target table 'dept' for update in FROM clause

查找重复试题：将上面的查询select改为delete（这样会出错的）DELETEFROM deptWHERE dname IN ( SELECT dname FROM dept GROUP BY dname HAVING count(1) > 1)会出现如下错误：[Err] 1093 - You can't specify...

转载 HttpServletRequest与ServletRequest的区别

总结1.HttpServletRequest和ServletRequest都是接口。2.HttpServletRequest继承ServletRequest。以下转载ServletRequest接口简述：在Servlet接口中的service(ServletRequest request , ServletResponse response)方法中有一个ServletRequ...

转载 mybatis+spring boot, mapper 提示Could not autowire. No beans of … type found

spring boot, maven项目，利用mybatis 注解的方式查询mysql。业务逻辑关系：controller --> Service接口 ----> serverImpl —>Dao -->DaoImpl —> mapper -->db问题：mapper提示Could not autowire. No beans of … type found...

转载 支付宝支付逻辑思路

转载 JVM的学习

一、 JVM内存区域 1. 程序计数器（PC 寄存器）：一块较小的内存空间，是当前线程所执行的字节码的行号指示器，循环、跳转、线程恢复等通过它来完成——（唯一一个不会出现OutOfMemoryError的内存区域） 2. 虚拟机栈：也叫栈内存，在线程创建时创建，线程结束时栈内存释放。每个方法被调用直到执行完毕的过程，对应帧栈在虚拟机栈的入栈和出栈的过程，这个过程遵循“先...

原创 SparkStreaming集成Kafka spark接收kafka数据的方式

SparkStreaming集成Kafka sparkStreaming从Kafka读取数据的2种方式 文档：http://spark.apache.org/docs/2.2.0/streaming-kafka-0-8-integration.html方式一：Receiver-based Approach 此方法使用Receiver接收数...

原创 Kafka 伪分布式安装

伪分布式的方式安装kafka 启动3台kafka Brokers安装过程 上传解压kafka_2.11-0.8.2.1 版本百度云 链接：https://pan.baidu.com/s/1y7e4psxpqSuonW05GurnQw提取码：cjlr注意kafka是用scala语言写的，scala的版本之间不相容，所以kafka版本之间不相容...

原创 使用决策树算法预测 随机森林回归算法 标准化 线性回归

/** * 使用决策树算法预测 * def trainRegressor( * input: RDD[LabeledPoint], * categoricalFeaturesInfo: Map[Int, Int], * An entry (n to k)ndicates that feature n is categorical ...

转载 机器学习的种类及其典型的任务

学习的种类1.监督学习（1）定义：指有求知欲的学生从老师那里获取知识、信息，老师提供对错指示、告知最终答案的学习过程。在机器学习中，计算机 = 学生，周围的环境 = 老师。（2）最终目标：根据在学习过程中获得的经验技能，对没学习过的问题也可以做出正确解答，使计算机获得这种泛化能力。（3）应用：手写文字识别、声音处理、图像处理、垃圾邮件分类与拦截、网页检索、基因诊断、股票预测等。...

原创 hbase启动后HMaster自动关闭

hbase启动后HMaster自动关闭搭建好hbase后发现，HMaster在启动后几秒内自动关闭，HRegionServer运行正常。可能是你在 之前关闭虚拟机前 ，没有将虚拟机的进程一个一个的关闭，导致配置文件出错方法将 将 指定hbase在HDFS上存储的路径删除bin/hdfs dfs -rm -r -f /hbasehbase 配置文件 hbase-s...

原创 spark job调度

整个程序sparkContext调度的 DAGScheduler DAG调度 DAG：有向无环图 每个job划分为多个stage（阶段） （a）倒推法划分 -栈 从Job的最后一个RDD向前推依赖关系 (b)判定子RDD和父RDD之间的依赖关系 宽...

原创 spark学习day（一）

spark的介绍spark框架是如何处理数据的Hadoop MapReduce框架 并行计算的思想、 分而治之的思想scala集合高阶函数 处理数据的思想 将 要分析的数据放到集合中去，然后调用集合的高阶函数处理数据spark是什么...

原创 Scala里面如何使用break和continue

break val arr=Array(11,22,33,44,55,6) val loop= new Breaks() loop.breakable{ for (item<-arr){ println(s"value of is $item") if(item==33) loop.break() ...

转载 eclipse+maven生成web项目的war包的操作方法

通过这个方法来打war包最大的好处就是能够过滤掉一些自己的无关代码，如测试代码，但是使用此方法就要求各方面都要符合maven的标准格式，例如pom.xml的配置。一、eclipse中，在需要打包的项目名上右击，然后把鼠标光标指向弹出框中的“run as”：二、之后会看到在这个弹出框的右侧会出现一个悬浮窗，如下：三、在上边的第二个悬浮窗鼠标点击“maven c...

原创 zookeeper的安装（单机）（伪分布式）

zookeeper的安装（单机）上传解压修改配置文件mv zoo_sample.cfg zoo.cfg dataDir=/opt/cdh5.7.6/zookeeper-3.4.5-cdh5.7.6/data/zkData启动./zkServer.sh start查看进程jpsps -ef |grep java查询状态方式 ...

原创 hadoop，hive，MapReduce，调度器，项目总结及性能优化

hadoop 的性能优化MapReduce调度器MapReduce中实现joinMapReduce Joinmap join：适合小文件和大文件的join Join过程发生在Map端 每个Map task都可以直接读取到小文件内容 与大文件的每一个块进行join. 分布式join...

原创 flume中3大高级组件，Flume Interceptors：拦截器，Flume Channel Selectors ：选择器 ，Flume Sink Processors（sink的处理器）

flume中3大高级组件Flume Interceptors：拦截器，与Spring中拦截器是类似功能：通过拦截器对每条数据进行过滤护着包装Timestamp Interceptor：时间拦截器在每一个event的头部添加一个KeyValue key: timestamp value:当前封装event的时间# The configurati...