勤劳的代码搬运工-CSDN博客

原创 Springboot自动装配的原理

springboot在日常开发中减少了我们许多工作量减少了很多XML配置，这都得益于springboot自动装配的特性。那么springboot是如何实现自动装配的呢？首先我们浅显得介绍一些 springboot的一些主要注解：@Configuration 用于声明定义bean 这也是springboot 中的主要注解其实就是平常Spring配置文件中我们写的bean@EnableAutoConfiguration 用来开启springboot自动配置的注解，这个也是自动装...

2020-08-15 22:09:04 21666 6

原创 Kafka的消息确认及ISR队列

Kafka的消息确认方式有3中，可以在生产者的配置文件中配置： ##0：不保证消息的到达确认，只管发送，低延迟但是会出现消息的丢失，在某个server失败的情况下，有点像 TCP ##1：发送消息，并会等待leader 收到确认后，一定的可靠性 ## -1：发送消息，等待leader收到确认，并进行复制操作后，才返回，最高的可靠性request.required.acks =0 kafka的ISR队列，在leader的节点维护的一个follower列表根据配置文件的参数会把满.

2020-10-19 09:25:24 713

原创 Flume+Kafka+Spark Streaming打造企业大数据流处理平台（2）

Kafka大数据消息队列：什么是kafka：kafka是Apache下一款支持分布式的高吞吐持久性的消息队列kafka的特点：1、高吞吐2、持久性3、分布式kafka 集群可以部署在多个服务器支持分布式部署kafka 每天记录由key-value 和时间戳组成kafka的核心API：1、生产者2、消费者3、连接器4、流处理器kafka的架构：1、生产者: Producer：2、消费者 :Consumer3、broker :节点负责创建主体TOPIC 将接收到消息

2020-10-16 10:35:20 243

原创 Flume+Kafka+Spark Streaming打造企业大数据流处理平台（1）

Flume：Flume的核心组件1:source 收集（HDFS source ）指定数据来源，有kafka spooling指定文件目录 netCat指定端口自定义source2:channel 聚集通道，类似一个缓冲池数据临时存储 filechannel memorychannel kafkachannel3:sink 输出将数据输出到指定的地方入HDFS Mysql kafka等Flume的配置1:配置source指定节点a的sourcea.source

2020-10-14 14:38:54 253

原创 JVM调优参数

堆配置：-Xmn:初始堆内存-Xmx:最大堆内存-XX:NewSize: 年轻代大小-XX:NewRadio:年轻代和老年代比值-XX:SuvivorRatio:年轻代中eden 和suvivor的比例-XX:MaxPermSize:持久代大小注意：堆初始大小和最大堆内存大小建议设置一样不然会频繁GC 影响性能，一般不能太大，太大会导致回收慢。GC收集器配置：-XX:+UserSerialGC :串行GC-XX:+UserParalleGC:并行gc-XX.

2020-10-13 08:44:55 253

原创 ActiveMQ的事务与签收

ActiveMQ的事务：当使用MQ时，可以通过Connection创建多个Session上下文，创建Session时有两个参数Session createSession(boolean transacted, int acknowledgeMode);参数1：是否开启事务布尔型 true/false参数2：签收模式自动签收和手动签收如果参数一是true ,则表示开启了事务发送消息的业务执行完后，需要调用commit()方法提交 ,否则MQ将接收不到消息、session.comm

2020-09-28 08:47:56 247

原创 springboot 文档根元素 “mbeans-descriptors“ 必须匹配 DOCTYPE 根 “null“

debug一路寻找，发现扫描xml文件的时候扫描到了mbeans-descriptor.xml文件而错误信息里有xian显示这个文件有问题。怀疑是map扫描路径配置错误：原来的配置路径：mybatis: mapper-locations: - classpath*:com/**/mapper/*.xml修改后mybatis: mapper-locations:classpath:/com/**/mapper/*.xml...

2020-09-23 14:30:42 1220 1

原创 ActiveMQ的重发策略和死信队列

什么情况下会触发消息重发：1.在事务中调用rollback();2.在提交事务之前，关闭了session；3.ack签收情况下，客户端没有回应；4.ack签收时，调用了recover()方法；消息重发的参数：1.maximumRedeliveries 重试次数超出次数进入死信队列2.redeliveryDelay 重发延迟时间3.initialRedeliveryDelay：开启重发延迟时间4.useCollisionAvoidance :防冲突开启默认false5.backO

2020-09-22 13:53:35 522

原创线程和各种各样线程池的使用

创建线程：创建线程有3中方式：继承Thread类，实现runable接口或者是利用Callable和FutureTask的方式。JDK线程池：先来解释一下jdk线程池中容易混淆的几个名词：1.Executor：线程池接口爷爷辈的，只有一个execute方式接受Runnable参数。2.Executors:相当于一个工具类，用来创建线程池的工厂，常用的几个newFixedThreadPool 、newScheduleThreadPool等都是通过他来创建的。3.ExecutorServ

2020-09-18 14:36:16 140

原创 Redission分布式锁解决高并发环境下超买超卖的问题

分布式锁：在高并发环境下，由于大量请求同时访问一个资源进行操作，很容易产生超买的情况，造成数据错误，如果是单服务器情况下，我们可以通过普通的锁去控制，但是解决不了分布式环境的情况，所以我们用到了分布式锁来保证互斥。Redis：Redis强大之处在于它不仅仅是一个NO-SQL数据库，他有丰富的数据类型，和基于内存高效的读写速度。而且他是单线程单进程模式，可以将并发请求变成串行访问，这个就是为什么可以用它实现分布式锁来解决高并发下资源争抢问题。Redis实现简单的分布式锁：Redis可以简单通过set

2020-09-18 11:22:21 1955

原创分布式事务---LCN

分布式事务：分布式系统中，分布式模块之间的事务是一个难题，比如A订单模块调用库存模块B的，在调用支付模块C ,如果C执行失败，B却执行成功了，这可能就有问题了，你库存少了，钱却没付。这不得亏死啊！所以我们必须对这种连续的模块调用用事务进行管理，保证他们一起提交，失败就一起回滚。LCN：1、 LCN事务控制有2个模块:分别是是TxClient和TxManager。TxClient是实现了javax.sql.DataSource的代理连接池， TxManager则是是一个事务协

2020-09-18 08:53:24 295

原创博海拾贝--springcloud的组件及使用（4）Ribbon 负载均衡

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Ribbon是什么？二、Ribbon的实现前言作为一个分布式微服务框架，负载均衡是必不可少的。负载均衡的手段很多比如硬件方面的F5 ，软件层面的ngnix,这里我们讲解一下springcloud的一个重要的负载均衡组件ribbon提示：以下是本篇文章正文内容，下面案例可供参考一、Ribbon是什么？Ribbon区别于Ngnix 他是一个基于客户端的负载均衡组件，他通过获取服务器列表然后通过一定的策略进行负载

2020-08-24 14:33:48 214

原创 Spring如何实现bean的创建和实例化？

Spring框架最主要的东西就是IOC注入，那么它是如何将java类变成 bean 然后注入容器又是如何将bean实例化的呢首先我们需要了解什么是BeanFactory,BeanFactory 是一个接口他有很多实现就是

2020-08-23 13:06:51 1473

原创博海拾贝--springcloud的组件及使用（3）服务网关 GateWay

Srpingcloud 服务网关 GateWay前言：Spring Cloud Gateway是springcloud官方推出的第二代网关框架，她包括转发、限流、熔断、权限校验等功能。本文就来介绍GateWay的相关配置和使用版本：Springboot 2.0.0Springcloud Finchley.RELEASE注意使用这个版本组合时 spring-cloud-gateway-core的版本必须是2.0.2以上不然在网关路由时会因为版本原因出现空指针异常。..

2020-08-22 11:19:46 369

原创博海拾贝--springcloud的组件及使用（2）

我们详细介绍了Spring Cloud Config 的基本配置和使用，但其实我们在实际项目中要做的不仅仅是这些。由于所有配置文件都暴露在远程仓库之中，必然会存在安全问题，我们们就必须有一套安全机制去解决这个问题。...

2020-08-20 10:00:52 161

原创博海拾贝--springcloud的组件及使用（1）

Spring Cloud是一个基于Spring Boot实现的云应用开发工具她基于springboot架构，整合了许多优秀组件。接下来我们研究一下她到底有哪些优秀组件，什么时候去用，怎么用。1.Spring Cloud Config ：配置管理组件 Spring Cloud Config配置组件支持将配置服务放在配置服务的内存中（即本地），也支持放在远程Git仓库中，提供服务端和客户端支持，方便在分布式项目中配置文件统一的管理和实时更新。 Spring Cloud Conf...

2020-08-19 10:43:17 236

原创 Redis在项目开发中的应用----缓存

Redis 是完全开源免费的一个高性能的key-value数据库。其读写速度较快，支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用，加上他的key值过期等特性，使redis在缓存上有不俗的表现。在查询大量数据的时候，我们可以通过查询Redis中的数据来代替数据库查询，降低数据库服务器负载，提高响应速度。Redis缓存主要可以用在什么地方呢？1 页面缓存...

2019-07-09 15:05:17 236

转载 Dubbo分布式入门

dubbo是一个分布式的服务架构，可直接用于生产环境作为SOA服务框架。官网首页：http://dubbo.io/，官方用户指南http://dubbo.io/User+Guide-zh.htm上面的几张图画得不错，完全可以当做SOA架构的学习资料淘宝将这个项目开源出来以后，得到了不少同行的支持，包括：当当网的扩展版本dubbox：https://github.com/dangd...

2019-04-10 16:58:28 308

转载 Windows 下安装 Memcached

Windows 下安装 Memcached官网上并未提供 Memcached 的 Windows 平台安装包，我们可以使用以下链接来下载，你需要根据自己的系统平台及需要的版本号点击对应的链接下载即可：32位系统 1.2.5版本：http://static.runoob.com/download/memcached-1.2.5-win32-bin.zip 32位系统 1.2.6版本：htt...

2019-01-18 10:36:59 178 1

原创 MongodbTemlate使用条件查询和聚合函数

MongodbTemlate是MongoOperations的实现类首先我们可以注入一个MongoOperations假如我们有以下数据：id name age class 1 李雷 12 1901 2 乔治 13 1901 3 丽丽 12 1902 操作一：查询1...

2019-01-17 09:34:44 1336

原创 Redis的分布式集群搭建（windows）----RedisCluster集群

今天研究了一下redis的集群搭建,终于成功了，拿来给大家分享一下，希望对大家有帮助。如果需要源码和安装包可以私我。下载redis.进入redis文件夹呢如果没有redis.conf文件，就新建一个，并在里面写上配置参数： port 7000 cluster-enabled yes cluste...

2018-10-26 14:28:32 416

原创 Srpingboot整合redis 实现分布式锁的开发遇到的问题-成功加锁后获取key为null

在学习redis分布式锁的时候，我用redisTemplate去设置键值，为防止死锁，为其设置过期时间，最后释放锁，结果发现后两步都失败了，只有set成功了，通过打桩的方式发现获取key 竟然为null。public Boolean doInRedis(RedisConnection connection) throws DataAccessException { JdkSerial...

2018-10-15 14:30:03 882

原创 springboot返回json时间格式时的时区问题

本小白和大家分享一下日常springboot开发中遇到的问题，以及解决的途径，希望大家互相学习，互相进步。今天在开发中后台实体转化为json返回到页面过程中，发现时间少了一天前端接受到的时间格式如：2018-03-30T16:00:00.000+0000 而实际上后台存储的是03-31号的，查资料知道这是时区的问题，尝试在java中用calendar改变时区,然后并没有影响...

2018-06-14 10:05:46 5226

原创 Springboot开发中遇到的问题01---java.lang.IllegalArgumentException: argument type mismatch

场景：springboot+mybatisplus 在数据同步时新增记录报错：java.lang.IllegalArgumentException: argument type mismatch大致看出是mybatis 映射字段的时候出错了。第一反应就是检查字段类型，检查字段有没有写错，回头对比了实体字段还有sql实在没发现问题。找不到出路的时候，想到在ibatis的setBe...

2018-04-16 10:26:36 3229

原创 springboot的后台系统的初步搭建

基于springboot的设备管理系统的架构搭建使用工具：idea数据库：mysql相关技术：shiro mybatis activemq等 (1) 新建项目 new project ,idea有专门的springboot插件,方便我们快速的创建springBoot项目，如下图，点击spring Initalizr 选择jdk后，点击next 下一步。 (2) 然后可以给自己的项目命名，...

2018-04-13 08:51:10 2613

代码搬运工