5 请叫我大师兄__

尚未进行身份认证

我要认证

请叫我大师兄

等级
TA的排名 125

Java producer 的常用参数的意义说明及建议

生产端核心参数1. acks参数说明:这是一个非常重要的参数,表示指定分区中成功写入消息的副本数量,这是Kafka生产端消息的持久性(durability)保证。只有当leader确认已成功写入消息的副本数后,才会给Producer发送响应,此时消息才可以认为“已提交”。该参数影响着消息的可靠性以及生产端的吞吐量,并且两者往往相向而驰,通常消息可靠性越高则生产端的吞吐量越低,反之亦然。acks有3个取值: acks = 0:表示生产端发送消息后立即返回,不等待broker端的响应结果。通常此时

2020-09-26 22:25:53

Java junit test Kafka producer send 数据没有到Kafka的topic的原因

一般发送数据到Kafka,就是new一个producer,然后简单到send就好了,就可以在kafka里面看到数据了,可以使用命令行的消费模式,但是你在写测试代码的时候,想看看数据是否真的写到kafka服务器了的时候,就发现,额,好像数据没发送到kafka服务器上似的,代码也看似没问题哦。生产端ProducerRecord经过序列化器、分区器处理后,并不是直接发往broker端,而是发送到客户端的消息缓冲池(Accumulator) 中,最后交由Sender线程发往broker端。

2020-09-26 14:22:56

分布式系统中的CAP理论

一、什么是分布式系统拿一个最简单的例子,就比如说我们的图书管理系统。之前的系统包含了所有的功能,比如用户注册登录、管理员功能、图书借阅管理等。这叫做集中式系统。也就是一个人干了好几件事。后来随着功能的增多,用户量也越来越大。集中式系统维护太麻烦,拓展性也不好。于是就考虑着把这些功能分开。通俗的理解就是原本需要一个人干的事,现在分给n个人干,各自干各自的,最终取得和一个人干的效果一样。稍微正规一点的定义就是:一个业务分拆多个子业务,部署在不同的服务器上。 然后通过一定的通信协议,能够让这些子业务之

2020-09-18 17:57:05

Zookeeper高频面试题36问(附答案)

1.CAP理论?C : Consistency 一致性,数据在多个副本之间似否能够保持一致的特性。 A: Availability 可用性,系统服务必须一直处于可用状态,对每个请求总是在指定的时间返回结果。 P:Partition tolerance 分区容错性,遇到分区网络故障时,仍能对外提供一致性和可用性的服务。 不能同时满足3个要求,只能满足其中的两个。 2.BASE理论?Basically Available(基本可用)、Soft state(软状态) 和 Eventuanl

2020-09-17 13:43:52

Zookeeper(动物园管理员)为什么需要他?分布式协调系统

需求推动事物的前进,所有相关技术都是在某些需求的驱动下才孕育而出,而且不断的为了满足需求,不得不进一步加强完善,上来就说zookeeper是啥,作用是啥,干了什么,是开源的分布式应用协调系统”blabla,到底什么是分布式协调,为什么分布式就需要协调。不懂,也不见得好理解、好记忆,还是从需求分析来了解他的由来和作用,了解这个过程,在自己后期设计实现产品的时候,也会想的多一点。为什么需要 Zookeeper举个例子,来说明说明需求驱动技术不断升级完善加强。一个团队里面,需要一个leader,lead

2020-09-17 11:33:30

Java kafka监控 topic的数据量count情况,每个topic的Summed Recent Offsets(总结最近的偏移量)

Java使用kafka的API来监控kafka的某些topic的数据量增量,offset,定时查总量之后,然后计算差值,然后就可以算单位间隔的每个topic的增量,kafka监控一般都是监控的吞吐量,即数据量的大小,而不在意这个count,数量。额,这个就是在意count。统计一下count。使用的jar依赖 compile group: 'org.apache.kafka', name: 'kafka_2.10', version: '0.8.0'Java代码import c

2020-09-16 22:16:28

No tests found for given includes: [com.xxx.smm.kafka.KafkaTopicCountMonitorTest.test](filter.inc

idea 在 springboot + Gradle test时报错:No tests found for given includes解决图Gradle:IntelliJ IDEA使用Gradle作为默认测试运行器。结果,在持续集成(CI)服务器上获得相同的测试结果。此外,在命令行中运行的测试将始终在IDE中运行。 IntelliJ IDEA:选择此选项可将测试过程委派给IntelliJ IDEA。在这种情况下,IntelliJ IDEA使用 JUnit 测试运行器,并且由于增量编译,测试运

2020-09-16 13:54:56

Java Storm 原理、组件、概念介绍、hello world Java项目分享

零、问题导读:1.hadoop有master与slave,Storm与之对应的节点是什么?2.Storm控制节点上面运行一个后台程序被称之为什么?3.Supervisor的作用是什么?4.Topology与Worker之间的关系是什么?5.Nimbus和Supervisor之间的所有协调工作有master来完成,还是Zookeeper集群完成?6.storm稳定的原因是什么?7.如何运行Topology?strom jar all-your-code.jar backtype.storm.M

2020-09-16 10:00:45

Java Elastic search 常用查询

java Elastic 客户端基本使用引入jar compile 'org.elasticsearch:elasticsearch:5.5.0' compile 'org.elasticsearch.client:transport:5.5.0client基本使用得到clientSettings settings = Settings.builder().put("cluster.name", "lw-6-test").build();TransportClient

2020-09-15 16:55:43

Java Storm Hello World 入门起手例子

1,Storm程序再Storm集群中运行的示例图如下:2,Storm的几个核心概念名词Nimbus:即Storm的Master,负责资源分配和任务调度。一个Storm集群只有一个Nimbus。 Supervisor:即Storm的Slave,负责接收Nimbus分配的任务,管理所有Worker,一个Supervisor节点中包含多个Worker进程。 Worker:工作进程,每个工作进程中都有多个Task。 Task:任务,在 Storm 集群中每个 Spout 和 Bolt 都由若干个任

2020-09-14 17:38:13

Spring cloud nacos config 配置中心例子

Spring cloud 集成 nacos config配置中心的例子,自定义 dataId groupId namespace

2020-09-08 15:47:08

Spring boot nacos config 配置中心的例子,自定义dataId groupId namespace

使用nacos作为配置中心,在非spring项目,直接使用nacos的 Java sdk也还是简单的。nacos Java SDK 1.3.1 来实现配置管理要是套上Spring的情况下。这个例子就是Spring boot + nacos来实现配置中心。好多例子都是只一个dataId,带上dataId groupId namespace的设置。 <properties> <nacos-config-spring-boot.version>0.2.1

2020-09-08 14:54:41

sm2 sm3 sm4 加密解密 Java实现

SM4.0(原名SMS4.0)是中华人民共和国政府采用的一种分组密码标准,由国家密码管理局于2012年3月21日发布。相关标准为“GM/T 0002-2012《SM4分组密码算法》(原SMS4分组密码算法)”。Java实例代码,参见下面的github连接,下载下来,引入jar包,直接run可以的。国密即国家密码局认定的国产密码算法。主要有SM1,SM2,SM3,SM4。密钥长度和分组长度均为128位使用的依赖 // https://mvnrepository.com/artifact

2020-09-04 17:20:06

treemap 和 hashmap的效率比较

区别:1,hashmap是无序的,treemap是有序的,整个key是按照自然顺序来的。2,hashmap可以put一个null当key ,treemap却不支持。3,底层结构不一样,一个是数组➕红黑树,一个直接就是红黑树。但是hashmap是最最最常用的map集合,不考虑顺序的时候,他是首选,假如你希望有点顺序的话,想使用一下treemap,但是整个treemap和整个hashmap的效率到底差别多少,不太确定,万一整个treemap效率很低,那就影响程序性能了,那就不好了。测试一下,有个底。简单

2020-09-02 16:39:56

什么是RPC Remote Procedure Call 翻译成中文就是远程过程调用

如何科学的解释RPC说起RPC,就不能不提到分布式,这个促使RPC诞生的领域。假设你有一个计算器接口,Calculator,以及它的实现类CalculatorImpl,那么在系统还是单体应用时,你要调用Calculator的add方法来执行一个加运算,直接new一个CalculatorImpl,然后调用add方法就行了,这其实就是非常普通的本地函数调用,因为在同一个地址空间,或者说在同一块内存,所以通过方法栈和参数栈就可以实现。现在,基于高性能和高可靠等因素的考虑,你决定将系统改造为分布式应

2020-08-25 18:10:31

一个假的单例模式,虽然有双重加锁的代码,但还是假的单例。

单例模式这东西简单,也是平时写代码最常用的一个模式了。虽然你知道单例模式的要点。1.私有(private)静态(static)的单例对象(object)2.构造函数(struct)私有化-----可在构造方法初始化单例对象3.提供对外(public),静态方法获得单例对象你也知道最常见的就是使用双重旋锁来判断对象是否已经初始化了,来控制有且只有一个单利会被初始化。但是,下面这个代码的单例模式有问题,看看能看出来哪有问题不?看不出问题的,还请继续往下看吧。public class Sender

2020-08-24 17:15:00

fastjson com.alibaba.fastjson.JSONException: unclosed string : 十

使用fastjson在转换的时候,com.alibaba.fastjson.JSONException: unclosed string : 十 at com.alibaba.fastjson.parser.JSONLexerBase.scanString(JSONLexerBase.java:1001) at com.alibaba.fastjson.parser.DefaultJSONParser.parseObject(DefaultJSONParser.java:485) ...

2020-08-20 14:12:45

学习一下秒杀系统的设计,以及需要考虑的问题

学习一下秒杀系统的设计,以及需要考虑的问题,学习一下模块化正文首先设计一个系统之前,我们需要先确认我们的业务场景是怎么样子的,我就带着大家一起假设一个场景好吧。我们现场要卖100件婴儿纸尿裤,然后我们根据以往这样秒杀活动的数据经验来看,目测来抢这100件纸尿裤的人足足有10万人。任何系统我们开始设计之前我们都应该去思考会出现哪些问题?这里我罗列了几个非常经典的问题:问题高并发:是的高并发这个是我们想都不用想的一个点,一瞬间这么多人进来这不是高并发什么时候是呢?是吧,秒杀的特点

2020-08-18 14:35:59

nacos Java SDK 1.3.1 来实现配置管理

1,下载服务源文件下载地址:https://github.com/alibaba/nacos/releases我测试下载的某云盘地址:链接:https://pan.baidu.com/s/1_I5yX578x1nY4ZZ_u-WU7A 密码:27ue2,安装放到Linux服务器上,解压,tar xzvf nacos-server-1.3.1.tar.gz ,然后 cd nacos/bin 然后运行Linux下的启动脚本,./startup.sh...

2020-08-17 16:43:28

当Java jvm 一个线程OOM的时候,其它线程还能运行不?这个进程会gg不?

当一个Java程序报OOM的异常的时候,程序会gg吗?是只有一个线程gg呢,还是整个进程gg呢?/** * JVM 堆内存溢出后,其他线程是否可继续工作 * * @author LiXuekai on 2020/7/27 */public class WhenOom { public static void main(String[] args) { new Thread(() -> { List<byte[]> list

2020-07-27 16:40:18

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到达人
    签到达人
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享小兵
    分享小兵
    成功上传3个资源即可获取