6 请叫我大师兄__

尚未进行身份认证

我要认证

请叫我大师兄

等级
TA的排名 127

spring cloud alibaba nacos config 从 nacos server上加载多个配置文件

在Spring cloud里面,使用spring.cloud.nacos.config可以把项目使用的配置放到nacos服务器上去管理,极大的方便了配置文件的修改管理还原备份复制等一系列后期维护动作。有nacos配置中心在,使得项目的配置维护变得方便了不少,这示范一下Spring cloud nacos config从一个和多个配置文件获取配置信息的例子。从一个配置文件中获取配置配置比较简单,在bootstrap.properties里面如下就行:spring.application.name

2020-10-26 16:02:59

Java Storm 消费kafka数据即KafkaSpout的消费实例,还有 为啥要input.getString(4),这个4怎么来的。

使用kafka作为数据源,给storm的后续bolt提供数据的例子,还有 为啥要input.getString(4),这个4怎么来的。先看main方法,步骤很清新的。package com.lxk.storm;import com.lxk.storm.bolt.OutInfoBolt;import org.apache.kafka.common.utils.Utils;import org.apache.storm.Config;import org.apache.storm.Local

2020-10-13 14:45:31

github上下载项目代码贼慢,使用的是https下载的,要不是试试 github desktop。

使用idea想把github上 的项目在另一个机器上下载下来,使用的是https的方式下载,选了目录之后,下载速度那是真的可怜,20kb/S,简直了,在网上搜了一下,说是修改hosts文件,我没实验,因为我有梯子啊,速度应该不慢才对,难道梯子没墙高?然后本地之前也曾经装过github desktop,然后把那个给卸载了,再下载个最新版本的github desktop,然后使用这个去下载,哇,速度瞬间就上来了。不是20kb/S了。就用图中这个去下载,不用上面那个https的地址,那个好慢哦,具体原因解

2020-10-12 21:35:12

Java client 写 Kafka 失败的处理,client和server都得把配置参数优化一下

1,java.util.concurrent.ExecutionException:org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for topic-partion: 3000 ms has passed since batch creation plus linger time2,java.util.concurrent.ExecutionException:org.apache.kafka.common.er

2020-09-28 14:05:31

kafka server/broker 服务端的参数配置说明

一、Kafka概述关于Kafka,我们在之前的文章里也介绍,简而言之Kafka是一个分布式消息引擎与流处理平台,经常用做企业的消息总线、实时数据管道,有时还可以当做存储系统来用。Kafka的设计遵循生产者消费者模式,其中生产者和消费者都属于客户端,服务端则是由多个broker实例组成,broker主要负责接收和处理来自客户端的请求,以及对消息进行持久化。基本架构如下:二、broker端核心参数1. broker.id参数说明:broker的唯一标识id,默认值为-1,如果不指定Kafka

2020-09-28 10:05:11

Java kafka producer 的常用参数的意义说明及建议

生产端核心参数1. acks参数说明:这是一个非常重要的参数,表示指定分区中成功写入消息的副本数量,这是Kafka生产端消息的持久性(durability)保证。只有当leader确认已成功写入消息的副本数后,才会给Producer发送响应,此时消息才可以认为“已提交”。该参数影响着消息的可靠性以及生产端的吞吐量,并且两者往往相向而驰,通常消息可靠性越高则生产端的吞吐量越低,反之亦然。acks有3个取值: acks = 0:表示生产端发送消息后立即返回,不等待broker端的响应结果。通常此时

2020-09-26 22:25:53

Java junit test Kafka producer send 数据没有到Kafka的topic的原因

一般发送数据到Kafka,就是new一个producer,然后简单到send就好了,就可以在kafka里面看到数据了,可以使用命令行的消费模式,但是你在写测试代码的时候,想看看数据是否真的写到kafka服务器了的时候,就发现,额,好像数据没发送到kafka服务器上似的,代码也看似没问题哦。生产端ProducerRecord经过序列化器、分区器处理后,并不是直接发往broker端,而是发送到客户端的消息缓冲池(Accumulator) 中,最后交由Sender线程发往broker端。

2020-09-26 14:22:56

分布式系统中的CAP理论

一、什么是分布式系统拿一个最简单的例子,就比如说我们的图书管理系统。之前的系统包含了所有的功能,比如用户注册登录、管理员功能、图书借阅管理等。这叫做集中式系统。也就是一个人干了好几件事。后来随着功能的增多,用户量也越来越大。集中式系统维护太麻烦,拓展性也不好。于是就考虑着把这些功能分开。通俗的理解就是原本需要一个人干的事,现在分给n个人干,各自干各自的,最终取得和一个人干的效果一样。稍微正规一点的定义就是:一个业务分拆多个子业务,部署在不同的服务器上。 然后通过一定的通信协议,能够让这些子业务之

2020-09-18 17:57:05

Zookeeper高频面试题36问(附答案)

1.CAP理论?C : Consistency 一致性,数据在多个副本之间似否能够保持一致的特性。 A: Availability 可用性,系统服务必须一直处于可用状态,对每个请求总是在指定的时间返回结果。 P:Partition tolerance 分区容错性,遇到分区网络故障时,仍能对外提供一致性和可用性的服务。 不能同时满足3个要求,只能满足其中的两个。 2.BASE理论?Basically Available(基本可用)、Soft state(软状态) 和 Eventuanl

2020-09-17 13:43:52

Zookeeper(动物园管理员)为什么需要他?分布式协调系统

需求推动事物的前进,所有相关技术都是在某些需求的驱动下才孕育而出,而且不断的为了满足需求,不得不进一步加强完善,上来就说zookeeper是啥,作用是啥,干了什么,是开源的分布式应用协调系统”blabla,到底什么是分布式协调,为什么分布式就需要协调。不懂,也不见得好理解、好记忆,还是从需求分析来了解他的由来和作用,了解这个过程,在自己后期设计实现产品的时候,也会想的多一点。为什么需要 Zookeeper举个例子,来说明说明需求驱动技术不断升级完善加强。一个团队里面,需要一个leader,lead

2020-09-17 11:33:30

Java kafka监控 topic的数据量count情况,每个topic的Summed Recent Offsets(总结最近的偏移量)

Java使用kafka的API来监控kafka的某些topic的数据量增量,offset,定时查总量之后,然后计算差值,然后就可以算单位间隔的每个topic的增量,kafka监控一般都是监控的吞吐量,即数据量的大小,而不在意这个count,数量。额,这个就是在意count。统计一下count。使用的jar依赖 compile group: 'org.apache.kafka', name: 'kafka_2.10', version: '0.8.0'Java代码import c

2020-09-16 22:16:28

No tests found for given includes: [com.xxx.smm.kafka.KafkaTopicCountMonitorTest.test](filter.inc

idea 在 springboot + Gradle test时报错:No tests found for given includes解决图Gradle:IntelliJ IDEA使用Gradle作为默认测试运行器。结果,在持续集成(CI)服务器上获得相同的测试结果。此外,在命令行中运行的测试将始终在IDE中运行。 IntelliJ IDEA:选择此选项可将测试过程委派给IntelliJ IDEA。在这种情况下,IntelliJ IDEA使用 JUnit 测试运行器,并且由于增量编译,测试运

2020-09-16 13:54:56

Java Storm 原理、组件、概念介绍、hello world Java项目分享

零、问题导读:1.hadoop有master与slave,Storm与之对应的节点是什么?2.Storm控制节点上面运行一个后台程序被称之为什么?3.Supervisor的作用是什么?4.Topology与Worker之间的关系是什么?5.Nimbus和Supervisor之间的所有协调工作有master来完成,还是Zookeeper集群完成?6.storm稳定的原因是什么?7.如何运行Topology?strom jar all-your-code.jar backtype.storm.M

2020-09-16 10:00:45

Java Elastic search 常用查询

java Elastic 客户端基本使用引入jar compile 'org.elasticsearch:elasticsearch:5.5.0' compile 'org.elasticsearch.client:transport:5.5.0client基本使用得到clientSettings settings = Settings.builder().put("cluster.name", "lw-6-test").build();TransportClient

2020-09-15 16:55:43

Java Storm Hello World 入门起手例子

1,Storm程序再Storm集群中运行的示例图如下:2,Storm的几个核心概念名词Nimbus:即Storm的Master,负责资源分配和任务调度。一个Storm集群只有一个Nimbus。 Supervisor:即Storm的Slave,负责接收Nimbus分配的任务,管理所有Worker,一个Supervisor节点中包含多个Worker进程。 Worker:工作进程,每个工作进程中都有多个Task。 Task:任务,在 Storm 集群中每个 Spout 和 Bolt 都由若干个任

2020-09-14 17:38:13

Spring cloud alibaba nacos config 配置中心例子

Spring cloud 集成 nacos config配置中心的例子,自定义 dataId groupId namespace

2020-09-08 15:47:08

Spring boot nacos config 配置中心的例子,自定义dataId groupId namespace

使用nacos作为配置中心,在非spring项目,直接使用nacos的 Java sdk也还是简单的。nacos Java SDK 1.3.1 来实现配置管理要是套上Spring的情况下。这个例子就是Spring boot + nacos来实现配置中心。好多例子都是只一个dataId,带上dataId groupId namespace的设置。 <properties> <nacos-config-spring-boot.version>0.2.1

2020-09-08 14:54:41

sm2 sm3 sm4 加密解密 Java实现

SM4.0(原名SMS4.0)是中华人民共和国政府采用的一种分组密码标准,由国家密码管理局于2012年3月21日发布。相关标准为“GM/T 0002-2012《SM4分组密码算法》(原SMS4分组密码算法)”。Java实例代码,参见下面的github连接,下载下来,引入jar包,直接run可以的。国密即国家密码局认定的国产密码算法。主要有SM1,SM2,SM3,SM4。密钥长度和分组长度均为128位使用的依赖 // https://mvnrepository.com/artifact

2020-09-04 17:20:06

treemap 和 hashmap的效率比较

区别:1,hashmap是无序的,treemap是有序的,整个key是按照自然顺序来的。2,hashmap可以put一个null当key ,treemap却不支持。3,底层结构不一样,一个是数组➕红黑树,一个直接就是红黑树。但是hashmap是最最最常用的map集合,不考虑顺序的时候,他是首选,假如你希望有点顺序的话,想使用一下treemap,但是整个treemap和整个hashmap的效率到底差别多少,不太确定,万一整个treemap效率很低,那就影响程序性能了,那就不好了。测试一下,有个底。简单

2020-09-02 16:39:56

什么是RPC Remote Procedure Call 翻译成中文就是远程过程调用

如何科学的解释RPC说起RPC,就不能不提到分布式,这个促使RPC诞生的领域。假设你有一个计算器接口,Calculator,以及它的实现类CalculatorImpl,那么在系统还是单体应用时,你要调用Calculator的add方法来执行一个加运算,直接new一个CalculatorImpl,然后调用add方法就行了,这其实就是非常普通的本地函数调用,因为在同一个地址空间,或者说在同一块内存,所以通过方法栈和参数栈就可以实现。现在,基于高性能和高可靠等因素的考虑,你决定将系统改造为分布式应

2020-08-25 18:10:31

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到达人
    签到达人
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 1024达人勋章
    1024达人勋章
    10月24日粉丝/获赞/评论/收藏累计达到1024,即可获得“1024达人”勋章
  • 分享小兵
    分享小兵
    成功上传3个资源即可获取