- 博客(507)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 kafka基本信息
1、基本信息 1）Kafka组成：zk里面存储broker信息 消费者信息 唯独没有生产者信息。 2）搭建多少台Kafka：2（生产者峰值生产速率 * 副本/100）+1 =3 2 * ( 生产者峰值生产速率* 2/100)+1=3 =>生产者峰值生产速率<50m/s 50m/s*60秒=3g 3）副本数：2个居多、3个 好处：提高可靠性；坏处：增加了网络IO...
2022-03-05 18:54:15
2871
原创 垃圾回收机制策略
垃圾回收（Garbage Collection，GC），顾名思义就是释放垃圾占用的空间，防止内存泄露。有效的使用可以使用的内存，对内存堆中已经死亡的或者长时间没有使用的对象进行清除和回收。标记清除算法概念该算法有两个阶段。1. 标记阶段：找到所有可访问的对象，做个标记2. 清除阶段：遍历堆，把未被标记的对象回收应用场景该算法一般应用于老年代,因为老年代的对象生命周期比较长。优缺点标记清除算法的优点和缺点1. 优点- 是可以解决循环引用的问...
2021-09-11 10:06:00
722
1
原创 java中String、StringBuffer和StringBuilder的区别
java中String、StringBuffer和StringBuilder的区别java中用于处理字符串常用的有三个类:1、java.lang.String2、java.lang.StringBuffer3、java.lang.StrungBuilder三者共同之处:都是final类,不允许被继承，主要是从性能和安全性上考虑的，因为这几个类都是经常被使用着，且考虑到防止其中的参数被参数修改影响到其他的应用。StringBuffer是线程安全，可以不需要额外的同步用于多线程中;Strin
2021-08-28 15:12:53
551
原创 Elasticsearch分片设置 es number_of_shards和number_of_replicas
1、分片是什么？一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，每一份就是一个分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的"索引"，这个"索引"可以被放置到集群中的任何节点上。2、分片为什么重要？分片之所以重要，主要有两方面的原因：（1）允许
2021-08-28 14:31:34
6241
转载 消息中间件对比
Kafka采用拉取（Pull）方式消费消息，吞吐量相对更高，适用于海量数据收集与传递场景，例如日志采集和集中分析。RabbitMQ在吞吐量方面略有逊色，但支持更多的消息队列功能。RocketMQ出自 阿里公司的开源产品，用 Java 语言实现，在设计时参考了 Kafka，并做出了自己的一些改进。在阿里集团被广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等场景。为什么使用消息队列其实就是问问你消息队列都有哪些使用场景，然后你项目里具体是什么场景，说说你在这个场景
2021-08-26 21:32:57
617
原创 zookeeper节点类型详解
今天小编就为大家分享一篇关于zookeeper节点类型详解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧1）Znode有两种类型：短暂（ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除 持久（persistent）：客户端和服务器端断开连接后，创建的节点不删除2）Znode有四种形式的目录节点（默认是persistent ）（1）持久化目录节点（PERSISTENT）客户端与zookeeper断开连接后，该节点依旧存..
2021-08-25 21:00:41
1773
原创 单个索引与联合索引
联合索引和单个索引的区别：如果我们创建了(area, age,salary)的复合索引，那么其实相当于创建了：(area,age,salary)，(area,age)、(area)三个索引，这被称为最佳左前缀特性。因此我们在创建复合索引时应该将最常用作限制条件的列放在最左边，依次递减。例：select * from test where area='11'select * from test where area='11' and age=1select * from test
2021-08-25 20:46:54
1879
原创 Redis缓存击穿、穿透、雪崩解决办法
1、缓存处理流程接收到查询数据请求时，优先从缓存中查询，若缓存中有数据，则直接返回，若缓存中查不到则从DB中查询，将查询的结果更新到缓存中，并返回查询结果，若DB中查不到，则返回空数据 Redis 缓存处理流程.png2、缓存穿透当缓存与数据库中都不存在该数据时，由于当数据库查询不到数据就不会写入缓存，这个时候如果用户不断的恶意发起请求，就会导致这个不存在的数据每...
2021-08-15 10:12:37
252
原创 SpringBoot 全局异常捕获
首先还是Maven的相关依赖: <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <java.version>1.8</java.version> <maven.compiler.source>1.8</maven.compiler.source>
2021-08-14 11:38:21
464
原创 Redis持久化存储
为什么要做持久化存储?持久化存储是将 Redis 存储在内存中的数据存储在硬盘中，实现数据的永久保存。我们都知道 Redis 是一个基于内存的 nosql 数据库，内存存储很容易造成数据的丢失，因为当服务器关机等一些异常情况都会导致存储在内存中的数据丢失。持久化存储分类在 Redis 中，持久化存储分为两种。一种是 aof 日志追加的方式，另外一种是 rdb 数据快照的方式。RDB持久化存储什么是RDB持久化存储RDB持久化存储即是将redis存在内存中的数据以快照的形式保...
2021-07-28 14:48:36
565
原创 flink-watermark
概念流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的，虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、分布式等原因，导致乱序的产生，所谓乱序，就是指Flink接收到的事件的先后顺序不是严格按照事件的EventTime顺序排列的。流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的，虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由...
2021-07-25 11:03:11
183
原创 蓝鲸-监控告警
目前覆盖的监控对象包含主机层、组件层、服务拨测，对于无法开箱即用的监控对象可以使用脚本采集、日志采集以及组件二次开发，通过仪表盘实现自定义可视化视图呈现，基于iPaaS的产品设计（关联CMDB、作业执行、数据平台等）天然打破"竖井式"产品设计理念，依托于故障自愈实现告警的无人值守！主机监控支持以主机为单元的基础性能指标查看、告警策略配置、告警记录等功能。指标支持CPU、内存、磁盘、网络、进...
2021-07-25 10:50:01
4583
7
原创 CentOS 7 开放防火墙端口 命令
最近公司新的server要求用CentOS7， 发现以前CentOS 6 系列中的 iptables 相关命令不能用了，查了下，发现Centos 7使用firewalld代替了原来的iptables。使用方法如下：>>> 关闭防火墙systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动...
2021-07-05 17:09:59
321
1
原创 CentOS7.5安装GitLab
一、GitLab英文版安装 1.下载gitlab安装包，然后安装wget --content-disposition https://packages.gitlab.com/gitlab/gitlab-ce/packages/el/7/gitlab-ce-10.8.4-ce.0.el7.x86_64.rpm/download.rpmyum install policycoreutils-python 2.下载安装python 3.安装gitlabrpm -ivh.
2021-07-05 16:09:09
202
原创 rabbitmq的延迟消息队列实现
第一部分：延迟消息的实现原理和知识点使用RabbitMQ来实现延迟任务必须先了解RabbitMQ的两个概念：消息的TTL和死信Exchange，通过这两者的组合来实现上述需求。消息的TTL（Time To Live）消息的TTL就是消息的存活时间。RabbitMQ可以对队列和消息分别设置TTL。对队列设置就是队列没有消费者连着的保留时间，也可以对每一个单独的消息做单独的设置。超过了这个时间，我们认为这个消息就死了，称之为死信。如果队列设置了，消息也设置了，那么会取小的。所以一个消息如果被路由到不
2021-06-29 18:08:54
1514
1
原创 linux命令用来查看日志关键字
1、查看日志前 n行： cat 文件名 | head -n 数量 demo： cat test.log | head -n 200 # 查看test.log前200行2、查看日志尾 n行： cat 文件名 | tail -n 数量 demo： cat test.log | tail -n 200 # 查看test.log倒数200行3、根据关键词查看日志 并返回关键词所在行： 方法一：cat 路径/文件名 | grep 关键词 ...
2021-06-29 17:40:38
1045
原创 Netty原理-Reactor
1.原生 NIO 存在的问题NIO 的类库和 API 繁杂，使用麻烦：需要熟练掌握 Selector、ServerSocketChannel、 SocketChannel、ByteBuffer等。 需要具备其他的额外技能：要熟悉 Java 多线程编程，因为 NIO 编程涉及到 Reactor 模式，你必须 对多线程和网络编程非常熟悉，才能编写出高质量的 NIO 程序。 开发工作量和难度都非常大：例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥 塞和异常流的处理等等。 JDK NI
2021-06-29 13:55:45
402
原创 BIO、NIO、AIO的区别和原理
一、IO模型的知识JAVA BIO：同步并阻塞，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程并处理，如果这个连接不做任何事情会造成不必要的开销，当然可以通过线程池机制改善JAVA NIO：同步非阻塞，服务器实现模式为一个请求一个线程，即客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有IO请求时才启动一个线程进行处理JAVA AIO(NIO2)：异步非阻塞，服务器实现模式为一个有效请求一个线程，客户端的I/O请求都是由OS先完成了再通知服务器应
2021-06-29 12:23:09
1043
7
原创 Java零拷贝
1、摘要零拷贝的“零”是指用户态和内核态间copy数据的次数为零。传统的数据copy（文件到文件、client到server等）涉及到四次用户态内核态切换、四次copy。四次copy中，两次在用户态和内核态间copy需要CPU参与、两次在内核态与IO设备间copy为DMA方式不需要CPU参与。零拷贝避免了用户态和内核态间的copy、减少了两次用户态内核态间的切换。零拷贝可以提高数据传输效率，但对于需要在用户传输过程中对数据进行加工的场景（如加密）就不适合使用零拷贝。使用Zero Copy
2021-06-29 11:32:18
432
原创 《RabbitMQ》如何保证消息不被重复消费
一 重复消息为什么会出现消息重复？消息重复的原因有两个：1.生产时消息重复，2.消费时消息重复。1.1 生产时消息重复由于生产者发送消息给MQ，在MQ确认的时候出现了网络波动，生产者没有收到确认，实际上MQ已经接收到了消息。这时候生产者就会重新发送一遍这条消息。生产者中如果消息未被确认，或确认失败，我们可以使用定时任务+（redis/db）来进行消息重试。@Component@Slf4Jpublic class SendMessage { @Autowired pr
2021-06-11 16:14:19
300
1
原创 java 注解
@Documented在自定义注解的时候可以使用@Documented来进行标注，如果使用@Documented标注了，在生成javadoc的时候就会把@Documented注解给显示出来。@Target 说明了Annotation所修饰的对象范围：Annotation可被用于 packages、types（类、接口、枚举、Annotation类型）、类型成员（方法、构造方法、成员变量、枚举值）、方法参数和本地变量（如循环变量、catch参数）。在Annotation类型的声明中使用了target可更
2021-06-08 14:23:06
151
原创 RDD的常用转换算子和行动算子
-转换算子Transformation *转换算子执行完毕之后，会创建新的RDD，并不会马上执行计算 *map 对RDD中的元素进行一个个映射 *mapPartitions 以分区为单位，对RDD中的元素进行映射 *mapPartitionsWithIndex 以分区为单位，对RDD中的元素进行映射，并且带分区编号 *flatMap ...
2021-06-06 11:57:38
1132
原创 系统分析师易错题整理
多核CPU 多核 CPU 环境下进程的调度算法一般有全局队列调度和局部队列调度两种。（18）属于全局队列调 度的特征。 (18)A.操作系统为每个 CPU 维护一个任务等待队列 B.操作系统维护一个任务等待队列C.任务基本上无需在多个 CPU 核心间切换，有利于提高 Cache 命中率 D.当系统中有一个 CPU 核心空闲时，操作系统便从该核心的任务等待队列中选取适当的任务执 行 参考答案：(18)B 试题解析： 对于多核 CPU，优化操作系统任务调度算法是保证效率的关
2021-04-23 09:18:56
1534
原创 函数式编程
解决问题时，将问题分解成一个一个的步骤，将每个步骤进行封装(函数)，通过调用这些封装好的步骤，解决问题。例如：请求->用户名、密码->连接jdbc->读取数据库Scala语言是一个完全函数式编程语言。万物皆函数函数和方法的区别1）核心概念（1）为完成某一功能的程序指令（语句）的集合，称为函数。（2）类中的函数称之方法。案例实操（1）Scala语言的语法非常灵活，可以在任何的语法结构中声明任何的语法（2）函数没有重载和重写的概念；方法可以进行重载和重写（3）scala中
2021-03-09 11:42:14
242
原创 scala语言介绍
什么是Scalascala(Scalable Language)是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(java虚拟机上)，并兼容现有的Java程序。面向对象(将对象当作参数传来传去) + 面向函数(方法，可以将函数当作参数传来传去)为什么要学Scala优雅：这是框架设计师第一要考虑的速度快Spark就是使用Scala编写的，因此为了更好的学习Spark，需要掌握Scala这门语言=Spark的兴起，带动Scala语言的
2021-02-20 12:08:56
9549
原创 kafka相关概念
1.Kafka中的ISR、AR又代表什么？ISR：与leader保持同步的follower集合AR：分区的所有副本2.Kafka中的HW、LEO等分别代表什么？LEO：没个副本的最后条消息的offsetHW：一个分区中所有副本最小的offset3.Kafka中是怎么体现消息顺序性的？每个分区内，每条消息都有一个offset，故只能保证分区内有序。4.Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？拦...
2021-01-30 15:47:05
174
原创 Flume简述
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume组成架构AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成，Source、Channel、Sink。1、SourceSource是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling direct
2021-01-12 15:30:19
235
原创 Radis内存淘汰机制和过期策略
Key的过期策略Redis的Key有3种过期删除策略，具体如下：1. 定时删除原理：在设置键的过期时间的同时，创建一个定时器（timer），让定时器在键的过期时间来临时，立即执行对键的删除操作 优点：能够很及时的删除过期的Key，能够最大限度的节约内存 缺点：对CPU时间不友好，如果过期的Key比较多时，可能会占用相当一部分CPU时间，对服务器的响应时间和吞吐量造成影响2. 惰性删除原理：在取出键时才对键进行过期检查，如果发现过期了就会被删除 优点：对CPU友好，能够最大限度的节约C
2020-12-16 16:03:24
350
原创 RabbitMQ如何保证消息不被重复消费
想想为什么要使用MQ？1.解耦，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要修改代码，过于麻烦！2.异步，将消息写入消息队列，非必要的业务逻辑以异步的方式运行，加快响应速度3.削峰，并发量大的时候，所有的请求直接怼到数据库，造成数据库连接异常使用了消息队列会有什么缺点?1.系统可用性降低:你想啊，本来其他系统只要运行好好的，那你的系统就是正常的。现在你非要加个消息队列进去，那消息队列挂了，你的系统不是呵呵了。因此，系统可用性降低2.系统复杂性增加:要多
2020-12-16 15:33:36
3760
原创 SpringBoot actuator 应用监控
一：初识actuatoractuator是SpringBoot的一个组件，组件名称为：spring-boot-starter-actuator, 引入方式如下：application配置文件：#actuatormanagement.security.enabled= falseendpoints.health.sensitive= falsemaven引入：<dependency> <groupId>org.springframework.boot&l
2020-12-16 14:13:51
450
1
原创 jvm性能调优
一、JVM内存模型及垃圾收集算法1.根据Java虚拟机规范，JVM将内存划分为：New（年轻代） Tenured（年老代） 永久代（Perm） 其中New和Tenured属于堆内存，堆内存会从JVM启动参数（-Xmx:3G）指定的内存中分配，Perm不属于堆内存，有虚拟机直接分配，但可以通过-XX:PermSize -XX:MaxPermSize等参数调整其大小。年轻代（New）：年轻代用来存放JVM刚分配的Java对象 年老代（Tenured)：年轻代中经过垃圾回收没有回收...
2020-12-16 11:25:45
265
原创 Spring Boot 最核心的 25 个注解
学习和应用 Spring Boot 有一些时间了，你们对 Spring Boot 注解了解有多少呢？今天栈长我给大家整理了 Spring Boot 最核心的 25 个注解，都是干货！1、@SpringBootApplication这是 Spring Boot 最最最核心的注解，用在 Spring Boot 主类上，标识这是一个 Spring Boot 应用，用来开启 Spring Boot 的各项能力。其实这个注解就是@SpringBootConfiguration、@EnableAut...
2020-12-15 20:54:42
181
原创 YARN调度器(Scheduler)
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。YARN架构如下:ResourceManager（RM）：负责对各NM上的资源进行统一管理和调度，将AM分配空闲的Container运行并监控...
2020-12-15 14:08:55
260
1
原创 spingCloud 技术组成
重点：基于 Spring Boot云服务、分布式框架集合（众多）核心功能：分布式/版本化配置服务注册和发现路由服务和服务之间的调用负载均衡断路器分布式消息传递流程：请求统一通过 API 网关（Zuul）来访问内部服务。 网关接收到请求后，从注册中心（Eureka）获取可用服务。 由 Ribbon 进行均衡负载后，分发到后端具体实例。 微服务之间通过 Feign 进行通信处理业务。 Hystrix 负责处理服务超时熔断。 Turbine 监控服务间的调用和熔断...
2020-12-04 12:03:16
330
原创 RTMP 协议
一、概述RTMP协议是Real Time Message Protocol(实时信息传输协议)的缩写，它是由Adobe公司提出的一种应用层的协议，用来解决多媒体数据传输流的多路复用（Multiplexing）和分包（packetizing）的问题。RTMP协议从属于应用层，被设计用来在适合的传输协议（如TCP）上复用和打包多媒体传输流（如音频、视频和互动内容）。RTMP提供了一套全双工的可靠的多路复用消息服务，类似于TCP协议[RFC0793]，用来在一对结点之间并行传输带时间戳的音频流，视频流，数据
2020-12-04 10:21:45
1099
原创 hadoop常用命令
常用命令实操2.3.1 准备工作1）启动Hadoop集群[root@hadoop2 hadoop-3.1.3]$ sbin/start-dfs.sh[root@hadoop3 hadoop-3.1.3]$ sbin/start-yarn.sh2）-help：输出这个命令参数[root@hadoop2 hadoop-3.1.3]$ hadoop fs -help rm2.3.2 上传1）-moveFromLocal：从本地剪切粘贴到HDFS[root@hadoop2 hadoop-3.1.3
2020-11-17 11:39:09
338
原创 大数据技术生态体系学习
大数据技术的核心是什么？Hadoop生态体系！ Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构， 主要解决海量数据的存储和海量数据的分析计算问题。 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop 生态圈。1. Sqoop：sqoop 是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle 等）中的数据导进到Hadoop 的 HDFS 中，也可以将 HDFS
2020-11-12 14:11:55
312
原创 HTTPS 原理解析
HTTPS（全称：HyperText Transfer Protocol over Secure Socket Layer），其实 HTTPS 并不是一个新鲜协议，Google 很早就开始启用了，初衷是为了保证数据安全。 近两年，Google、Baidu、Facebook 等这样的互联网巨头，不谋而合地开始大力推行 HTTPS， 国内外的大型互联网公司很多也都已经启用了全站 HTTPS，这也是未来互联网发展的趋势。HTTP 协议（HyperText Transfer Protocol，超文本传输协议）：
2020-10-23 12:31:45
1142
原创 java字节码技术
什么是java字节码技术 Java之所以可以“一次编译，到处运行”，一是因为JVM针对各种操作系统、平台都进行了定制，二是因为无论在什么平台，都可以编译生成固定格式的字节码（.class文件）供JVM使用。因此，也可以看出字节码对于Java生态的重要性。之所以被称之为字节码，是因为字节码文件由十六进制值组成，而JVM以两个十六进制值为一组，即以字节为单位进行读取。在Java中一般是用javac命令编译源代码为字节码文件，一个.java文件从编译到运行的示例如图1所示。字节码技术应用场景AO...
2020-08-08 15:01:20
1187
原创 java垃圾回收器
一、Java有四种类型的垃圾回收器串行垃圾回收器（Serial Garbage Collector） 并行垃圾回收器（Parallel Garbage Collector） 并发标记扫描垃圾回收器（CMS Garbage Collector） G1垃圾回收器（G1 Garbage Collector）每种类型都有自己的优势与劣势。重要的是，我们编程的时候可以通过JVM选择垃圾回收器类型。我们通过向JVM传递参数进行选择。每种类型在很大程度上有 所不同并且可以为我们提供完全不同的应用程序性能.
2020-08-06 13:56:57
432
Zabbix 简单介绍
2018-11-21
itop使用手册
2018-04-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人