- 博客(46)
- 收藏
- 关注
RSS订阅
原创 【JAVA重点知识汇总】(包含Java基础、JVM、Java并发)
JAVA重点知识汇总文章目录JAVA重点知识汇总一、String的不可变性二、StringBuilder & StringBuffer三、"=="和equals的区别四、Object.hashCode()五、Java、大数据开发学习要点（持续更新中…）一、String的不可变性1. String的不可变性(ps：通过反射可以改变)String类被final修饰，保证类不被继承。String内部char[] value设置为private，并且用final修饰符修饰，保证成员变量初
2021-06-15 21:41:13
1485
2
原创 分布式理论与ZooKeeper相关概念
分布式理论与ZooKeeper相关概念文章目录分布式理论与ZooKeeper相关概念一、分布式系统与CAP、BASE理论1.1 分布式系统和集群1.2 CAP理论1.3 BASE理论二、分布式一致性协议2.1 2PC和3PC2.2 Paxos算法三、ZAB——ZooKeeper的分布式一致性协议3.1 ZAB协议原理Java、大数据开发学习要点（持续更新中…）一、分布式系统与CAP、BASE理论1.1 分布式系统和集群 分布式是指通过网络连接的多个组件，通过交换信息协作而形成的系统。而集群
2021-06-04 21:32:17
239
3
原创 五千字让你了解的Kafka重点原理
Kafka原理解析文章目录Kafka原理解析一、什么是消息队列？什么是Kafka？1.1 消息队列1.2 Kafka概念与基础架构二、Kafka架构深入！！2.1 Kafka存储模型2.2 Kafka Producer2.2.1 数据分区2.2.2 数据可靠性保证2.2.3 Exactly-Once语义2.2.4 Producer数据提交流程2.3 Kafka Consumer2.3.1 消费模式2.3.2 分区分配策略2.3.3 offset维护2.4 Kafka高效读写的保证～2.5 Kafka如何
2021-05-29 21:52:48
601
原创 HBase万字详细原理解析
HBase超详细原理文章目录HBase超详细原理一、HBase数据模型1.1 逻辑视图与物理视图1.2 多维稀疏排序MapJava、大数据开发学习要点（持续更新中…）一、HBase数据模型 从逻辑视图来看。HBase中的数据是以 表 形式进行组织的，和关系型数据库中的表相同，HBase中的表也由行和列构成。但从物理视图来看，HBase是一个Map，由键值对(K，V)构成，不过与传统的Map不同的是HBase是一个稀疏的、分布式的、多维排序的Map。1.1 逻辑视图与物理视图首先看HBas
2021-05-26 15:22:43
874
原创 计算机网络常用知识总结
计算机网络常用知识总结mac地址和ip地址的区别与作用？mac地址ip地址定义硬件地址，由网络设备制造商生产时 写在硬件内部网络地址格式08:00:20:0A:8C:6D 长度为48位(6个字 节)，通常表示为12个16进制数，每2个 16进制数之间用冒号隔开192.168.0.1 长度为32位。用点分隔开的4个8位组构成组成前6位16进制数08:00:20代表网络硬件制造商的编号，它由IEEE分配，而后3位16进制数0A:8C:6D代表该制造商所制造的某
2021-03-07 17:05:58
1225
原创 操作系统与Linux常用知识总结
操作系统与Linux常用知识总结一、操作系统部分：进程与线程间的区别：（1）从拥有的资源层面看：线程几乎不拥有系统资源，并且同一进程的不同线程间共享进程资源。（2）从系统调度层面看：线程是CPU调度的基本单元，而进程是除CPU外系统资源的分配单元。（3）从系统开销层面看：创建进程需要操作系统为其分配或回收资源（内存空间、I/O资源等），开销较大。同样的在进程切换时，需要保存进程PCB信息和恢复另一进程的执行环境；而线程的切换只会涉及少量寄存器内容，开销较小，且线程共享进程的许多资源。（4）从通
2021-03-07 16:19:56
1458
1
原创 OLAP与ClickHouse基础篇
OLAP与ClickHouse基础知识文章目录OLAP与ClickHouse基础知识一、OLAP二、ClickHouse的特点2.1 MPP架构的列式存储数据库2.2 ClickHouse的表引擎MergeTree2.3 CK的不适用场景一、OLAP联机分析处理(OLAP)是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information)，即共享多
2021-08-06 16:00:46
345
原创 一些有意思的智力题和概率题
文章目录1.一副扑克牌54张，平均分成三份，两张王在同一人手中的概率？1.一副扑克牌54张，平均分成三份，两张王在同一人手中的概率？将大小王分给一个人，另外两个人各拿18张牌的总事件有：3∗C5216C36183*{C_{52}^{16}}{C_{36}^{18}}3∗C5216C3618将54张牌分给三个人包含的事件数为：C5418C3618{C_{54}^{18}}{C_{36}^{18}}C5418C3618根据古典概率，有P=3∗C5216C3618C5418C36.
2021-07-18 15:27:46
860
原创 Flink原理学习（六）窗口和时间
Flink原理学习之 窗口和时间文章目录Flink原理学习之 窗口和时间一、Flink的时间类型二、Watermark三、Flink窗口机制Java、大数据开发学习要点（持续更新中…）一、Flink的时间类型Flink的时间语义分为三种：Event Time：即事件时间，是事件真正发生的时间，一旦确定就不会发生变化。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。Processing Time：即处理时间，是
2021-06-12 16:26:10
1139
2
原创 Hive与优化方法
Hive与优化方法文章目录Hive与优化方法一、Hive概念二、Hive架构三、Hive与数据库的比较四、Hive中一些重要的概念4.1 内部表和外部表4.2 分区表4.3 Hive排序关键字4.4 Hive分桶4.5 三种排序窗函数的区别五、Hive调优5.1 部分场景下尽可能避免启用MR5.2 表的优化5.3 数据倾斜优化5.3 其他优化Java、大数据开发学习要点（持续更新中…）一、Hive概念 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供
2021-06-11 17:00:05
1236
3
原创 Flink原理学习（五）状态
Flink原理学习之 状态文章目录Flink原理学习之 状态一、Flink的状态二、Flink自身容错——checkpoint机制三、Flink端到端一致性保证Java、大数据开发学习要点（持续更新中…）一、Flink的状态 状态在Flink中叫做State，用来保存中间计算结果或者缓存数据。State是实现有状态的计算下Exactly-Once的基础。状态主要分为两种类型：Operator State：跟一个特定算子的实例绑定，整个算子只对应一个State对象(相同的并行算子都能
2021-06-09 11:29:40
2417
原创 MySQL高级（二）——锁与事务
MySQL高级（二）——锁与事务文章目录MySQL高级（二）——锁与事务一、MySQL锁机制**1.1 锁与其应用场景锁的类型和适合的场景读阻塞写、写阻塞读手动锁定一行实现一个事务行锁升级为表锁的情况间隙锁的问题1.2 事务与MySQL隔离级别1.2.1 事务与事务的ACID属性***1.2.2 并发场景事务存在的问题**1.2.3 MySQL事务隔离级别1.2.4 MVCC协议二、MySQL主从复制*Java、大数据开发学习要点（持续更新中…）一、MySQL锁机制**1.1 锁与其应用场景
2021-06-02 19:15:30
611
原创 MySQL高级（一）——索引与查询优化
MySQL原理文章目录MySQL原理一、MySQL逻辑架构常用存储对比(InnoDB与MyISAM)二、杂七杂八的一些知识2.1 SQL慢的可能原因2.2 SQL解析过程2.3 JOIN理论三、索引与B树3.1 什么是索引**？3.2 B树与B+树索引***！四、索引优化4.1 Explain性能分析*4.2 一些优化例子4.3 索引失效与避免**五、其他查询优化六、MySQL锁机制**6.1 锁与其应用场景锁的类型和适合的场景读阻塞写、写阻塞读手动锁定一行实现一个事务行锁升级为表锁的情况间隙锁的问题6
2021-06-01 15:31:53
672
原创 Flink内核原理学习（四）内存模型
Flink内核原理学习之 内存模型文章目录Flink内核原理学习之 内存模型一、JVM内存管理的缺点二、TaskManager内存模型三、内存数据结构四、网络传输中的内存管理4.1 网络IO内存管理4.2 反压机制Java、大数据开发学习要点（持续更新中…）一、JVM内存管理的缺点 目前，大数据计算引擎主要用 Java 或是基于 JVM 的编程语言实现的，Java 语言的好处在于程序员不需要太关注底层内存资源的管理，但同样会面临一个问题，就是如何在内存中存储大量的数据 (包括缓存和高效处理)
2021-05-18 17:26:55
1221
原创 Flink内核原理学习（三）任务调度流程
Flink内核原理学习之 任务调度流程文章目录Flink内核原理学习之 任务调度流程一、Flink中Gragh的概念1.1各类Gragh概念1.2 Gragh细节与转换过程Java、大数据开发学习要点（持续更新中…）一、Flink中Gragh的概念1.1各类Gragh概念 Flink 中的执行图可以分成四层: StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。StreamGraph: 根据用户通过 StreamAPI
2021-05-17 19:30:21
1274
2
原创 Flink内核原理学习（二）组件通信RPC
Flink内核原理学习之任务提交流程文章目录Flink内核原理学习之任务提交流程一、Akka与Actor模型二、RPC消息类型三、Flink通信组件3.1 RpcGateway3.2 RpcEndpoint3.3 RpcService与RpcServer3.4 AkkaRpcActor四、PRC交互过程Java、大数据开发学习要点（持续更新中…）一、Akka与Actor模型 Akka是用于开发并发、容错和可伸缩应用的框架(常用于RPC通信框架)，是Actor模型的实现。每个Actor都是独立
2021-05-14 16:11:58
1353
转载 HashMap和currentHashMap原理解析
Java、大数据开发学习要点（持续更新中…）文章目录一、前言二、HashMapBase 1.7put方法get方法Base 1.8put方法get方法三、CurrentHashMapBase 1.7put方法get方法Base 1.8put方法get方法参考自HashMap? ConcurrentHashMap? 相信看完这篇没人能难住你！一、前言Map 这样的Key,Value在软件开发中是非常经典的结构，常用于在内存中存放数据。本篇主要想讨论 ConcurrentHashMap 这样一个.
2021-05-07 19:58:22
251
原创 Java对象头部与synchronized原理与优化
Java、大数据开发学习要点（持续更新中…）文章目录一、Java对象头部二、偏向锁与轻量级锁一、Java对象头部Java对象头部主要包含Mark Word和类型指针。 HotSpot虚拟机的对象头(Object Header)包括两部分信息，第一部分用于存储对象自身的运行时数据， 如哈希码（HashCode）、GC分代年龄、锁状态标志、线程持有的锁、偏向线程ID、偏向时间戳等等，称为“Mark Word”。 这个对象头在32位的存储空间中，根据锁状态不同或者GC状态不同分成上图中的5种.
2021-05-05 19:49:02
508
原创 CPU运行时优化(高速缓存、指令重排、内存屏障等)
CPU运行时优化(高速缓存、指令重排等)Java、大数据开发学习要点（持续更新中…）文章目录CPU运行时优化(高速缓存、指令重排等)一、CPU高速缓存与缓存一致性协议1.1 高速缓存1.2 缓存一致性协议(MESI)二、CPU运行时指令重排三、内存屏障一、CPU高速缓存与缓存一致性协议1.1 高速缓存 CPU高速缓存主要是用于优化CPU程序执行性能的手段，高速缓存在硬件层面上尽可能地降低处理器访问主内存的时间开销(引申计算机存储结构—磁盘、内存、高速缓存、寄存器)。 L1和L2缓存均
2021-05-02 10:56:15
1243
原创 Flink规则引擎实践分享
Flink规则引擎实践分享文章目录Flink规则引擎实践分享一、实时规则引擎架构***二、规则抽象模型三、规则、条件查询封装**3.1规则封装3.2 查询规则封装四、使用ClickHouse来存放明细并实现查询服务支持4.1 ClickHouse从Kafka摄取数据4.2 ClickHouse查询服务中的sql设计**4.3 ClickHouse查询时间跨度问题与解决**4.4 查询路由模块**五、项目中优化的点5.1 规则匹配方式优化5.2 行为明细规则匹配查询CK并发过高的解决方案Java、大数
2021-04-28 17:16:39
3719
原创 Flink实时数据处理实践经验(Flink去重、维表关联、定时器、双流join)
Flink实时数据处理实践经验文章目录Flink实时数据处理实践经验1. 数据输入与预处理2. 实时数据处理3. 实时数仓架构4. 优化方案Java、大数据开发学习要点（持续更新中…）首先需要知道的一些知识：Flink中所说的UDF在官方文档中定义为用户自己通过继承类或实现接口的自定义类、已有方法中传入匿名内部类、在已有函数中用Lambda表达式。Flink实现结果实时展示(一些简单的分组聚合逻辑)可以直接在流中分组聚合写入Redis/MySQL，而需要在线实时多维分析需要将数据存入Cl
2021-04-17 15:57:26
6142
2
原创 数据仓库理论与实践
数据仓库理论与实践文章目录数据仓库理论与实践一、数仓理论1.1 数据库和数据仓库的区别Java、大数据开发学习要点（持续更新中…）一、数仓理论1.1 数据库和数据仓库的区别数据库和数据库软件：数据库软件是一种物理概念，用于实现数据库。数据库是一种逻辑概念，用于存放数据，数据库由各种表组成，表则能表达数据的二维关系，而数据库的表能用二维表现多维关系。数据仓库：数据仓库从逻辑上讲与数据库没有什么差别，功能都是用于存放数据。但从数据用途和数据量上来讲，数据仓库区别于数据库是面向数据分析和数
2021-04-14 18:26:22
947
原创 JVM调优、GC优化思路与问题解决方法
JVM调优与案例介绍Java、大数据开发学习要点（持续更新中…）文章目录JVM调优与案例介绍解决问题的关键一步总是预防问题的出现：虚拟机启动时内存参数设置：设定合适的内存空间给虚拟机Xms、Xmx，预留合理的内存空间，为后续可能出现的问题发现解决预留内存空间，如jmap、jstat、jstack等命名。虚拟机垃圾回收器选择：通过垃圾回收器参数调优可以发现，实际上一般情况下默认的垃圾回收器参数就是最优的。而不同场景下的垃圾回收器组合对垃圾回收性能的影响是比较大的。如吞吐量优先的Para
2021-04-08 14:00:28
1359
2
原创 MapReduce、MR On YARN(其他：全局TopN、分组TopN等)
MapReduce文章目录MapReduce一、MapReduce流程Java、大数据开发学习要点（持续更新中…）先来个MR的wordcount热热身～import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.
2021-03-28 16:13:20
988
原创 HDFS客户端读写文件流程详解
HDFS读写文件流程文章目录HDFS读写文件流程一、HDFS客户端写文件详解二、HDFS客户端读文件详解Java、大数据开发学习要点（持续更新中…）一、HDFS客户端写文件详解下面深入NameNode在客户端请求写文件时所做的具体事情：NameNode的create动作主要是为客户端传过来的文件名在文件系统中申请一个名字空间，并为之建立一个相应的iNode(状态为underConstruction)，然后为这个客户端创建一个该文件的租约，以防止其它的客户端对这个文件同时写。NameN
2021-03-24 22:00:29
1351
转载 【转载】JDK集合源码解析
1、转载至：Vector、Stack、ArrayList、LinkedList、HashMap源码解析Vector：继承了AbstractList抽象类，实现了List接口，实现了RandomAccess(空接口用于标记此类随机访问快), Cloneable, java.io.Serializable接口，所以支持快速访问、复制(拷贝)、序列化。基于泛型的一维数组实现，有序，允许null存在，支持动态扩容，默认容量为10，增长系数为0，两个值都是可以通过构造函数传递，扩容时，如果增长系数大于0，
2021-03-19 19:46:03
121
原创 计算机网络之应用层(DNS、HTTP)
计算机网络之应用层(DNS、HTTP)文章目录计算机网络之应用层(DNS、HTTP)一、应用层概述二、域名系统DNS2.1 域名与域名空间2.2 DNS服务器三、文件传输协议FTP四、电子邮件与其协议Java、大数据开发学习要点（持续更新中…）一、应用层概述 应用层对应用程序的通信提供服务。其主要功能是文件传输、访问和管理，电子邮件，虚拟终端，查询服务和远程作业服务。涉及的重要协议有有FTP、SMTP、POP3、HTTP、DNS。 网络应用模型分为：客户/服务器模型(C/S)、P2P模型
2021-03-13 20:34:15
992
原创 SQL题与解析
SQL题与解析文章目录SQL题与解析1. 活跃业务查询1. 活跃业务查询解题思路：先用自查询计算每种事件类型(event_type)的平均值，使用分组和AVG函数。将原表与自查询计算的事件平均值表JOIN(条件是事件类型相同)，使原表每行获得事件平均值。过滤JOIN后表格中不符合条件(occurences小于平均值)的行，并按业务分组计算每种业务(bussiness_id)还有两个事件符合的数量。最后用最外层查询过滤符合条件的业务。也可以用HAVING直接过滤。SELECT
2021-03-13 14:19:24
284
原创 计算机网络之传输层(UDP、TCP)
计算机网络之传输层(UDP、TCP)文章目录计算机网络之传输层(UDP、TCP)一、传输层基本概念二、UDP协议三、TCP协议3.1 TCP首部格式Java、大数据开发学习要点（持续更新中…）一、传输层基本概念 传输层的功能如下：(1)为进程和进程间提供逻辑通信；(2)传输层的进程通信具有复用和分用的功能；(3)传输层对收到的报文进行差错检测。复用：应用层所用的应用进程都可以通过传输层再传输到网络层。分用：传输层从网络接收到数据后交付指明的应用进程。ps：1.传输层的寻址使用的软
2021-03-12 19:56:11
613
1
原创 计算机网络之网络层
计算机网络之网络层文章目录计算机网络之网络层一、网络层基本概念回顾二、数据交换三、路由算法与路由协议3.1 路由算法3.2 路由协议四、IP数据报4.1 IP数据报格式Java、大数据开发学习要点（持续更新中…）一、网络层基本概念回顾 网络层主要任务是将分组从源端传送到目的端，为分组交换网上的不同主机提供通信服务，传输单位是数据报。其功能有以下部分组成：路由选择与分组转发异构网络互联拥塞控制二、数据交换 数据交换方式主要分为电路交换、报文交换、分组交换。从图中可以看出
2021-03-10 15:25:22
165
原创 Hadoop HDFS源码学习之NameNode部分
NameNode源码学习文章目录NameNode源码学习一、NameNode简介二、文件系统目录树2.1 INode相关类2.2 快照特性的实现2.3 FSEditLog类Java、大数据开发学习要点（持续更新中…）一、NameNode简介 二、文件系统目录树 NameNode最重要的两个功能之一是维护文件系统的命名空间。HDFS文件系统命名空间在NameNode内存中是以一颗树的结构来存储的。无论是目录还是文件，在目录树中被看作一个INode节点。目录对应INodeDirectory
2021-03-08 22:10:47
1164
原创 计算机网络之数据链路层
计算机网络之数据链路层文章目录计算机网络之数据链路层数据链路层的基本概念Java、大数据开发学习要点（持续更新中…）数据链路层的基本概念首先了解几个基本概念：结点：主机、路由器。链路：网络中两个结点间的物理通道。数据链路：网络中两个结点间的逻辑通道(在链路上加上了实现数据传输协议的硬件和软件)。帧：链路层的协议数据单元，封装网络层数据报。数据链路层功能概述： 数据链路层在物理层提供服务的基础上向网络层提供服务，将源自网络层的数据可靠地传输到相邻节点的目标机网络层。其主要作
2021-03-07 14:32:04
587
原创 计算机网络分层结构
计算机网络分层结构文章目录计算机网络分层结构一、计算机网络的分层一、计算机网络的分层 Java、大数据开发学习要点（持续更新中…）参考：王道考研计算机网络
2021-03-06 17:20:37
2215
原创 计算机网络基本概念
计算机网络基本概念文章目录计算机网络基本概念一、计算机网络基本概念1.1 计算机网络的功能1.2 计算机网络的组成1.3 计算机网络的分类二、标准化工作三、相关性能指标一、计算机网络基本概念 计算机网络是一个将分散的、具有独立功能的计算机系统，通过通信设备和线路连接起来，由功能完善的软件实现资源共享和消息传递的系统（互连、自治的计算机集合）。1.1 计算机网络的功能数据通信(连通性)资源共享(硬件、软件、数据)分布式处理(多台计算机承担同一工作的不同部分，Hadoop)提高可靠性(
2021-03-05 15:40:13
427
1
原创 Hadoop RPC源码学习分享
Hadoop RPC源码学习分享文章目录Hadoop RPC源码学习分享一、RPC框架简介二、Hadoop RPC2.1 客户端部分2.2 服务端部分一、RPC框架简介 RPC(Remote Procedure Call Protocol，远程过程调用协议)是一种通过网络调用远程计算机服务的协议（分布式进程方法调用）。RPC基于TCP/UDP传递和响应RPC请求，允许一台计算机程序远程调用另一台计算机的子程序，对用户透明。 RPC采用客户端/服务端模式，客户端发送一个带参数的调用请求到服务器
2021-03-04 21:49:42
1079
1
原创 操作系统I/O相关
操作系统I/O相关文章目录操作系统I/O相关一、I/O设备和I/O基本概念1. I/O设备2. I/O控制器二、I/O控制方式三、I/O软件层次一、I/O设备和I/O基本概念1. I/O设备 I/O，即输入/输出。I/O设备就是可以将数据输入计算机或者可以接受计算机输出数据的外部设备（硬件设备）。在UNIX操作系统中，将外部设备抽象为一种特殊的文件（使用Read和Write对外部设备进行操作）。2. I/O控制器I/O控制器用于实现CPU对I/O设备的控制。其功能主要如下：接受和识别C
2021-03-04 15:56:52
377
1
原创 操作系统文件与文件管理相关
操作系统文件管理相关文章目录操作系统文件管理相关一、文件的基础概念二、文件的逻辑结构三、文件目录3.1 文件控制块3.2 目录结构四、文件的物理结构4.1 文件块与磁盘块4.2 文件分配方式五、文件存储空间管理5.1 存储空间管理一、文件的基础概念 文件是一组有意义的数据集合，主要包含文件名、标识符、类型、位置、大小、创建时间、上次修改时间、文件所有者信息、保护信息等属性。文件数据的组成：文件的组织结构（树状）：二、文件的逻辑结构无结构文件：文件内部的数据就是一系列二进制流或字
2021-03-02 20:37:02
304
原创 操作系统虚拟内存相关
操作系统虚拟内存文章目录操作系统虚拟内存一、虚拟内存的基本概念一、虚拟内存的基本概念 传送门 —>操作系统全知识点总结传送门参考：《王道考研操作系统》地址：https://www.bilibili.com/video/BV1YE411D7nH...
2021-03-01 14:24:07
206
原创 内存与操作系统内存管理
内存与操作系统内存管理文章目录内存与操作系统内存管理一、内存的基础知识二、内存管理2.1 内存空间扩充2.2 内存空间的分配与回收一、内存的基础知识 内存是用于存放数据的硬件，程序执行前需要将数据放入内存中才能被CPU处理。内存通过对内部的存储单元编地址来解决并发执行下各个程序的数据区分，根据计算机字长的不同，存储单元大小不同（如64位计算机每个字大小为64位，8个字节）。 内存存放的相对寻址：编译语言编译后的指令寻址，是通过相对地址实现的，实际存入内存时再根据进程在内存中的起始地值得到绝对
2021-03-01 10:37:31
3145
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人