shandongwill-CSDN博客

原创 Netty实现大文件分块传输详解

在Netty中，切分大文件进行传输主要利用以及它的实现类，如。这种机制允许你将大文件切分成多个小块（chunks），并通过Netty的pipeline进行异步发送。设置Netty的ServerBootstrap或Bootstrap首先，你需要配置你的ServerBootstrap或Bootstrap，并添加到你的pipeline中。会处理所有或的写入。创建ChunkedFile对象使用类来创建一个代表大文件的对象。你需要提供文件的路径，以及每个chunk的大小（或者默认使用的默认chunk大小）。

2024-04-16 14:59:14 170 3

原创 Netty源码解析-服务启动过程

Netty是一个高性能、异步事件驱动的网络应用框架，用于快速开发可维护的高性能协议服务器和客户端。它的服务启动过程涉及多个组件和步骤，下面我将对Netty的服务启动过程进行详细的源码解析。

2024-04-11 18:59:29 727 10

原创 Netty NioEventLoop详解

Netty通过事件循环机制(EventLoop)处理IO事件和异步任务，简单来说，就是通过一个死循环，不断处理当前已发生的IO事件和待处理的异步任务。① NioEventLoop是一个基于JDK NIO的异步事件循环类，它负责处理一个Channel的所有事件在这个Channel的生命周期期间。② NioEventLoop的整个生命周期只会依赖于一个单一的线程来完成。

2024-04-05 19:53:09 1241 19

原创 Netty的线程模型

Netty的线程模型采用了Reactor模式，这是一种高性能的IO设计模式，它基于NIO多路复用。Netty支持多种线程模型，包括单线程模型、多线程模型和混合线程模型。

2024-04-05 10:37:20 936 15

原创 Java NIO Selector选择器源码分析

Java NIO（New I/O）的Selector选择器是一个用于多路复用（Multiplexing）的I/O操作的关键组件。它允许一个单独的线程监视多个通道（Channel）的可读性和可写性，从而有效地管理大量并发连接。AbstractSelector主要实现了Selector的打开关闭的状态维护，支持异步关闭和中断的begin和end方法，cancelledKeys等。// 是否打开// 三大key集合之一cancelledKeysif (!

2024-04-03 08:40:42 1144 18

原创 Java NIO Selector选择器简介

Selector是Java NIO（New I/O）中的核心组件之一，用于检查一个或多个NIO Channel（通道）的状态是否处于可读、可写、可连接或可接收等。通过Selector，可以实现单线程管理多个Channel对应的网络连接，从而避免多线程的线程上下文切换带来的额外开销。Selector与Channel之间的关系是通过注册的方式完成的。只有SelectableChannel才能被Selector管理，例如所有的Socket通道。

2024-04-02 11:31:09 1035 6

原创设计模式之观察者模式

观察者模式（Observer Pattern）也被称为发布订阅模式（Publish-Subscribe Design Pattern）。它是一种行为设计模式，允许对象之间建立一种一对多的依赖关系，这样当一个对象状态改变时，它的所有依赖者（观察者）都会收到通知并自动更新。

2024-04-02 08:25:17 1280 7

原创 openLooKeng开发环境搭建

airbase 是 Airlift 公司提供的一个基础构建工具集，它包含了一系列 Maven 插件、依赖管理和其他配置，旨在帮助 Java 开发者更容易地创建、维护和发布 Maven 项目。当您构建或安装您的 Maven 项目时，Maven 会首先解析父 POM，并将父 POM 中的配置应用到当前项目中。在搭建OpenLooKeng开发环境之前，需要确保你的机器上安装了Java Development Kit (JDK) 8以上版本，因为OpenLooKeng是用Java编写的。

2024-03-30 09:45:20 1205 19

原创 Netty空闲检测&Keepalive

Netty的心跳检测和Keepalive机制都是为了确保客户端和服务器之间的连接仍然有效，防止连接断开。但它们在实现方式和原理上有所不同。Netty的心跳检测机制是一种自定义的、基于应用层的机制。它主要通过定时发送和接收特定的消息（心跳包）来检测连接是否仍然处于活动状态。具体来说，Netty提供了IdleStateHandler类来实现心跳检测。在初始化ChannelPipeline时，我们可以添加IdleStateHandler实例，并设置读、写超时时间。

2024-03-26 19:50:54 1218 21

原创设计模式-工厂模式

工厂设计模式是一种创建型设计模式，它提供了一种在不指定具体类的情况下创建对象的方法。工厂模式将对象的创建与使用分离，使得代码更加灵活和可维护。工厂模式主要分为三种类型：简单工厂模式、工厂方法模式和抽象工厂模式。不过，在 GoF 的《设计模式》一书中，它将简单工厂模式看作是工厂方法模式的一种特例，所以工厂模式只被分成了工厂方法和抽象工厂两类。抽象工厂模式是一种创建型设计模式，它提供了一种方式来封装一组具有共同主题的单个工厂，而不需要指定它们的具体类。

2024-03-26 10:11:12 820 6

原创 Nginx Socket代理

Nginx 的 socket 代理通常指的是 Nginx 通过 stream 模块来处理非 HTTP 的 TCP 流量，比如数据库连接、SSH 连接或其他 TCP 协议的流量。stream 模块允许 Nginx 作为一个反向代理来处理这些连接。stream {server {# Nginx 监听的端口# 后端服务器的地址和端口在这个示例中，Nginx 在本地监听 12345 端口，并将所有到达这个端口的连接代理到的 12345 端口。stream 模块。

2024-03-25 17:03:39 1006 6

原创 nginx编译安装详细说明

在 CentOS 7 上编译安装 Nginx 1.24.0 ，您可以按照以下步骤进行操作。

2024-03-25 15:51:09 341 13

原创设计模式-访问者(Visitor)模式详解和应用

最近在做一个根据数学表达式生成java执行代码的功能，其中用到了访问者模式。使我对访问者模式有了更深入的理解。故写下此篇文章分享出来，不足之处请大家指正。访问者模式（Visitor Pattern）是GoF提出的23种设计模式中的一种，属于行为模式。GoF《Design Pattern》中的定义：表示一个作用于某对象结构中的各元素的操作。它使你可以在不改变各元素类的前提下定义作用于这些元素的新操作。

2024-03-21 14:40:39 1057 10

原创 Java组合式异步编程CompletableFuture

CompletableFuture是Java 8中引入的一个功能强大的Future实现类，它的字面翻译是“可完成的Future”。CompletableFuture对并发编程进行了增强，可以方便地将多个有一定依赖关系的异步任务以流水线的方式组合在一起，大大简化多异步任务的开发。

2024-03-19 14:29:02 1424 12

原创 Java 动态代理Proxy应用和底层源码分析

Java Proxy主要用于创建动态代理实例，这些实例实现了指定的一组接口，并在调用方法时将调用转发给指定的调用处理器（InvocationHandler）。这种机制常用于实现AOP（面向切面编程）框架、RPC（远程过程调用）框架等，以及任何需要动态改变对象行为的场景。

2024-03-18 10:50:03 828 12

原创 Flink 集群部署模式

Flink支持多种集群部署模式，以满足不同场景和需求。会话模式（Session Mode）在会话模式下，用户首先启动一个长期运行的Flink集群，然后在这个会话中提交多个作业。集群资源在启动时就已经确定，提交的作业会竞争集群中的资源，直到作业运行完毕释放资源。会话模式适合执行大量规模小、执行时间短的作业。由于集群资源是共享的，因此可能存在资源争用的问题。单作业模式（Per-Job Mode）在单作业模式下，每个作业都会启动一个独立的Flink集群，作业完成后集群也会关闭。

2024-03-16 11:50:28 1499 8

原创 Flink广播流 BroadcastStream

Flink中的广播流（BroadcastStream）是一种特殊的流处理方式，它允许将一个流（通常是一个较小的流）广播到所有的并行任务中，从而实现在不同任务间共享数据的目的。广播流在处理配置信息、小数据集或者全局变量等场景下特别有用，因为这些数据需要在所有任务中保持一致且实时更新。定义MapStateDescriptor：首先需要定义一个MapStateDescriptor来描述要广播的数据的格式。这个描述器指定了数据的键值对类型。创建广播流：然后，需要将一个普通的流转换为广播流。这通常通过调用流的。

2024-03-14 17:21:00 1561 8

原创 Flink实战之 MySQL CDC

Flink CDC主要关注于从源数据库（如MySQL、PostgreSQL等）捕获数据变更，并将这些变更实时地提供给Flink作业进行处理。Flink CDC的核心优势在于其实时性和一致性。通过捕获数据库的增量变动记录，Flink CDC能够实时地将这些变更数据同步到Flink流处理作业中，从而实现低延迟的数据处理和分析。同时，Flink CDC还保证了数据的一致性，确保在数据处理过程中数据的准确性和完整性。为了实现这一功能，Flink社区开发了flink-cdc-connectors组件。

2024-03-13 08:28:49 946 6

原创 Flink StreamTask启动和执行源码分析

Flink的StreamTask的启动和执行是一个复杂的过程，涉及多个关键步骤。初始化：StreamTask的初始化阶段涉及多个任务，包括Operator的配置、task特定的初始化以及初始化算子的State等。在这个阶段，Flink将业务处理函数抽象为operator，并通过operatorChain将业务代码串起来执行，以完成业务逻辑的处理。同时，还会调用具体task的init方法进行初始化。读取数据和事件：StreamTask通过mailboxProcessor读取数据和事件。运行业务逻辑。

2024-03-10 20:50:22 1234 12

原创 Flink 资源管理

在Flink中，资源管理是一个核心组件，它负责分配和管理计算资源，以确保任务能够高效、稳定地运行。资源管理的目标高效性：确保任务能够充分利用可用的计算资源，达到最佳的处理性能。稳定性：在资源不足或任务失败时，能够优雅地处理并恢复任务，保持系统的稳定运行。资源管理的组件：由Flink Master（也称为JobManager）和多个Task Managers组成。Master负责整个集群的协调和资源分配，而Task Managers负责执行具体的任务。

2024-03-09 21:06:14 1284 5

原创 Flink 物理执行图

JobManager根据ExecutionGraph对作业进行调度，并在各个TaskManager上部署任务。这些任务在TaskManager上的实际执行过程就形成了物理执行图。物理执行图并不是一个具体的数据结构，而是描述了流处理任务在集群中的实际执行情况。

2024-03-08 16:19:48 1432 6

原创 Flink ExecuteGraph构建源码解析

JobManager(JobMaster) 根据 JobGraph 生成 ExecutionGraph。ExecutionGraph是JobGraph 的并行化版本，是调度层最核心的数据结构。

2024-03-07 17:33:25 1448 8

原创 Flink JobGraph构建过程

在StreamGraph构建过程中分析了StreamGraph的构建过程，在StreamGraph构建完毕之后会对StreamGraph进行优化构建JobGraph，然后再提交JobGraph。优化过程中，Flink会尝试将尽可能多的StreamNode聚合在一个JobGraph节点中，通过合并创建JobVertex，并生成JobEdge，以减少数据在不同节点之间流动所产生的序列化、反序列化、网络传输的开销。

2024-03-06 12:32:19 1135 6

原创 Flink StreamGraph生成过程

在 Flink 中，StreamGraph 是数据流的逻辑表示，它描述了如何在 Flink 作业中执行数据流转换。StreamGraph 是 Flink 运行时生成执行计划的基础。使用DataStream API开发的应用程序，首先被转换为 Transformation，再被映射为StreamGraph，在客户端进行StreamGraph、JobGraph的转换，提交JobGraph到Flink集群后，Flink集群负责将JobGraph转换为ExecutionGraph，之后进入调度执行阶段。Stre

2024-03-03 21:12:24 1470 8

原创 Flink状态存储-StateBackend

Flink是一个流处理框架，它需要对数据流进行状态管理以支持复杂的计算逻辑。在Flink中，状态存储是指如何和在哪里存储这些状态数据。Flink提供了多种状态后端（State Backend）来实现这种存储，以满足不同的应用场景和性能需求。StateBackend需要具备如下两种能力：1、在计算过程中提供访问 State 的能力，开发者在编写业务逻辑中能够使用 StateBackend 的接口读写数据。2、能够将 State 持久化到外部存储，提供容错能力。

2024-03-02 21:06:33 1318 5

原创 UE蓝图编译过程详解

蓝图编译器是一种用于编译UE蓝图的可视化脚本系统的编译器。其主要作用是将蓝图资源的属性和图转换成类，以便在运行时使用。在编译过程中，编译器会将节点转换成一系列的语句，然后编译器后端会将这些节点翻译成字节码操作。例如，变量赋值、无条件跳转（goto）和调用（call）等操作。

2024-03-01 10:17:57 1813 4

原创 UE蓝图数组(MakeArray)节点和源码

在Unreal Engine的蓝图中，数组节点是容器节点的一种具体实现，用以创建空白数组或数组变量。你需要在你的蓝图中从“右键菜单” -> 在弹出框中输入节点的名字进行检索->选择节点，添加一个MakeArray节点。节点的属性窗口中，您可以设置数组的默认值。例如，您可以根据游戏逻辑的需要，在循环中生成一系列元素，并将它们添加到数组中。节点创建了数组，并填充了数据，您就可以使用其他与数组相关的节点来处理这些数据。节点在UE蓝图中扮演了创建和操作数组的关键角色，使您能够在游戏中灵活处理和管理数据。

2024-02-29 14:58:03 878 5

原创 UE蓝图宏(Macro)节点和源码

宏有一个由Tunnel节点指定的入口点和出口点。每个Tunnel都可以有任意数量的执行或数据引脚，当在其他蓝图和图表中使用时，这些引脚在宏节点上可见。宏用于封装和管理蓝图逻辑，提高代码的可读性和可维护性。通过合理使用蓝图宏节点，可以使UE4项目的开发更加高效和灵活。

2024-02-28 08:33:53 1302 10

原创 UE蓝图序列(Sequence)节点和源码

UE（Unreal Engine）蓝图中的ExecutionSequence节点是一个非常重要的节点，用于控制执行序列中的不同分支。：序列节点可以用于实现游戏对象的状态管理。例如，在角色创建时，可以使用序列节点来确保先加载角色的模型，然后设置角色的初始状态，最后为角色添加技能和装备。例如，在任务执行过程中，可以使用序列节点来控制任务目标的完成顺序，或者在任务完成后触发特定的奖励或事件。

2024-02-25 20:31:26 1153 14

原创 UE蓝图函数调用(CallFunction)节点和源码

函数调用(CallFunction)节点用于调用指定的函数或方法。这些函数可以是引擎自带的，也可以是用户自定义的。

2024-02-24 11:56:37 1706 6

原创 mybatis 集成neo4j功能实现

MyBatis与Neo4集成步骤和配置、代码示例Neo4j数据模型和查询语言 Cypher 与传统的关系型数据库有很大的不同。因此原生MyBatis 并不支持 Neo4j，需要引入第三方jar包，并通过配置和编码的方式进行集成。

2024-02-23 15:26:40 1348 8

原创 UE蓝图返回结果(FunctionResult)节点和源码

FunctionResult节点是UE蓝图中用于返回函数执行结果的重要节点之一。它可以帮助您将函数的返回值传递给调用者，并在需要时进行调试和测试。FunctionResult节点通常位于函数的末尾。

2024-02-22 11:07:38 1020 9

原创 UE蓝图入口(FunctionEntry)节点和源码

UE蓝图入口(FunctionEntry)节点和源码在UE（Unreal Engine）蓝图中，是UE蓝图中函数或宏的入口节点，通常被称为“函数入口节点”或“FunctionEntry”。这个节点是一个事件节点，它标志着函数或宏的开始执行。当这个函数或宏被调用时，节点会被激活，从而触发函数或宏内部的逻辑执行。

2024-02-21 14:32:29 1114 6

原创 UE蓝图分支(Branch)节点和源码

在Unreal Engine（UE）的蓝图中，分支节点是一个非常重要的的逻辑控制节点，它允许你根据某个条件（Condition）的真假来执行不同的逻辑路径。这个节点在编程中相当于一个if-else语句，用于控制程序的流程。

2024-02-20 12:00:23 1260 23

原创 UE蓝图 Cast节点和源码

Cast节点是一种蓝图系统中的节点，用于执行类型转换操作。Cast节点用于检测一个对象是否可以被转换（或“投射”）为另一种类型，并在转换成功时返回转换后的对象。

2024-02-19 15:13:33 1237 6

原创 UE蓝图 Set节点和源码

UE蓝图中的Set节点是用于对变量进行赋值操作的重要组件。它具有多种功能和作用，具体如下：总的来说，UE蓝图中的Set节点提供了一种直观、简单且高效的方式来对游戏开发中的变量进行赋值操作，同时支持多种数据类型和动态修改，极大地简化了游戏开发过程。实现方式：总的来说，UE蓝图中的Set节点是游戏开发中不可或缺的一部分，它简化了变量操作过程，提高了开发效率，并使得逻辑流程更加清晰明了。通过了解Set节点的功能和实现方式，开发者可以更好地利用它进行游戏开发，提高游戏的质量和用户体验。

2024-02-18 10:41:58 760 6

原创 UE蓝图 Get节点和源码

然后，在蓝图编辑器中，你可以通过右键点击空白处，选择“添加节点” -> “变量” -> “Get”来创建一个Get节点。一旦创建了Get节点，你可以将其拖拽到蓝图的适当位置，并连接它到需要使用该变量值的其他节点。例如，你可以使用Get节点获取一个游戏对象的位置，然后根据这个位置来执行某些动作或决策。总的来说，UE Get节点是Unreal Engine蓝图系统中用于读取变量值的重要工具，它使得开发者能够灵活地获取和使用游戏中的数据。需要注意的是，Get节点只是获取变量的值，而不会修改它。

2024-02-17 20:36:01 518 3

原创 DataX源码分析-插件机制

DataX的插件机制是其核心特性之一，它使得DataX能够灵活地适应各种不同的数据源的数据同步。这一机制主要基于插件开发框架，该框架主要包括Reader插件、Transformer插件、Writer插件。DataX的插件机制还采用了框架+插件的架构。框架负责连接Reader和Writer插件，作为两者的数据传输通道，并处理缓冲、流控、并发、数据转换等核心技术问题。这种架构使得插件只需关心数据的读取或写入本身，而同步的共性问题则由框架来处理。此外，DataX的插件机制还具有良好的扩展性和可维护性。

2024-02-16 20:47:16 1292 14

原创 DataX源码分析 Channel

DataX的Channel是Reader和Writer之间的通信组件，负责数据的缓冲和流控制。它实现了从Reader读取数据并写入到Writer的功能，确保数据在传输过程中的高效和稳定。在DataX的任务执行过程中，Channel的值可以视为数据管道的数量。Reader向Channel写入数据，而Writer从Channel读取数据。Channel还提供了限速功能，支持数据大小和数据条数的限制。

2024-02-15 20:53:17 1356 16

原创 DataX源码分析 writer

在 DataX 中，writer 是数据同步过程中的一个核心组件，负责将数据写入到目标数据源。下面是对 DataX 中 writer 组件的源码分析：Writer 接口定义：DataX 的 writer 组件首先定义了一个 Writer 接口，该接口定义了 writer 需要实现的基本方法，如 init(), write(), post() 等。不同的数据源插件需要实现这个接口，提供对应的数据写入逻辑。

2024-02-14 19:36:35 983 3