- 博客(133)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 算法学习总结
算法学习总结对算法的一些理解算法是什么算法能给我们带来什么如何学好算法算法所依赖的数据结构线性数据结构一些常见算法介绍算法的一些工业化应用整个过程中的收获如何高效的练习算法新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入对
2021-09-05 23:20:26
437
翻译 Flink笔记-架构设计
Flink笔记-架构设计基本组件栈物理部署层Runtime核心层API层架构设计细节Flink架构体系采用的也是分层设计，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富友好的接口。整体从下到上分为三层，物理部署层、Runtime核心层以及API&Libraries层，而API层官方又根据抽象级别的不同细分了四层，之前笔记介绍过。基本组件栈物理部署层主要是负责Fli...
2019-09-13 16:58:57
1132
原创 Flink笔记-延迟数据处理
Flink笔记-延迟数据处理Out Of Order&LateAllowedLateness&OutputTag关于测输出（OutputTag）Flink的窗口处理流式数据虽然提供了基础EventTime的WaterMark机制，但是只能在一定程度上解决数据乱序问题。而某些极端情况下数据延迟会非常严重，即便通过WaterMark机制也无法等到数据全部进入窗口再进行处理。默认情况下...
2019-09-07 18:41:56
5923
原创 Flink笔记-Evictors数据剔除
Flink笔记-Evictors数据剔除Evictors TypeCountEvictorTimeEvictorDeltaEvictor自定义Evictor编程过程当中，可以通过调用DataStream API的evictor()方法【可选方法】传入相应的Evictor对进入WindowFunction前后的数据进行剔除处理，默认的Evictors都是在WindowFunction计算之前对数据...
2019-08-24 21:14:24
1581
原创 Flink学习笔记-Trigger窗口触发
Flink学习笔记-Trigger窗口触发Flink提供的Triggers自定义Trigger窗口的计算触发依赖于窗口触发器，每种类型的窗口都有对应的窗口触发机制，都有一个默认的窗口触发器，触发器的作用就是去控制什么时候来触发我们的聚合方法。Flink内部定义实现了如EventTimeTrigger、ProcessTimeTrigger、CountTrigger以及DeltaTrigger等等。...
2019-08-10 21:03:13
9648
1
原创 Flink学习笔记-WindowsFunction（篇二）
Flink学习笔记-WindowsFunction（篇二）ProcessWindowFunctionProcessWindowFunction抽象类ProcessWindowFunction简单例子ProcessWindowFunction with Incremental AggregationAggregateFunction combined with ProcessWindowFuncti...
2019-07-28 21:57:37
4072
原创 Flink学习笔记-WindowsFunction（篇一）
Flink学习笔记-窗口计算之WindowsFunctionReduceFunction在确定窗口类型之后，便可以定义窗口数据的计算逻辑，也就是定义Window Function。Flink提供了四种类型Window Function，其中有ReduceFunction、AggregateFunction、FlodFunction和ProcessWindowFunction。其中ReduceFu...
2019-07-14 10:46:43
2364
1
原创 Flink学习笔记-窗口计算之WindowsAssigner
Flink学习笔记-Windows窗口计算WindowsAssignerWindowsTriggerEvictorLatenessOutput TagWindowsFunctionWindows在Flink中作为独立的Operator存在，其可以将无限的数据集按照时间或者长度进行切分，从而完成当前所关心数据的统计计算，满足流计算中相关业务场景。每个窗口算子中，包含了Windows Assigne...
2019-07-07 00:54:29
4280
原创 Flink学习笔记-窗口触发和乱序处理
Flink学习笔记-窗口触发和乱序处理Flink窗口函数触发机制out-of-order数据处理通常来讲，由于各种原因，包含但不限于网络、背压，外部系统因素等，事件数据往往不能够及时传输到Flink系统中进行计算，因此，在开启EventTime的前提下，flink提供了一种依据watermark机制结合window来实现对乱序数据的处理的方式。Flink窗口函数触发机制首先，flink窗口...
2019-06-23 14:53:11
2142
原创 Flink学习笔记-Timer&Watermark
Flink学习笔记-timer&watermark事件时间API摄入时间api处理时间各类时间之间的关系水位线flink在计算过程中支持不同维度的时间概念，包含事件时间（Event Time），摄入时间（Ingestion Time），处理时间（Processing Time）；事件时间事件时间描述的是处理依赖的事件源产生事件的时间，也就是说在事件进入flink之前就已经以时间戳的方...
2019-06-02 13:17:01
823
原创 Flink学习小记-执行计划可视化实操
Flink学习小记-实操执行计划可视化执行计划可视化方式Plan Visualization ToolApache Flink Dashboardflink会根据客户端提交程序的一些参数，以及集群中机器（TaskManager）的数量去自动优化选取一个它认为合适的执行策略（使数据在DAG中流动计算）；通常情况下，了解flink为job选取的执行计划对我们理解flink是如何执行客户端任务是非常有...
2019-05-02 00:46:44
3296
原创 Flink学习小记-失败恢复重启策略
Flink学习小记-重启策略欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎...
2019-04-29 11:16:33
4028
原创 Flink学习小计-编程模型
Flink学习小计-编程模型Flink的编程抽象级别有状态的流式处理级别功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入...
2019-04-16 00:30:22
285
翻译 Flink学习小计-流计算DEMO
Flink学习小计---流处理DEMOFlink本地安装Flink流处理DEMO项目创建代码书写Api简单说明数据源模拟Flink本地安装非常简单，点击这里下载之后解压即可Flink流处理DEMO通过一个简单的流处理demo来感性的认识一下Flink。项目创建Flink提供了Maven的模板原型，我们可以直接使用如下命令创建Flink项目。mvn archetype:generate...
2019-02-20 23:31:55
1103
原创 netty源码浅读 - 内存管理
netty内存管理ByteBufByteBuf数据结构ByteBuf继承体系ByteBufAllocator家族功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表F...
2019-01-30 19:35:47
760
原创 设计模式-责任链模式
设计模式-责任链模式对责任链模式的理解例子类图对责任链模式的理解责任链模式的运用可以使客户端透明的发起服务调用不需要关注具体是哪个环节做发起的调用做具体处理，同样，也方便handler的扩展。例子责任链模式结合模板方法模式实例：抽象handler：public abstract class AbstractHandler { /** * 黄金会员 */ ...
2019-01-22 18:21:50
222
原创 设计模式-策略模式
设计模式-策略模式简单实例不足策略枚举方式例子优势和不足策略模式，巧妙的利用了继承和多态的特性，让应用某些算法的功能随着场景的改变而改变；可以与工厂方法模式、代理模式，享元模式搭配使用从而避免对上层暴露太多具体的策略，违背迪米特原则。简单实例策略接口public interface Strategy { /** * 定义抽象算法 */ void algo...
2019-01-07 18:06:43
238
原创 设计模式-代理模式
设计模式-代理模式根据代理类是在运行前还是运行时指定，代理模式可以分为静态代理和动态代理；动态代理又可以根据实现方式不同分为：jdk动态代理、cglib动态代理，javassist动态代理。...
2019-01-02 18:40:15
242
原创 设计模式-模板方法模式
设计模式-模板方法模式AQS中的模板方法模式模板方法模式的优势是可以在设计时就确定算法的执行流程（往往是不可变的），以到达把控整体执行流程的目的，具体实现细节延迟到子类完成，不用关心；也可以用来在重构时，抽取子类的共同逻辑。AQS中的模板方法模式AQS是jdk提供的一个抽象队列同步器，主要实现了同步机制的框架，不关注具体的细节，jdk中有很多api运用到了这个同步器，比如：ThreadPoo...
2019-01-02 13:46:38
351
原创 设计模式-工厂模式
设计模式-工厂模式工厂方法模式静态工厂（简单工厂）多个工厂抽象工厂模式工厂模式可以屏蔽实例化的具体细节，使上下层模块实现解耦。工厂方法模式工厂接口public abstract class Creator { /** * @return */ public abstract <T extends Product> T createProduc...
2018-12-27 17:12:48
424
原创 设计模式-单例设计模式
设计模式-单例设计模式饿汉式传统类加载方式枚举方式懒汉式DCL方式内部类方式工厂方法模式饿汉式传统类加载方式/** * @author qingh.yxb * @date 2018/12/26 10:38 饿汉式加载 */public class SingletonDemo { /** * jvm在类加载第二阶段链接过程中会有一个准备的动作， * 这个动作...
2018-12-26 16:52:31
246
原创 dubbo源码分析-编解码
dubbo源码分析-编解码编解码入口编码入口解码入口消费者请求编码服务提供者解码总结编解码保证消息能被正常的解析，从而保证服务消费的正确性。dubbo使用定长消息头的方式解决半包等通信过程中的问题。编解码入口NettyCodecAdapter里维护了编码解码器，在构建netty pipeline里构造NettyCodecAdapter，并传入相应的handler。NettyCodecAda...
2018-12-05 20:57:38
426
原创 dubbo源码浅析-服务消费（客户端接收处理）
dubbo源码浅析-服务消费（客户端接收处理）分析入口流程分析流程总结客户端接收相关线程状态服务消费的最后一步，客户端接收服务端返回信息并进行相应的处理。分析入口同服务端接收一样，即NettyCodecAdapter内部类InternalDecoder#messageReceived，最终交给业务处理handler（NettyHandler）流程分析接收到服务端发送来的消息流程和上篇...
2018-11-24 10:16:35
343
原创 dubbo源码浅析-服务消费（服务端接收处理）
dubbo源码浅析-服务消费（服务端接收处理）接收流程分析分析入口紧接上文分析下客户端发送之后，服务端的接收和处理接收流程分析分析入口NettyCodecAdapter内部类InternalDecoder#messageReceived进到这里是因为我们在开启netty服务时候，在netty channel的pipeline中按照顺序指定了继承与SimpleChannelUpstre...
2018-11-22 15:32:06
531
2
原创 dubbo源码分析-服务消费（客户端发送）
dubbo源码分析-服务消费代理服务结构消费流程分析服务消费是服务暴露和引用的目的。消费流程为通过服务引用生成的代理，经过一系列处理，带着服务名、方法、参数、版本号等一系列数据向服务提供方发送请求，服务提供方从池中拿到请求分给业务线程处理，处理完后封装成一个Rpc的Response通过tcp端口返回（这个过程中可能涉及到同步请求、异步请求，同步转异步等操作，并且可以配置服务端处理请求的模式），客...
2018-11-18 14:55:11
389
原创 dubbo源码分析-服务引用
dubbo源码分析-服务引用欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入服务...
2018-11-16 17:59:43
451
原创 dubbo源码分析-注册中心
dubbo源码分析-注册中心注册中心职能服务注册流程注册入口具体流程功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入目...
2018-11-10 10:53:26
482
原创 dubbo源码分析-远程暴露
接下来到了这里~因为我们没有配置scope，所以默认全部暴露，得到Invoker过程和本地暴露一致，不在赘述，这里主要分析远程暴露的Invoker转Exporter。远程暴露，在Protocol为RegistryProtocol实例时，ProtocolListenerWrapper，ProtocolFilterWrapper不做处理，...
2018-11-02 18:47:06
573
原创 dubbo源码分析-服务暴露流程
dubbo源码浅析-服务暴露环境准备课前准备服务暴露流程分析总结 dubbo的服务暴露过程实际上就是将一个服务的实现环境准备 基于dubbo2.6.5版本课前准备dubbo服务暴露是依托于spring容器启动的，也可以理解为服务的暴露参与到了spring容器的生命周期当中，所以这就要求我们必须掌握spring相关的一些知识。上篇博客已经提到了服务暴露过程中所依赖的spring相关接口...
2018-10-24 22:12:51
705
原创 dubbo源码浅析-开篇
dubbo源码浅析-开篇框架介绍全局组件服务端相关组件（provider）客户端相关组件（consumer）框架介绍全局组件ExtensionLoader ： 为dubbo的核心组件提供ioc和aop的支持，类似于spring容器的ioc、aop功能，至于为什么dubbo不直接用spring现有的容器功能，官方已经给出了答案，即：不依赖于任何三方，即可运行。ExtensionLoader ...
2018-10-24 22:10:27
458
转载 Java位运算原理及使用讲解
前言日常开发中位运算不是很常用，但是巧妙的使用位运算可以大量减少运行开销，优化算法。举个例子，翻转操作比较常见，比如初始值为1，操作一次变为0，再操作一次变为1。可能的做法是使用三木运算符，判断原始值为1还是0，如果是1，设置为0，否则设置为0.但是使用位运算，不用判断原始值，直接改变值就可以：1^num//num为原始值当然，一条语句可能对代码没什么影响，但是在高重复，大数据量的情况...
2018-08-16 20:29:15
457
转载 HSF源码剖析
前言HSF是一个分布式的远程服务调用框架，其实我更喜欢把分布式几个字去掉，因为HSF本身并不是一个单独的服务（指一个进程），他是附属在你的应用里的一个组件，一个RPC组件(远程过程调用——Remote Procedure Call，是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发分布式应用更加容易)，当...
2018-08-16 12:00:16
1254
转载 Intellij IDEA使用技巧整理
代码自动补全(live templates)IDEA中代码自动补全在IDEA中通过”快捷键+TAB”实现代码自动补全。 比如System.out.println(“”);，在IDEA中可以sout + TAB实现。 常用代码自动补全快捷键快捷键说明soutSystem.out.println(“”);psvmmain方法编写自己的live templates1.打开Live Templates，点...
2018-07-13 11:56:25
377
转载 Java 之泛型通配符 ? extends T 与 ? super T 解惑
简述大家在平时的工作学习中, 肯定会见过不少如下的语句:List<? super T>List<? extends T>我们都知道, 上面的代码时关于 Java 泛型的, 那么这两个不同的写法都有什么区别呢?首先, 说到 Java 的泛型, 我们必须要提到的是Java 泛型的类型擦除机制: Java中的泛型基本上都是在编译器这个层次来实现的. 在生成的 Java 字节代码...
2018-07-11 10:26:19
425
转载 UML类图几种关系的总结
在UML类图中，常见的有以下几种关系:泛化（Generalization）, 实现（Realization）,关联（Association）,聚合（Aggregation）,组合(Composition)，依赖(Dependency) 1.泛化(Generalization)【泛化关系】：是一种继承关系,它指定了子类如何特化父类的所有特征和行为例如：老虎是动物的一种.【箭头指向】：带三角箭头的实...
2018-07-10 10:36:51
254
转载 MySQL中的锁（表锁、行锁）
原文链接https://www.cnblogs.com/chenqionghe/p/4845693.html 锁是计算机协调多个进程或纯线程并发访问某一资源的机制。在数据库中，除传统的计算资源（CPU、RAM、I/O）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所在有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来...
2018-07-10 09:52:49
238
转载 脏读、不可重复读、幻读
锁就是防止其他事务访问指定的资源的手段。锁是实现并发控制的主要方法，是多个用户能够同时操纵同一个数据库中的数据而不发生数据不一致现象的重要保障。 一般来说，锁可以防止脏读、不可重复读和幻觉读。 事务并发产生的问题： 脏读：一个事务读取到了另外一个事务没有提交的数据 事务1：更新一条数据 ----------...
2018-07-09 14:21:36
274
原创 设计细节-----适配粒度权限设计
不积跬步无以至千里，在这里，总结一下自己最近的工作积累。前言：CRM&OA类系统的设计负责度往往是在业务上，而业务上的复杂度，通常是由不同用户在不同业务场景下的各种可操作性决定的。就是说理清了系统用户在不同场景下的操作权限，业务脉络就很清晰了。记录下，针对最近做的一套管理系统的权限设计方案，复杂性体现在下面的描述当中：1.这里说的权限是指数据权限以及数据特权，并非菜单权限。2.默认数据权限...
2018-06-30 16:02:58
516
原创 dubbo源码分析之provider启动流程分析
前置概念：容器（来自百度百科）：Spring 提供容器功能，容器可以管理对象的生命周期、对象与对象之间的依赖关系，您可以使用一个配置文件（通常是XML），在上面定义好对象的名称、如何产生（Prototype 方式或Singleton 方式）、哪个对象产生之后必须设定成为某个对象的属性等，在启动容器之后，所有的对象都可以直接取用，不用编写任何一行程序代码来产生对象，或是建立对象与对象之间的依赖关系。...
2018-06-18 15:24:37
513
转载 TCP/IP协议与Http协议的区别
TPC/IP协议是传输层协议，主要解决数据如何在网络中传输，而HTTP是应用层协议，主要解决如何包装数据。关于TCP/IP和HTTP协议的关系，网络有一段比较容易理解的介绍：“我们在传输数据时，可以只使用（传输层）TCP/IP协议，但是那样的话，如果没有应用层，便无法识别数据内容，如果想要使传输的数据有意义，则必须使用到应用层协议，应用层协议有很多，比如HTTP、FTP、TELNET等，也可以自己...
2018-06-17 22:25:34
464
大数据缓存处理
2018-06-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人