5 青禾qingh

尚未进行身份认证

小只~

等级
TA的排名 5w+

Flink学习笔记-Trigger窗口触发

Flink学习笔记-Trigger窗口触发Flink提供的Triggers自定义Trigger窗口的计算触发依赖于窗口触发器,每种类型的窗口都有对应的窗口触发机制,都有一个默认的窗口触发器,触发器的作用就是去控制什么时候来触发我们的聚合方法。Flink内部定义实现了如EventTimeTrigger、ProcessTimeTrigger、CountTrigger以及DeltaTrigger等等。...

2019-08-10 21:03:13

Flink学习笔记-WindowsFunction(篇二)

Flink学习笔记-WindowsFunction(篇二)ProcessWindowFunctionProcessWindowFunction抽象类ProcessWindowFunction简单例子ProcessWindowFunctionwithIncrementalAggregationAggregateFunctioncombinedwithProcessWindowFuncti...

2019-07-28 21:57:37

Flink学习笔记-WindowsFunction(篇一)

Flink学习笔记-窗口计算之WindowsFunctionReduceFunction在确定窗口类型之后,便可以定义窗口数据的计算逻辑,也就是定义WindowFunction。Flink提供了四种类型WindowFunction,其中有ReduceFunction、AggregateFunction、FlodFunction和ProcessWindowFunction。其中ReduceFu...

2019-07-14 10:46:43

Flink学习笔记-窗口计算之WindowsAssigner

Flink学习笔记-Windows窗口计算WindowsAssignerWindowsTriggerEvictorLatenessOutputTagWindowsFunctionWindows在Flink中作为独立的Operator存在,其可以将无限的数据集按照时间或者长度进行切分,从而完成当前所关心数据的统计计算,满足流计算中相关业务场景。每个窗口算子中,包含了WindowsAssigne...

2019-07-07 00:54:29

Flink学习笔记-窗口触发和乱序处理

Flink学习笔记-窗口触发和乱序处理Flink窗口函数触发机制out-of-order数据处理通常来讲,由于各种原因,包含但不限于网络、背压,外部系统因素等,事件数据往往不能够及时传输到Flink系统中进行计算,因此,在开启EventTime的前提下,flink提供了一种依据watermark机制结合window来实现对乱序数据的处理的方式。Flink窗口函数触发机制首先,flink窗口...

2019-06-23 14:53:11

Flink学习笔记-Timer&Watermark

Flink学习笔记-timer&watermark事件时间API摄入时间api处理时间各类时间之间的关系水位线flink在计算过程中支持不同维度的时间概念,包含事件时间(EventTime),摄入时间(IngestionTime),处理时间(ProcessingTime);事件时间事件时间描述的是处理依赖的事件源产生事件的时间,也就是说在事件进入flink之前就已经以时间戳的方...

2019-06-02 13:17:01

Flink学习小记-执行计划可视化实操

Flink学习小记-实操执行计划可视化执行计划可视化方式PlanVisualizationToolApacheFlinkDashboardflink会根据客户端提交程序的一些参数,以及集群中机器(TaskManager)的数量去自动优化选取一个它认为合适的执行策略(使数据在DAG中流动计算);通常情况下,了解flink为job选取的执行计划对我们理解flink是如何执行客户端任务是非常有...

2019-05-02 00:46:44

Flink学习小记-失败恢复重启策略

Flink学习小记-重启策略欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML图表FLowchart流程图导出与导入导出导入欢迎...

2019-04-29 11:16:33

Flink学习小计-编程模型

Flink学习小计-编程模型Flink的编程抽象级别有状态的流式处理级别功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML图表FLowchart流程图导出与导入导出导入...

2019-04-16 00:30:22

Flink学习小计-流计算DEMO

Flink学习小计---流处理DEMOFlink本地安装Flink流处理DEMO项目创建代码书写Api简单说明数据源模拟Flink本地安装非常简单,点击这里下载之后解压即可Flink流处理DEMO通过一个简单的流处理demo来感性的认识一下Flink。项目创建Flink提供了Maven的模板原型,我们可以直接使用如下命令创建Flink项目。mvnarchetype:generate...

2019-02-20 23:31:55

netty源码浅读 - 内存管理

netty内存管理ByteBufByteBuf数据结构ByteBuf继承体系ByteBufAllocator家族功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML图表F...

2019-01-30 19:35:47

设计模式-责任链模式

设计模式-责任链模式对责任链模式的理解例子类图对责任链模式的理解责任链模式的运用可以使客户端透明的发起服务调用不需要关注具体是哪个环节做发起的调用做具体处理,同样,也方便handler的扩展。例子责任链模式结合模板方法模式实例:抽象handler:publicabstractclassAbstractHandler{/***黄金会员*/...

2019-01-22 18:21:50

设计模式-策略模式

设计模式-策略模式简单实例不足策略枚举方式例子优势和不足策略模式,巧妙的利用了继承和多态的特性,让应用某些算法的功能随着场景的改变而改变;可以与工厂方法模式、代理模式,享元模式搭配使用从而避免对上层暴露太多具体的策略,违背迪米特原则。简单实例策略接口publicinterfaceStrategy{/***定义抽象算法*/voidalgo...

2019-01-07 18:06:43

设计模式-代理模式

设计模式-代理模式根据代理类是在运行前还是运行时指定,代理模式可以分为静态代理和动态代理;动态代理又可以根据实现方式不同分为:jdk动态代理、cglib动态代理,javassist动态代理。...

2019-01-02 18:40:15

设计模式-模板方法模式

设计模式-模板方法模式AQS中的模板方法模式模板方法模式的优势是可以在设计时就确定算法的执行流程(往往是不可变的),以到达把控整体执行流程的目的,具体实现细节延迟到子类完成,不用关心;也可以用来在重构时,抽取子类的共同逻辑。AQS中的模板方法模式AQS是jdk提供的一个抽象队列同步器,主要实现了同步机制的框架,不关注具体的细节,jdk中有很多api运用到了这个同步器,比如:ThreadPoo...

2019-01-02 13:46:38

设计模式-工厂模式

设计模式-工厂模式工厂方法模式静态工厂(简单工厂)多个工厂抽象工厂模式工厂模式可以屏蔽实例化的具体细节,使上下层模块实现解耦。工厂方法模式工厂接口publicabstractclassCreator{/***@return*/publicabstract<TextendsProduct>TcreateProduc...

2018-12-27 17:12:48

设计模式-单例设计模式

设计模式-单例设计模式饿汉式传统类加载方式枚举方式懒汉式DCL方式内部类方式工厂方法模式饿汉式传统类加载方式/***@authorqingh.yxb*@date2018/12/2610:38饿汉式加载*/publicclassSingletonDemo{/***jvm在类加载第二阶段链接过程中会有一个准备的动作,*这个动作...

2018-12-26 16:52:31

dubbo源码分析-编解码

dubbo源码分析-编解码编解码入口编码入口解码入口消费者请求编码服务提供者解码总结编解码保证消息能被正常的解析,从而保证服务消费的正确性。dubbo使用定长消息头的方式解决半包等通信过程中的问题。编解码入口NettyCodecAdapter里维护了编码解码器,在构建nettypipeline里构造NettyCodecAdapter,并传入相应的handler。NettyCodecAda...

2018-12-05 20:57:38

dubbo源码浅析-服务消费(客户端接收处理)

dubbo源码浅析-服务消费(客户端接收处理)分析入口流程分析流程总结客户端接收相关线程状态服务消费的最后一步,客户端接收服务端返回信息并进行相应的处理。分析入口同服务端接收一样,即NettyCodecAdapter内部类InternalDecoder#messageReceived,最终交给业务处理handler(NettyHandler)流程分析接收到服务端发送来的消息流程和上篇...

2018-11-24 10:16:35

dubbo源码浅析-服务消费(服务端接收处理)

dubbo源码浅析-服务消费(服务端接收处理)接收流程分析分析入口紧接上文分析下客户端发送之后,服务端的接收和处理接收流程分析分析入口NettyCodecAdapter内部类InternalDecoder#messageReceived进到这里是因为我们在开启netty服务时候,在nettychannel的pipeline中按照顺序指定了继承与SimpleChannelUpstre...

2018-11-22 15:32:06

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。