自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (1)
  • 收藏
  • 关注

转载 idea打包

引用idea打包的俩种方式

2020-08-03 17:22:15 156 1

原创 同比环比计算

1.同比环比的区别和意义1.1区别同比:本期与同期做对比。例如 有当前月份的数据,获取上一年相同月份的数据进行比较环比:本期与上期做对比。例如 有当前月份的数据,获取本年上月的数据进行比较1.2意义同比和环比用于表示某一事物在对比时期内发展变化的方向和程度,以财务盈利为例,同比和环比可以反应企业当前的盈利情况,对比上月和去年是否上升还是下降2.同比环比实现代码SELECT CWBB_ZBBH ,CQJ ,NLRZE_DQ ,LAG(NLRZE_DQ, 1,

2020-08-03 15:37:59 454

原创 Spark-Streaming的ExactlyOnce

1.SparkStreamming介绍SparkStreaming是spark技术栈中做实时处理的工具,是一个微批次准实时的流式处理引擎。我们在做实时处理的时候,通过kafka采集数,将数据读入sparkstreamming中进行处理。2.整合kafka方式 1 Receiver方式这个方式已经过时,不建议使用缺点:Receiver方式为了保证数据安全,将数据写入磁盘记录日志【wr...

2019-11-30 17:53:40 324

原创 Hbase架构

引用一篇博客,写的蛮好的Hbase架构深入理解

2019-11-21 15:33:04 140

原创 Flume基础入门

1.Flume简介flume是一个日志采集工具,使用Event在中间传输,event可以携带headers,以byte数组的形式发送。为了保证一定传输成功,flume每个agent都有俩个事务,一个是source和channel之间的事务,一个是channel和sink之间的事务。在数据传输的过程中,在到目的地之前会先缓存数据,直至成功以后才会删除数据2.source类型netcat ...

2019-11-20 21:56:18 238

原创 case when的几种写法区别

1.case when的作用case when的主要作用就是判断取的字段值是否等于某个值,如果等于就等于一个值,否则等于另外的值2.case when的俩种写法case 有俩种写法:分别是简单case函数和搜索case函数初始表内容:±--------±----------+| de1.id | de1.name |±--------±----------+| 1 ...

2019-11-18 20:04:15 8262

原创 sql在left join时on和where的区别

SQL语句left join的时候on和where的执行顺序版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。背景数据库中在执行多表操作的时候经常会写过滤条件,可以在left join后边添加on或者where来过滤,俩者有一定的区别区别on:on的生效区间是在left join 生成一个临时表的时候,一定返回左表的数据,右表没有...

2019-11-15 20:42:46 530

Spark的ExactlyOnce

包括mysql\redis\hbase的ExactlyOnce操作,其中使用一些简易的demo完成了mysql和redis操作ExactlyOnce(聚合类),hbase完成ExactlyOnce(幂等性)。其余数据库的ExactlyOnce都类似,先写入数据,在将偏移量写入到数据库,并且开启事务完成精准一次性写入

2019-11-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除