- 博客(197)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 hue ensure called on an unitialized
ensure called on an unitialized报这个错误的原因是hue的session过期，操作如下:
2022-04-15 15:00:06
2141
原创 hive lateral view explode + union all 丢数问题
select xxxxx from table lateral view explode(split(regexp_replace(businessdict,'\\[|\\]','__'),'__')) col as jsons where pt=${v_1day} and businessdict like '%name%' union all select xxxx from table当使用 lateral view ...
2022-04-12 11:02:51
2596
4
原创 流量埋点相关
Acquisition，Activation，Retention，Revenue，ReferCAC:Customer acquisition cost流量不区分 局部 还是整体理 从数据来源 到数据消费 从埋点开始考虑思考埋点的事情 ，摸一下埋点整体的流程埋点管理埋点生命周期 1.埋点需求2.设计埋点3.埋点管理平台配置4.开发5.测试埋点是否正确6.上线埋点7.监控埋点质量8.评价埋点的好坏质量如何保障 事前 事中 事后事前 归...
2021-06-23 18:17:47
200
原创 FS-LDM第十三讲-----Finance主题(财务)
Finance主题—主要特征总账和日记凭证 分类账务-资产、GL分型-资产、负债、权益、收入和费用 总账科目余额-预算和决算 与交易事件和账户/协议 为账务编目提供灵活性FINANCE主题－主要实体...
2021-04-07 09:41:45
672
原创 FS-LDM第十一讲-----CAMPAIGN主题(营销活动)
CAMPAIGN主题 — 概述营销活动是为了获取、维护、增强银行与客户的关系而开展的一些促销的活动； 营销活动是一些有组织的活动，其目的可以是为了把某些产品推向市场，也有可能是为了树立银行在市场上的形象； 完整的营销活动应该包括营销策略、营销行为以及营销活动的反馈信息； 收集营销活动的信息可以帮助银行发现最有效的营销方式，了解不同类型客户对营销活动的反馈CAMPAIGN主题—业务规则营销活动的策略可能是很多层次的； 一个营销活动可能会导致实施一个或多个实际的促销事件； 一个营销活动可以通
2021-04-06 18:12:05
958
原创 FS-LDM第七讲-----ASSET主题(资产)
Asset - 客户资产定义： 客户资产（ASSET）主题是所有可能采集到的各种客户的资产（负债）信息，包括有形的和无形的各种客户资产/负债，同时海可以存储银行向外租赁的各种资产信息。 可能是客户的不动产、商品存货、珠宝、机动车辆、以及在其他金融机构的存款、贷款等。ASSET主题 — Customer AssetASSET－分类京东: 信贷 白条 积分就可以理解为资产ASSET－分组ASSET－与其他主题的关系...
2021-04-06 17:26:02
456
原创 FS-LDM第五讲-----Internal Org主题(内部组织)
Internal Organization - 内部组织内部组织机构是指金融机构的内部组织和业务单元，如分行、客服中心、支行、储蓄所、部门、销售团队等等。是一种特殊的PARTY（技术上） 包括所有的组织类型 体现内部机构之间复杂的关系 提供层次和矩阵结构 不仅包含自身的内部组织机构，还包括其他的内部组织 和多个主题有关联Internal Org主题 — 业务规则内部组织机构可能是银行内部的组织机构，也有可能是任何一个法人机构当事人的内部组织； 比如对于美团外卖来说了，外...
2021-04-06 16:53:15
611
原创 FS-LDM第十二讲-----Channel主题(渠道)
文章内容来自NCR数据仓库事业部Channel主题：用户通过渠道向金融机构获取关金融机构或金融机构产品信息以及使用金融产品。金融机构通过渠道向用户销售产品或提供服务。 渠道与当事人、产品、帐号等其他实体存在各种关系。 渠道分为若干渠道类型。渠道可以理解为交事双方交互或者交流的通道。这个交事的双发可以是金融机构也可以是用户比如 ATM 、柜台、网银、手机银行、电话、电视、广播、邮件等参照到电商领域渠道有：线上 线下门店等Channel主题 - 业务规则渠道分为若干类型，例如ATM
2021-04-06 15:26:00
728
原创 数据仓库
数据仓库数仓架构 基础架构 Kimball、Inmon 数仓是一种规范 数仓是一种思想 解决方案 元数据管理 数据质量 数据安全 生命周期 数据模型、数据字典 血缘关系 DAG 技术元数据、业务元数据 权限 命名规范 开发规范 流程规范 设计规范
2021-03-05 14:58:59
240
1
原创 flink tableApi和 filink sql ---3.从kafka读取数据 再输出到kafka
sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8package com.tableApiTestimport org.apache.flink.streaming.api.scala._import..
2021-02-16 11:38:55
264
原创 flink tableApi和 filink sql ---2 table api 写入到文件
package com.tableApiTestimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api.{DataTypes, Table}import org.apache.flink.table.api.scala._import org.apache.flink.table.descriptors.{Csv, FileSystem, Schema}object FileOutPutTes.
2021-02-15 20:53:40
229
原创 flink tableApi和 filink sql ---1 简单实现
sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8sensor_1,1547718111,11.8package com.tableApiTestimport org.apache.flink.str.
2021-02-14 11:36:47
151
原创 Flink 7 - state
流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。 所有用于复杂事件处理的状态机。例如，若在一分钟内收到两个相差20度以上的温度读数，则发出警告，这是有状态的计算。 流与流之间的所有关联操作，以及流与静态表或动态表之间的关联操作，都是有状态的计算。下图展示了无状态流
2021-02-09 18:42:47
127
原创 flink6 - watermark
watermark延迟时间策略 最大的时间-最大的延迟程度>=窗口时 窗口关闭sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8sensor_1,1547718111,11.8p...
2021-02-08 17:53:35
94
原创 flink5 - window
D:\develop_software\netcat-win32-1.12> nc -l -p 7777sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8pac...
2021-02-07 23:02:13
67
原创 flink4 - 输出到文件/kafka/redis/mysql
数据sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8sensor_1,1547718111,11.8package com.sinktestimport java.sql.{Connection,.
2021-02-07 20:30:43
200
原创 flink3 分流 合流 自定义map 自定义filter
文件 sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8sensor_1,1547718111,11.8package com.apitestimport org.apache.flin...
2021-02-06 22:07:49
302
原创 Flink2-从集合 文件 kafka 自定义source中读取数据
package com.apitestimport java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironm.
2021-02-06 15:12:39
353
原创 hive优化最后一版整理
一、物理存储方面hive数据存储的格式有文本格式(TextFile)、二进制序列化文件(sequenceFile)、行列式文件(RCFile)、Apache Parquent 和 优化的行列式文件(ORCFile)ORCFile 和 Parquent,高效的数据存储和数据处理性能得以在实际的生产环境中大量运用。同时 ORCfile对于索引的处理进行了优化Bloom Filter Index 和 Row Group Index 链接http://lxw1234.com/archives/20...
2021-02-01 14:28:40
199
原创 学习链接
算法leecodehttps://leetcode-solution-leetcode-pp.gitbook.io/leetcode-solution/
2021-01-28 18:18:28
60
建模相关知识 建模相关知识
2020-09-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人