- 博客(460)
- 资源 (18)
- 收藏
- 关注
RSS订阅
原创 图解HIVE时间和日期and类型转换
时间戳现在今天昨天字符串秒数现在SELECT CURRENT_TIMESTAMP();current_dateunix_timestampFROM_UTC_TIMESTAMPGMT+8
2021-06-25 20:08:31
412
原创 大数据（0b）离线数据仓库
离线数仓数据库Database按照数据结构来组织、存储和管理数据的仓库数据仓库Data Warehouse是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合范式：构造关系数据库遵循的规则范式理论关系建模维度建模维度表事实表数仓分层ODS Operation Data StoreDWD Data Warehouse DetailDWS Data Warehouse ServiceDWT DataData Warehouse TopicADS
2020-12-25 23:34:29
2262
原创 图解Python时间和日期time和datetime数据类型转换
4大数据类型time.struct_time ⇌ floattime.struct_time ⇌ strdatetime.datetime ⇌ strPython主要内容：时间相关的数据类型转换floattime.struct_timestrdatetime.datetime4大数据类型import time, datetime时间运算日期转换
2020-02-27 08:47:34
3109
4
原创 文本清洗正则表达式（持续更新）
文章目录替换标点：中->英转小写查找时间数量词文本切分替换标点：中->英def replace_punctuation(text): """替换标点（英→中）""" text = text.replace(',', '，') # 逗号 text = text.replace(';', '；') # 分号 text = text.replace(...
2019-09-16 15:57:03
5048
7
原创 Python【print】常用颜色（复制用）
字体颜色# redprint('\033[031m')print('\033[0m')# yellowprint('\033[033m')# blueprint('\033[034m')# purpleprint('\033[035m')蓝绿色计时器背景色
2018-06-18 11:43:57
3848
1
原创 Python工程师Java之路（t）SpringBoot配置文件
SpringBoot配置文件@Component@ConfigurationProperties@Autowired
2022-12-28 14:38:12
404
原创 记一些女装数据分析
服装维度尺码：XS、S、M、L、XL一级分类：上半身、下半身、全身季节：春、夏、秋、冬价格类型：正价、特价、折扣价、降价、优惠券…价格段：廉、贵年龄段：婴儿、儿童、少年、青年、中年面料：棉布、麻布、丝绸、、呢绒、皮革、化纤、混纺、莫代尔厚度：厚、薄长度：长、中、短、超短是否展陈（通常，贵价连衣裙 会 用衣架挂起展示，甚至穿假人身上，而 便宜T恤 则 折叠堆放）季节状态：季前、当季、过季服装的重要特性：试穿因此，先上渠道 和 线下渠道 各有优势
2022-12-13 18:11:30
753
原创 实时数仓Flink生产环境部署+提交作业【步骤】
fastjsonjsonCheckpointorg.apache.hadoopFlinkSQLflink-connector-kafkaflink-table-planner-blinkorg.apache.maven.pluginsmaven-shade-plugin
2022-12-08 18:47:28
1848
原创 Python工程师Java之路（w）数据库连接池Druid
DruidDataSourceDruidPooledConnectionjava.sql.ResultSetjava.sql.ResultSetMetaDatajava.sql.Statement缓冲池数据库连接池com.alibabaconnection pool
2022-12-06 12:36:50
844
1
原创 大数据（9f）Flink窗口函数练习：计算PV和UV
PVPage View，页面浏览量UVUnique Visitor，独立访客数（本文按设备ID去重）
2022-12-05 14:30:42
298
原创 一段时间后，stop-dfs.sh关不掉Hadoop3.1.3集群，stop-hbase.sh关不掉HBase集群
stop-dfs.sh关不掉Hadoop3.1.3集群stop-hbase.sh关不掉HBase集群
2022-12-04 10:12:53
963
原创 大数据（9j）FlinkCDC
CDC概述Flink-CDCflink-connector-mysql-cdcFlink-CDC代码测试开启MySQL8 BinlogFlinkSQL
2022-12-02 23:45:25
764
原创 大数据（9e）Flink侧输出流
sideOutputLateDataside output窗口允许迟到的数据，但仍有数据在关窗后到达Flink提供了侧输出流（sideOutput）来处理关窗之后到达的数据sideOutputLateDataOutputTagsideOutput
2022-11-30 17:33:28
1970
原创 大数据（9h）FlinkSQL双流JOIN
Lookup JoinTemporal Joins基于处理时间JOIN设置状态保留时间基于事件时间JOINInterval Joins（基于间隔JOIN）Temporal Join
2022-11-29 16:32:03
1680
原创 大数据（9h）FlinkSQL之Lookup Join
ttlFOR SYSTEM_TIME AS OFProcessing Time Temporal Joinlookup joinlookup cacheFlink查询缓存lookup.cache.max-rowslookup.cache.ttl
2022-11-29 16:29:12
6819
1
原创 自写Java时间处理工具（处理数据用）
获取当前时间获取今天日期获取昨天日期获取当前时间戳时间戳(毫秒级)转字符串时间戳(秒级)转字符串字符串转时间戳(毫秒级)字符串转时间戳(秒级)SimpleDateFormattime.Instant;java.time.LocalDateTimeZoneIdDateTimeFormatter
2022-11-29 10:19:24
196
原创 大数据（9e）Flink定时器
registerProcessingTimeTimerregisterEventTimeTimer基于处理时间的定时器基于事件时间的定时器
2022-11-28 14:05:10
347
原创 Flink打印当前Watermark
WatermarkStrategyforMonotonousTimestampstimerServicecurrentWatermarkforBoundedOutOfOrderness水位线水位线策略MonotonousWatermark
2022-11-28 12:49:36
391
原创 大数据（9f）Flink双流JOIN
使用状态列表实现 INNER JOIN（双流connect后CoProcessFunction）基于间隔的JOIN（Interval Join）基于窗口的JOIN（Window Join）
2022-11-27 09:20:20
637
原创 Python工程师Java之路（h）Java字符串拼接+null拼接处理
Java版本：1.8String的concatStringBuilder和StringBuffer的appendString的joinStringJoinerStringUtils.join场景：拼接SQLPhoenixMySQL
2022-11-24 22:25:19
778
原创 大数据（9f）Flink状态编程
Managed StateOperator StateListStateBroadcastStateKeyed StateValueStateListStateMapStateReducingStateAggregatingState状态后端
2022-11-24 00:07:00
498
编译好的Atlas服务和HIVE-hook
2022-02-03
AI古诗生成2021版.rar
2021-06-20
hadoop-3.1.0.rar
2021-04-14
离线数仓安装包.rar
2021-01-06
大数据入门安装包Hadoop、JDK等
2020-12-25
自然语言处理文本分类实验
2020-09-27
NLP文本10分类EXCEL
2020-09-19
region2019.xlsx
2020-05-28
中国行政区划【更新至2018-10-31】
2019-03-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人