- 博客(58)
- 收藏
- 关注
RSS订阅原创 数据仓库知识点总结（数仓分层建模、维度建模等）
数据仓库知识点总结推荐学习《华为数据之道》《数据仓库工具箱-维度建模权威指南》两本书。此文档是数据仓库建模的知识点总结文档，在持续更新中（2021-10-13）。文章目录数据仓库知识点总结1.数据仓库分层理论1.1数仓分层架构的好处1.2 数据仓库核心分层2.数据仓库建模方法论2.1 ER模型2.2 维度模型2.3 Data Vault模型2.4 Anchor 模型3.维度建模方法论3.1模型层次（数仓的分层理论）3.2 模型实施过程3.2 维度设计3.3 事实表设计4 数仓模型4.1 数仓模型需要
2021-10-13 10:01:55
1374
原创 字符串题解（leetcode，持续更新中）
文章目录字符串题解（leetcode，持续更新中）leetcode 3 无重复字符的最长子串leetcode 17 电话号码的字母组合leetcode 20 有效的括号leetcode 22 括号生成leetcode 49 字母异位词分组leetcode 139 单词拆分leetcode 208 实现trie（前缀树）leetcode 394 字符串解码leetcode 438 找到字符串中所有字母异位词leetcode 647 回文子串字符串题解（leetcode，持续更新中）leetcode 3 无
2021-09-27 22:19:13
454
原创 数组 题解（剑指Offer与leetcode，持续更新中）
文章目录数组 题解（剑指Offer与leetcode，持续更新中）leetcode 39 组合总和leetcode 215 数组中第k个最大元素leetcode 11 盛水最多的容器leetcode 739 每日温度leetcode 621 任务调度器leetcode 581 最短无序连续子数组leetcode 448 找到所有数组中消失的数字数组 题解（剑指Offer与leetcode，持续更新中）leetcode 39 组合总和题目给定一个无重复元素的正整数数组 candidates 和一个正整
2021-09-09 23:51:10
360
原创 一点点感悟
人生就像是一场以死亡为毕业典礼的大学，在生命的终了之前，没有人会说自己已经从毕生的经历中学成毕业。而人这一辈子至死方休的，就是经历，不断地经历，不断地遇见，不断地学习。这就是人生，经历这二字也是每个人人生的一个概括...
2021-09-02 09:17:00
110
原创 动态规划面试宝典（极客时间）学习笔记
动态规划面试宝典（极客时间）学习笔记局部最优解 贪心算法就是一种经典的求解“局部最优解”的算法整体最优解 动态规划重叠子问题与备忘录由斐波那契数列引出的重叠子问题int febnaci (int n){ if(n=0){ return 0; } if(n=1){ return 1; } if(n>1){ return febnaci(n-1)+febnaci(n-2); } ret
2021-09-01 23:00:01
2318
原创 人的一生，会有三次死亡
有人说，人的一生会死三次。第一次是他断气时，从生物学上他死了。第二次是他下葬时，人们来参加他的葬礼，怀念他的一生，在社会上他死了。第三次是最后一个记得他的人把他忘记了，那时候他才真正地死了。我们害怕谈论死亡，可这是生命的必经之路。死亡，不是生命的终点站，遗忘才是。第一次死亡接受，是理解的开始曾看过一个绘本，讲述一个名为小宽的孩子，在他妈妈因为意外离开人世后的故事。因为小宽太想妈妈，所以他妈妈化作幽灵，回来看小宽。小宽的妈妈和他说：“小宽，妈妈不在了，以后你能自己洗澡、自己睡觉吗？我也不能
2021-09-01 13:28:44
310
原创 动态规划题解（剑指Offer与leetcode）
剑指Offer动态规划题解（持续更新中-2021-08-24）JZ30 连续子数组的最大和public class Solution { public int FindGreatestSumOfSubArray(int[] array) { int n=array.length; if(n==0) return 0; int [] dp=new int[n]; //初始化dp for(int i=0;i<n;i
2021-08-24 22:54:41
104
原创 剑指Offer上的二叉树题目（非基础遍历）
文章目录二叉树变形-来自剑指Offer剑指Offer 18.二叉树的镜像剑指Offer 58.对称的二叉树剑指Offer24 二叉树中和为某一值的路径剑指Offer 59 按之字形顺序打印二叉树剑指Offer 39 平衡二叉树剑指Offer 4.重建二叉树二叉树变形-来自剑指Offer剑指Offer 18.二叉树的镜像描述操作给定的二叉树，将其变换为源二叉树的镜像。比如： 源二叉树 8 / \ 6 10
2021-08-18 00:09:32
112
原创 剑指Offer上的二叉树基础遍历题目
文章目录二叉树基础遍历（持续更新中）1.层序遍历2.前序遍历3.中序遍历4.后续遍历二叉树基础遍历（持续更新中）1.层序遍历分析队列实现Queue返回List<List<Integer>>List<Integer> 存储每层节点值代码//层序遍历的基础代码public class Solution { List<List<Integer>> res=new Arraylist<>(); public
2021-08-10 23:35:20
82
原创 Apache Flink 实战教程：CEP 实战(转载)
文章目录原文链接:一：Flink CEP 概念以及使用场景1.什么是 CEP2.Flink CEP 应用场景3.Flink CEP 原理二：Flink CEP 程序开发1.Flink CEP 程序结构2.Flink CEP 构成2.1 定义模式2.2 模式的属性2.3 模式的有效期2.4 模式间的联系2.5 多模式组合2.6 处理结果2.7 状态存储优化三：Flink CEP 的扩展1.超时触发机制扩展2.规则动态注入3.历史匹配结果清理总 结原文链接:Apache Flink 实战教程：CEP 实战
2020-09-24 20:13:07
1159
1
原创 Apache FlinkCEP实现超时状态监控(转载)
文章目录1. FlinkCEP源码简析1.1 DataStream和PatternStream1.2 Pattern、Quantifier和EventComparator1.3 NFACompiler和NFA1.4 PatternSelectFunction和PatternFlatSelectFunction1.5 SelectTimeoutCepOperator、PatternTimeoutFunctionCEP和CEPOperatorUtils2. FlinkCEP实现步骤3. FlinkCEP匹配超时
2020-09-18 10:27:17
546
原创 Flink CEP 超时预警实现案例
文章目录1. 案例-离厂超时预警 实现思路1.1 定义一个刷卡事件类1.2 定义一个事件模式（Pattern）1.3 Build pattern stream，模式匹配输出1.4 Use side output get timeout stream，获取超时输出流2. 其他可参考案例2.1 案例-订单超时统计2.2 案例-CEP 实现空气质量检测2.3 案例-Flink CEP实现超时状态监控1. 案例-离厂超时预警 实现思路利用Flink CEP 的实现思路，暂时没考虑其他的干扰条件。假定只刷卡 出
2020-09-18 10:22:50
3206
8
原创 Flink实时读取Mysql增量日志数据并写入GreenPlum/Mysql
FlinkStreamETL0.功能说明概括：利用Flink实时统计Mysql数据库BinLog日志数据，并将流式数据注册为流表，利用Flink SQL将流表与Mysql的维表进行JOIN，最后将计算结果实时写入Greenplum/Mysql。1.需求分析1.1需求实时统计各个地区会议室的空置率，预定率，并在前端看板上实时展示。源系统的数据库是Mysql，它有三张表，分别是：t_meeting_info（会议室预定信息表）、t_meeting_location（属地表，维度表）、t_meeting
2020-08-03 14:20:51
3913
9
原创 Maven安装（Windows+Linux）
Linux安装Mavenhttps://www.cnblogs.com/freeweb/p/5241013.htmlLinux安装MavenWindows 安装 Mavenhttps://www.cnblogs.com/liuhongfeng/p/5057827.htmlWindows 安装 Maven查看安装好的Maven
2020-07-13 18:39:43
94
原创 Flink实时读取Mysql数据库中增量日志数据
文章目录0.写在前面1.创建Maven项目2.Java代码3.运行示例0.写在前面需求描述：利用Flink实时计算Mysql数据中的增量数据方案：利用Canal实时读取Mysql数据库的Binlog日志，将其作为Kafka的生产者（Producer）；然后利用Flink作为kafka的消费者（Consumer），读取Kafka中的数据。目前只是读取kafka中的数据，为Json格式，后面需要根据业务需求编写实时计算逻辑所用的版本 —>服务器：Kafka：Kafka 2.1.0-cdh6.2
2020-07-13 15:08:41
6283
13
原创 Hive学习（上）
文章目录1Hive概念1.1 Hive架构1.2 Hive与数据库的比较1.2.1 查询语言1.2.2 数据存储位置1.2.3 数据更新1.2.4 索引1.2.5 执行1.2.6 可扩展性2.Hive数据类型2.1 基本数据类型2.2 集合数据类型2.3 类型转化3.DDL数据定义3.1 创建数据库3.2 查询数据库3.2.1 显示数据库3.2.2 查看数据库详情3.3 修改数据库3.4 删除数据库3.4.1删除空数据库3.5 创建表3.5.1 管理表3.5.2 外部表3.5.3 管理表与外部表的相互转换3
2020-06-30 13:12:17
350
原创 CDH 6.2 集群更改IP地址
文章目录摘要步骤说明0需要修改的集群IP地址1.停止CDH集群服务2.修改mysql中scm元数据3.修改机器的cloudera-scm-agent的配置文件4.修改主机的IP地址6.修改集群的hosts文件7.重启集群服务8.更改IP地址之后的CDH集群界面摘要更改CDH集群的IP地址的说明文档步骤说明0需要修改的集群IP地址## 原集群IP地址cat /etc/sysconfig/network-scripts/ifcfg-ens160 集群IP： Master 10.252.96.50
2020-06-22 16:13:49
1314
原创 大数据实时计算及可视化相关组件介绍
大数据实时计算及可视化相关组件介绍文章目录大数据实时计算及可视化相关组件介绍1.实时数据平台架构2 日志数据实时采集2.1 Apache Flume原理简介2.1.1 Agent结构2.1.2 基本概念(Source、Channel、Sink)2.1.3 Flume关键特性2.2 Fluentd2.3 Logstash2.4 Chukwa2.5 Scribe2.6 对比分析3 消息队列3.1 Kafka原理简介3.1.1 Kafka架构与功能3.1.2 Kafka的特性3.1.3 Kafka应用场景3.
2020-06-08 18:28:24
2797
原创 宜信实时数据平台介绍
宜信实时数据平台介绍（根据相关资料整理）文章目录宜信实时数据平台介绍（根据相关资料整理）1.架构设计方案1.1 定位和目标1.2 整体设计架构1)统一数据采集平台2)统一流式处理平台3)统一计算服务平台4)统一数据可视化平台2.技术组件介绍2.1 数据总线平台DBus2.1.1 DBus设计思想2.1.2 DBus功能特性2.1.3 DBus技术架构2.1.4 DBus（Github链接）2.2 分布式消息系统Kafka2.3 流处理平台Wormhole2.3.1 Wormhole设计思想2.3.2 Wo
2020-05-24 19:11:38
1025
原创 PostgreSQL入门之CRUD(二)
Postgresql1.前提1.GUI Clients：2. 数据库文件在线生成（生成的数据用于后面的练习）2.语句1.前提1.GUI Clients：DaraGrip 工具，JetBrain公司PgAdmin2. 数据库文件在线生成（生成的数据用于后面的练习）数据库文件在线生成网站：www.mockaroo.com截图：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4L8kMPMD-1588943492657)(C:\Users\lee\Desktop\
2020-05-08 21:26:01
550
原创 Linux学习-鸟哥-第22章-软件安装RPM、SPRM与YUM
软件安装之RPM、SPRM、YUM1.RPM与SPRM2.rpm(查询与检验功能)3.yum(在线安装)4.YUM的配置文件1. 备份2. 下载新的 CentOS-Base.repo 到 /etc/yum.repos.d/3. 运行 yum makecache 生成缓存相较于源码安装而言，对于用户来说，利用厂商编译好的可执行软件进行安装更为方便。目前Linux界软件安装最常用的两种方式：d...
2020-04-23 16:03:15
215
原创 PostgreSQL入门之CRUD(一)
PostgreSQL入门之CRUD表约束create table posts( id serial primary key, title varchar(255) not null, content text check(length(content)>8), is_draft boolean default TRUE, is_del boolean defaul...
2020-04-22 19:53:11
264
原创 PostgreSQL入门之psql基础与建表操作
PostgreSQL入门之psql基础与建表操作1.psql基础2.操作表数据1.psql基础psql是PostgreSQL的交互式终端程序，下面对它的基础命令进行简要介绍## 切换到postgresql的管理员用户sudo su postgres## 查看版本[root@kfk-pro03 ~]# psql --versionpsql (PostgreSQL) 10.12##查看...
2020-04-22 19:34:58
1006
原创 CentOS6 安装PostgreSQL 10步骤
CentOS6 安装PostgreSQL 10步骤1.安装PostgreSQL Yum存储库2.安装客户端/服务端3.选择初始化数据库并设置自动开启4.修改密码并添加新数据库5.配置远程连接6.重启服务1.安装PostgreSQL Yum存储库 ## 升级 yum yum -y update ## 安装Vim yum install -y vim ## CentOS6,Pos...
2020-04-21 13:26:52
863
原创 Linux学习-鸟哥-第十一章-正则表达式与文件格式化处理
正则表达式与文件格式化处理一、基础正则表达式1.grep 的高级选项2.基础正则表达式练习3.基础正则表达式字符集合4.**sed**工具二、扩展正则表达式三、文件的格式化与相关处理1.格式化打印：printf2.**awk**3.文件比对工具四、重点回顾四、重点回顾正则表达式按照不同的严谨度分为：基础正则表达式与扩展正则表达式。扩展正则表达式除了简单的字符处理之外，还可以作为群组的字符串处理。...
2020-04-15 19:11:05
302
原创 Linux学习-鸟哥-第十章-Bash学习
通配符与特殊符号一、数据流重定向1.什么是数据流重定向2.什么时候使用数据流重新定向？3.命令执行的判断根据： ；、&&、||二、管道命令(pipe)1.选取命令：**cut**、**grep**2.排序命令：**sort**、**wc**、**uniq**3.双重定向:tee4.字符转换命令：tr、col、join、paste、expand5.划分命令:split6.参数代换:x...
2020-04-13 20:26:07
1311
原创 Linux学习-鸟哥-第九章-vim程序编辑器
vim 程序编辑器一、vi与vim二、vi的使用三、vim的额外功能1.可视化区块（Visual Block）2.多文件编辑3.多窗口功能4.`vim`的关键词补全功能5.**vim**环境设置与记录：**~/.vimrc**、**~/.viminfo**6.***vim***常用命令示意图三、其他**vim**使用注意事项1.中文编码的问题2.DOS与Linux的换行符3.语系编码转换四、重点回...
2020-04-09 08:29:35
122
原创 Linux学习-鸟哥-第八章-文件与文件系统的压缩
Linux文件与目录管理一、 Linux系统常见的压缩命令1.`gzip`、`zcat`、`zmore`、`zless`、`zgrep`2.`bzip2`、`bzcat`、`bzmore`、`bzless`、`bzgrep`3.`xz`、`xzcat`、`xzmore`、`xzless`、`xzgrep`二、打包命令：**tar**三、XFS文件系统的备份与还原1.`XFS`文件系统备份 `xfs...
2020-04-08 19:33:17
241
原创 Linux学习-鸟哥-第六章-Linux文件与目录管理
Linux文件与目录管理一、目录与路径1.相对路径与绝对路径2.目录相关的操作3. 关于执行文件路径的变量：$PATH二、文件与目录管理1.文件与目录查看:ls2.复制、删除与移动：cp、rm、mv2.1`cp`(复制文件或目录)2.2`rm`(删除文件或目录)2.3`mv`[移动文件与目录。或重命名]3.获取路径的文件名与目录名称三、文件内容查看1.直接查看文件内容2.翻页查看3.数据截取4.非...
2020-04-03 15:20:39
156
原创 Linux鸟哥-第五章：Linux的文件权限与目录配置总结
Linux鸟哥-第五章：Linux的文件权限与目录配置一、Linux文件权限Linux文件属性二、Linux目录配置Linux目录配置的依据——FHS1.根目录（/）的意义与内容2./usr的意义与内容3./var的意义与内容三、重点回顾一、Linux文件权限Linux文件属性[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TKB07VxZ-1585567423...
2020-03-30 19:24:33
200
原创 Spark SQL, DataFrames and Datasets Guide
目录 1.Datasets and DataFrames2.Getting StartedStarting Point: SparkSession(编程入口)Creating DataFrames（创建DataFrame）Untyped Dataset Operations (aka DataFrame Operations)：没有类型的数据集合操作Running SQL Queries Prog...
2020-03-22 17:57:31
304
原创 Spark Programming Guide
目录一、Spark Programming Guide1.Overview2.Linking with Spark连接3.Initializing SparkUsing the Shell4.Resilient Distributed Datasets (RDDs)弹性分布式数据集Parallelized CollectionsExternal Datasets（外部数据集）RDD Operati...
2020-03-22 17:52:30
243
原创 JDBC总结
文章目录1.数据持久化2.JDBC3.JDBC图示理解4.数据库的驱动5.面向接口编程思想6.增删 改查操作7.数据库事务：8.数据库连接池：8.数据库连接池：1.数据持久化 持久化（persistence）：把数据保存到可掉电式存储设备中以供之后使用。2.JDBC JDBC(Java Database Connectivity)是一个独立于特定数据库管理系统、通用的SQL数据库存取和...
2020-03-22 17:42:20
123
原创 linux配置——固定IP、复制虚拟机、打通免密登陆、更改静态地址等
目录固定IP1.搜索栏打开：services.msc2.更改Vmware的网络配置3.配置VMware Network Adapter VMnet8 的网段复制虚拟机关闭防火墙1.只关闭个别端口2.关闭所有防火墙更改linux的主机名添加IP地址与主机名的映射关闭selinuxssh免密登陆1.生成公钥和密钥固定IP系统自动获取的IP会发生改变，因此需要固定的IP地址，才能方便使用1.搜索栏...
2020-03-19 13:32:52
233
原创 Git命令介绍
1.最小配置在使用Git之前需要配置User信息，包括user.name和user.emailgit config --global user.name 'your_name'git config --global user.email '[email protected]'(最好确保此地址可用)说明：git config --local,local只对某个仓库有效git co...
2020-03-16 22:18:13
261
原创 Git、GitHub、GitLab三者之间的联系与区别
@[TOC] (1 版本控制的概念)1.1 版本控制出现以前，我们是怎样做的？ 以前在没有使用版本控制的时候，我们通常在我们的项目根目录下这样命名项目：project_v1、project_v1.1、project_v2等等，通过这种方式记录我们项目的不同版本的修改，有的时候我们还会在不同版本的文件中写一个说明，记录此版本项目新增、修改，删除等操作。这样的...
2020-03-16 21:21:22
1291
原创 Coursera-Deep Learning Specialization 课程之（五）：Sequence Models: -weak2编程作业 （第二部分）
Emojify!1 - Baseline model: Emojifier-V11.3 - Implementing Emojifier-V1# GRADED FUNCTION: sentence_to_avgdef sentence_to_avg(sentence, word_to_vec_map): """ Converts a sentence (...
2018-04-08 21:47:35
1079
原创 Coursera-Deep Learning Specialization 课程之（五）：Sequence Models: -weak2编程作业 （第一部分）
Operations on word vectors - v2import numpy as npfrom w2v_utils import *words, word_to_vec_map = read_glove_vecs('data/glove.6B.50d.txt')1 - Cosine similarity# GRADED FUNCTION: cosine_s...
2018-04-08 20:34:51
625
原创 Coursera-Deep Learning Specialization 课程之（五）：Sequence Models: -weak1编程作业 （第三部分）
Improvise a Jazz Solo with an LSTM Networkfrom __future__ import print_functionimport IPythonimport sysfrom music21 import *import numpy as npfrom grammar import *from qa import *from prepr...
2018-03-27 21:37:49
746
原创 Coursera-Deep Learning Specialization 课程之（五）：Sequence Models: -weak1编程作业 (第二部分)
Dinosaurus Island – Character level language model final - v31 - Problem Statement1.1 - Dataset and Preprocessingdata = open('dinos.txt', 'r').read()data= data.lower()chars = list(set(data...
2018-03-27 19:42:05
684
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人