- 博客(8)
- 收藏
- 关注
RSS订阅原创 DolphinScheduler1.3.9工作流内任务依赖执行源码解读
Dolphinscheduler 1.3.9的工作流内部依赖任务执行过程分析
2023-08-29 17:46:09
169
原创 Mybatis-Plus分页查询配置及实现
1.依赖<dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>${mybatis-plus.version}</version></dependency><!-- https://mvnrepository.com/artifac
2021-06-03 16:08:46
891
原创 Mysql主从+Mycat读写分离搭建
一：MYSQL主从配置 1.1 部署环境 主(master_mysql): 172.20.94.206 从(slave_mysql): 172.20.94.207 1.2 配置文件 /etc/my.cnf[mysqld]user=mysql# Disabling symbolic-links ...
2018-12-06 11:30:53
229
原创 HiveSQL正则表达式的应用
最近工作中数据处理方面用到很多不是特别容易处理的数据，用正则表达式的话会让语句显得特别精简，也可以用各种字符串截取函数嵌套处理（必须要有一定规律），总结一下经常用到的几个。1.正则的通配符简介 1）正则表达式的符号及意义 ^ 表示开头 $ 表示结尾 . 表示任意字符 * 表示任意多个/ 做为转意，即通常在...
2018-10-22 17:08:50
24883
6
原创 JAVA基本算法------冒泡、插入、快速排序
一、冒泡排序1.原理冒泡排序顾名思义就是整个过程像气泡一样往上升，单向冒泡排序的基本思想是（假设由小到大排序）：对于给定n个记录，从第一个记录开始依次对相邻的两个记录进行比较，当前面的记录大于后面的记录时，交换位置，进行一轮比较和换位后，n个记录的最大记录将位于第n位，然后对前（n-1）个记录进行第二轮比较；重复该过程，直到记录剩下一个为止。2.示例{2,9,1,5,4,6,8
2018-01-29 17:49:16
190
原创 sqoop增量导入及导入hive中分隔符自定义指定
核心参数–check-column 用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似. 注意:这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的，同时–check-column可以去指定多个列–incremental 用来指定增量导入的模式，两种模式分别为Append和Lastm
2018-01-14 23:28:40
5134
转载 数据库三大范式
数据库的设计范式是数据库设计所需要满足的规范，满足这些规范的数据库是简洁的、结构明晰的，同时，不会发生插入（insert）、删除（delete）和更新（update）操作异常。反之则是乱七八糟，不仅给数据库的编程人员制造麻烦，而且面目可憎，可能存储了大量不需要的冗余信息。 范式说明 1.1 第一范式（1NF）无重复的列 所谓第一范式（1NF）
2018-01-12 22:25:06
227
转载 大数据ETL详解
ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS中(这个过程也
2018-01-12 22:24:11
20992
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人