陈舟的舟-CSDN博客

原创代码质量检查工具SonarQube

Devops流水线之SonarQube

2023-08-10 16:17:25 962

原创 TDsql增量merge导入load_data

项目组最近用了腾讯的TencentDB分布式数据库作为传统关系型数据库来保存少量应用数据。因此需要开发相对应的ETL功能代码，根据新数据库特性，使用自带的工具load_data作为导入的工具

2023-07-05 10:31:47 557

原创 Linux文件中的特殊换行符

大数据项目做数据etl工作时，无可避免的会遇到Linux文件中的一些特殊换行符。在做这些特殊符号的处理的时候往往就相当麻烦，这里详细记录一下怎么这些特殊字符，并转换成能识别的普通字符或者是符合项目数据规范的分隔符

2023-06-25 16:43:25 1009

原创 hadoop本地化windows部署

· hadoop on windows· hive on windows· spark on windows(提交方式是spark on yarn)

2023-06-14 17:00:04 2271

原创 VastBase账户锁The account has been locked

VastBase账户锁The account has been locked

2022-10-26 09:10:52 1741 1

原创单机Azkaban不依赖mysql

单机Azkaban不依赖mysql

2022-07-27 14:57:27 421

原创 VastBase技术实践

VastBase技术实践

2022-07-25 11:20:42 3510 11

原创 hive concat_ws列转行排序问题

hive concat_ws列转行排序问题

2022-06-11 21:04:25 4364 4

原创 ORACLE表唯一自增字段

ORACLE表唯一自增字段

2022-05-19 11:06:00 3411

原创百亿级hive表更新与删除数据

hive表百亿级数据更新与删除操作

2022-03-14 12:23:36 4414

原创高级ETL大数据工程师面试题

高级ETL工程师面试题

2021-10-11 17:01:43 8050

原创数据建模面试题

数据建模面试总结

2021-09-27 10:54:14 4353

原创 Linux多维数组

通过for循环遍历切片的方式实现Linux的二维数组、多维数组

2021-09-22 11:16:37 325

原创 Linux date +%H%M%S与date +%H%m%S的区别

date +%H%m%S 打印时间在一分钟之内循环

2021-09-08 14:08:53 5125

原创 Fume自定义MySQLSource实时监控MySQL

Fume自定义MySQLSource实时监控MySQL

2021-09-03 08:59:03 282

原创 Keepalived实现Mysql高可用

Keepalived实现Mysql高可用

2021-09-02 10:34:07 667

原创 Pulsar简单实现demo

Pulsar简单实现demo

2021-09-01 08:31:34 1270

原创 Apache Pulsar基本理论

Apache Pulsar基本理论

2021-08-31 15:30:51 935

原创某银行业管系统数据架构

某银行业管系统数据架构

2021-07-29 15:55:14 416

原创大数据集群报错集锦及解决方案

大数据集群报错集锦及解决方案

2021-07-22 10:33:24 1081

原创数据的增量采集与全量采集

数据的增量采集与全量采集

2021-05-10 10:16:38 3105

原创大数据ETL之Kettle基本理论与安装部署

大数据ETL之Kettle基本理论与安装部署

2021-04-27 09:45:26 602

原创 Kafka压力测试与机器数量计算

Kafka压力测试与机器数量计算

2021-03-08 11:26:17 155

原创 Apache Griffin技术实践与常见错误分析V2.0

Apache Griffin技术实践与常见错误分析V2.0

2021-03-04 11:10:08 3584 4

转载使用Phoenix为Hbase表创建二级索引

利用Phoenix为Hbase表创建二级索引

2021-02-05 10:40:55 287 1

原创 2021大数据面试题

近期负责了公司大数据开发岗的技术面，总结了几个面试的问题。后续有面试会继续总结

2021-01-23 23:09:23 2383 5

原创 Hive中的锁

Hive中的锁

2021-01-05 16:37:35 650

原创 Flink常用算子说明

FLINK常用算子说明

2020-11-13 11:45:02 470

原创 Flink入门以及简单集群式安装

Flink入门以及简单集群式安装

2020-11-13 11:30:50 249

原创 ORACLE常用时间查询

ORACLE 常用时间查询

2020-10-11 00:51:04 1228

原创 Hive窗口函数

Hive窗口函数

2020-09-06 12:25:37 135

原创 Spark 数据倾斜解决方案

Spark 数据倾斜解决方案

2020-09-06 12:24:38 127

原创 Hadoop资源调度器

Hadoop资源调度器

2020-09-06 12:23:35 203

原创 Spark Streaming

Spark Streaming

2020-09-06 12:22:16 136

原创 Redis理论简述

Redis理论简述

2020-09-05 22:11:20 197

原创 Hive常用函数

Hive常用函数

2020-09-05 22:09:14 93

原创 Linux正则表达式语法

正则表达式语法

2020-09-05 22:08:09 116

原创 MongoDB技术实践V1.0

MongoDB技术实践

2020-09-05 22:07:08 139

原创 Hive优化

Hive优化

2020-09-05 22:05:11 91

原创 Spark 性能优化

Spark 性能优化

2020-08-20 20:34:23 185

maxwell-1.27.0.tar.gz

maxwell-1.27安装包

2021-08-13

apache-doris-0.12.0.tar.gz

apache-doris0.12安装包

2021-08-12

Flume基本理论与实践.docx

Flume大数据采集实践。Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单

2020-07-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人