- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
Flink CDC 是基于数据库日志 CDC（Change Data Capture）技术的实时数据集成框架，支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现海量数据的实时集成。Flink CDC 社区发展迅速，在开源的三年时间里，社区已经吸引了 111 位贡献者，培养了 8 位 Maintainer，社区钉钉用户群超过 9800 人。
2023-12-19 11:05:59
1508
原创 datax parquet hdfswriter
datax parquet hdfswriter背景为什么我要开发这个工具呢？我之前安装的cdh集群版本是5.14，里面的impala支持parquet,不支持orc，但是偏偏呀，datax不支持直接写到hdfs的parquet。虽说datax和impala同时还支持txt格式，但是查询速度比较慢，问了很多，见别人有开发datax parquet reader的，就是没有writer，于是就...
2020-04-21 18:12:14
2571
7
原创 hive udf 读写存储到hbase的roaringbitmap
本项目源码地址https://github.com/sunyaf/bitmapudf本项目主要是将hive udf 、roaringbitmap 、hbase集成到一起打包方法mvn clean package然后将target下jar包上传到hdfs指定目录，以方便创建udf函数，或者您也可以直接上传到服务器，通过add jar命令创建udf函数。本人上传到了/utils/hiveU...
2020-04-01 18:32:38
1716
原创 Elasticsearch-Sql+Mybatis+SpringBoot集成
Elasticsearch-Sql+Mybatis+SpringBoot集成本文介绍了springboot如何集成elasticsearch-sql+mybatisrest方式使用es-sqlJDBC方式用springboot+mybatis访问本文介绍了springboot如何集成elasticsearch-sql+mybatis大家好！ElasticSearch（下面用es作为缩减）作为开...
2018-12-21 10:54:19
8960
14
原创 Hadoop 2.7.4伪分布式安装步骤与排坑
概述本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2X，适用于Hadoop 2.6.0, Hadoop 2.7.4 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利在 CentOS 中安装并运行 Hadoop。环境准备在装好了centos以后还有一些环境需要准备一下，下面一一列举创建hadoop用户su 输入密码useradd hadoo
2017-09-07 11:55:11
405
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人