NuOne_plus-CSDN博客

原创 Flink Table 读写Hbase

Flink Table 读写Hbase1、获取表环境2、创建Hbase表连接3、Hbase读取计算和写入3.1利用Flink SQL读取Hbase明细表和计算3.2写入Hbase聚合表4、pom5、demo代码1、获取表环境批处理为例 // 批执行环境 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();// StreamExecutionEnvironment

2021-10-09 18:08:30 1250

原创关于dorisdb 本地搭建virtual_box虚拟机设置CPU支持AVX2指令集

关于dorisdb设置CPU支持AVX2指令集dorisdb安装文档要求解决办法处理异常问题1：解决方案：问题2：解决方案：注意：dorisdb安装文档要求https://docs.dorisdb.com/zh-cn/main/quick_start/Deploy解决办法Intel VT-x和AMD-V是intel和amd支持x86虚拟化技术的相应cpu指令集。virtual box或者Vmware 开启VT-x和AMD-V，可以使CPU支持AVX2指令集处理异常问题1：启用嵌套VT-x

2021-09-16 15:57:52 5079

转载 [转载]深度对比delta、iceberg和hudi三大开源数据湖方案

https://zhuanlan.zhihu.com/p/110748218

2021-09-15 11:13:28 266

原创实时数仓实践（二）OGG同步到kafka

引用：https://blog.csdn.net/qq_31312071/article/details/116056488ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。身份hostname组件和版本IPOGG版本源端db-oracleoracle11g192.168.10.101row 1 col 2目标端linux121kaf

2021-09-06 10:57:15 2189

原创实时数仓实践（一）之数据库实时增量同步工具-CDC（Change Data Capture）

数据库实时增量同步工具-CDC（Change Data Capture）Canal阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。Canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL 的binlog解析，解析完成后才利用Canal

2021-08-12 15:49:08 5350

原创 Flink导包maven说明随笔2021-08-07

Flink导包maven说明随笔maven坐标maven 资源搜索网站：maven坐标 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-elasticsearch7_2.12</artifactId> <version>1.11.1</v

2021-08-07 09:30:41 165

原创【问题解决】org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory

【问题解决】org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory问题描述解决办法问题描述acitivity创建ProcessEngineConfiguration对象时报错/Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/Home/bin/java -ea -Didea.test.cyclic.buffer.size=10

2020-05-19 18:00:32 2246

NuOne_plus的博客