- 博客(58)
- 收藏
- 关注
RSS订阅原创 一款专业的异构数据库结构转换工具
在通常情况下，虽然数据库类型要更换，但是我们的实体关系还是不变的，也就是说我们的表结构信息是基本相同的。我们只需要处理数据库之间的差异，比如类型差异，函数差异，索引差异等。
2024-04-11 11:06:44
222
原创 使用 CloudDM 操作 PostgrgSQL 数据库
CloudDM 是 ClouGence 公司推出的一款一站式数据库管理工具，使用它可以方便地访问和管理 MySQL、Oracle、PostgreSQL、阿里云 RDS、Greenplum、TiDB、Redis、StarRocks、Doris、SelectDB、SQL SERVER、ClickHouse、OceanBase 、PolarDB-X 、IBM Db2 等多种不同类型的数据库。通过 CloudDM 丰富的数据源支持可以避免在多个专业工具之间切换，从而提高工作效率。
2024-04-04 17:03:57
930
1
原创 CloudCanal x Hive 构建高效的实时数仓
CloudCanal 最近对于全周期数据流动进行了初步探索，打通了Hive 目标端的实时同步，为实时数仓的构建提供了支持，这篇文章简要做下分享。
2024-03-01 14:14:51
895
原创 如何用 CloudCanal 做多源数据汇聚
本文主要介绍 CloudCanal 数据防重能力，降低数据汇聚场景各个来源数据表名冲突、主键/唯一键约束冲突的概率，从而让用户更加便捷地落地在线数据应用。
2024-02-02 11:10:34
812
原创 用 CloudCanal 做跨互联网数据库双向同步
本文主要介绍使用 CloudCanal 进行跨互联网数据库双向同步功能，具备两端数据库完全不开放公网端口,可双向同步无循环等特点。
2024-01-19 11:24:44
942
原创 一款 StarRocks 可视化建表和数据编辑的神器
本文我们使用 CloudDM 可视化的方式创建了 StarRocks 明细模型表，并且同样可视化的方式对明细模型表进行了数据编辑操作。
2024-01-15 10:42:11
1058
1
原创 Hana 实时数据同步优化(3)
本文主要介绍 CloudCanal 近期优化其 Hana 源端增量数据同步能力, 优化点主要来自近期用户实际场景使用，增强可落地性
2024-01-11 19:50:33
958
原创 CloudCanal x Redis 数据同步指令集丰富与细节优化
本文简要介绍 CloudCanal 针对 Redis 到 Redis 数据迁移同步指令集与细节优化，进一步增大该数据同步链路业务落地概率。
2024-01-05 11:08:40
924
原创 CloudCanal x Debezium 打造实时数据流动新范式
本文主要介绍 CloudCanal 从 Kafka 订阅消费 Debezium 格式数据同步到 10 几种主流数据库和数仓的技术和使用示例
2023-12-21 20:05:25
1677
原创 用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris
StarRocks 和 Doris 同属国产分布式实时数仓，业务效果好，目前在国内相当流行。如何快速验证其真实能力，对接真实业务负载？本文即介绍使用 CloudCanal 和 Aliyun EMR for StarRocks & Doris 达成此目的。
2023-12-01 09:45:34
1449
原创 花 200 元测试 1300 个实时数据同步任务
本文主要介绍 CloudCanal 数据迁移同步产品的一个容量验证测试，在有限资源情况下，创建1300个数据迁移同步任务同时运行，系统所展现的可操作性和稳定性
2023-11-17 08:47:49
113
原创 一镜到底 ElasticSearch 数据迁移同步技术
本文从一个比较窄但是应用广泛的场景 - MySQL 到 Elasticsearch 数据同步技术 - 切入，比较以 ElastciSearch 作为对端的主流数据同步技术的优劣和相关技术细节，最后给到一些展望。
2023-11-03 12:27:42
175
转载 快速构建 SAP ERP 内置数据库 HANA 到 StarRocks 的数据迁移同步任务
本文主要介绍 CloudCanal 实现 SAP hana 内存数据库到新兴分布式数仓 StarRocks 的简要原理和手把手实践。
2023-09-15 10:59:55
200
转载 国产数据库 GaussDB 数据迁移同步初探
本文主要介绍使用 CloudCanal 进行 GuassDB for MySQL 和 openGuass 数据迁移同步的技术背景和实践
2023-08-25 11:22:30
125
转载 手把手教你做 Redis 双向数据同步
本文主要介绍如何使用 CloudCanal 构建生产级稳定性的 Redis 双向数据同步，具备版本兼容全面、功能细节丰富自然等特点。
2023-08-18 10:54:32
359
原创 深入浅出 SQL Server CDC 数据同步
对 SQL Server CDC 技术的介绍，这项技术是什么？怎么配置？有什么难点？以及解决方案有哪些？深入浅出的让你掌握这些数据库增量同步技术。
2023-05-24 15:02:37
1734
2
转载 CloudCanal x OceanBase 数据迁移同步优化
CloudCanal对Oceanbase数据迁移同步的又一次优化，更好的性能、更稳定的运行、更强的兼容
2023-04-27 11:32:43
141
转载 CloudCanal x TiDB 数据迁移同步功能落地
CloudCanal 近期推出了 TiDB 为源端的数据迁移同步功能，具备一站式、可视化、自动化、稳定等特点，本文简要介绍该能力，欢迎品鉴
2023-04-14 12:56:53
173
转载 CloudCanal 落地 DB2 数据迁移同步功能
loudCanal 支持了 IBM DB2 为源端的数据迁移同步，一期支持 DB2 到 MySQL, TiDB, Kafka , StarRocks 数据迁移同步
2023-03-31 12:12:51
251
转载 CloudCanal实战-Oracle数据迁移同步到PostgreSQL
简述本篇文章主要介绍如何使用 CloudCanal 构建一条 Oracle 到 PostgreSQL 的数据同步链路技术要点缩小的数据库权限要求CloudCanal 对 Oracle 数据库的高权限要求，主要来自两个面向 DBA 的操作，自动构建字典和 自动切换归档日志，这两个操作主要是让用户使用更加自动化和便利，但是问题也比较明显，对数据库运维标准严苛的客户来说，这些权限对于我们的客户是没有的，所以新版本 CloudCanal ，通过参数配置，支持了关闭自动字典构建能力（默认打开） 和 关闭自动切
2023-01-13 16:56:00
1231
2
转载 CloudCanal对Online DDL 工具 GH-OST 和 PT-OSC 的支持
简介CloudCanal 实现了对 Online DDL 工具如 GH-OST 和 PT-OSC 的支持，保证了对端实时同步源端的 Online DDL 操作。本文以 MySQL -> MySQL 同步链路使用 GH-OST 为例，介绍 CloudCanal 是如何支持实时同步 GH-OST 产生的 DDL 的。Online DDL 技术背景市面上常用的两款MySQL Online DDL 工具分别是 GH-OST 和 PT-OSC，CloudCanal 对他们都做了兼容处理使得用户可以实时同
2022-12-30 10:35:22
357
转载 CloudCanal实战-五分钟搞定Oracle到StarRocks数据迁移与同步
简述CloudCanal当前最新版本已经支持源端Oracle、SqlServer等主流传统数据库作为源端迁移同步数据到StarRocks来构建实时数仓。本文简要介绍如何快速构建一条Oracle->StarRocks数据链路。技术要点基于StreamLoad的导入方式CloudCanal 采用了 StreamLoad 的方式进行导入，源端的消息会转成字节流，最后会以批量发送的形式通过 HTTP 协议发往 StarRocks。CloudCanal 默认采用 json 格式来进行StreamLoa
2022-12-23 10:22:36
1063
转载 CloudCanal实现跨互联网数据安全同步(进阶)
简介CloudCanal 实现的 基于 Kafka 构建安全的跨互联网数据同步 方案被客户用于生产后，又出现了新的需求，主要集中在方案能否更加轻量化和可控性上，简而言之，去掉 Kafka 中转，直接在 CloudCanal 中实现跨网络安全互通。本篇文章即介绍 CloudCanal 实现的更加轻量化方案，特点包括无消息等独立软件依赖两端数据库完全不开放公网端口两端数据库元数据可映射基于 HTTPS 传输具备用户名密码鉴权机制支持多种数据库异构互通技术点Tunnel数据源去
2022-12-09 10:56:12
1503
转载 5分钟搞定 MySQL 到 Greenplum / PostgreSQL 数据迁移同步
简述本文主要介绍如何使用 CloudCanal 构建一条 MySQL 到 Greenplum / PostgreSQL 的数据同步链路。支持版本源端 MySQL 支持的版本为：5.6、5.7、8.X对端 PostgreSQL 支持的版本为：8.4、9.0、9.1、9.2、9.3 9.4、9.5、9.6、10.X、11.X、12.X、13.X、14.X 、15.X、16.X、17.X对端 Greenplum 支持的版本为：6.X技术点流程自动化&功能丰富支持创建结构迁移、全量迁移、增量
2022-12-02 10:26:05
1793
转载 5分钟搞定 SQL Server 到 MySQL 数据迁移和同步
简述SQL Server 是一个值得信赖的老牌数据库系统，自从 1988 年由 Microsoft、Sybase 和 Ashton-Tate 三家公司共同推出之后就一直不断迭代更新。而如今我们提到 SQL Server 通常是指 Microsoft 从 SQL Server 2000 之后的版本。至今 SQL Server 家族已经非常繁茂涵盖了 云上（Azure SQL Server）、IoT 设备（边缘 SQL Server）、以及经典版本（本地 SQL Server）。实现 SQL Server
2022-11-21 11:09:53
3719
转载 五分钟掌握CloudCanal的数据校验与数据订正
简述CloudCanal除了提供最核心的数据迁移和同步能力以外，还提供数据校验和数据订正两种非常实用的能力。这两种功能为用户保障数据迁移同步链路的数据质量提供了非常大的便利性。例如对端数据库因为各种原因产生一些异常写入导致的数据不一致或者丢失，用户均可以使用CloudCanal提供的数据校验和数据订正能力来基于同步链路的源端数据来恢复数据，使得对端数据库中相比源端丢失或者不一致的数据得到恢复。技术点基于校验结果的针对性订正执行完CloudCanal的校验任务后，在运行任务的机器上会生成一个文件com
2022-11-14 16:28:32
793
1
转载 5分钟搞定 PostgreSQL 到 Doris 数据迁移和同步
简述Apache Doris 是一个现代化的 MPP 分析型数据库产品，仅需 亚秒级 **响应时间即可获得查询结果，能有效地支持实时数据分析。本文主要介绍如何使用 CloudCanal 快速构建一条稳定高效运行的 **PostgreSQL 到 Doris 数据同步链路。技术点基于 StreamLoad 的导入方式Doris 提供了多种导入方式。CloudCanal 采用了 StreamLoad 的方式进行导入，源端的消息会转成字节流，最后会以 Batch 的形式通过 HTTP 协议发往 Doris
2022-11-04 17:01:10
1846
转载 5分钟搞定ORACLE到ClickHouse数据迁移同步-CloudCanal实战
简述ClickHouse 是一种流行的列式数据库，对于计算 uv、mv、pv 等聚合类数据相当友好，所以广泛使用于各类报表场景。本文主要介绍如何使用 CloudCanal 快速构建一条稳定高效运行的 ORACLE 到 ClickHouse 数据同步链路。示例中 ORACLE 库为 PDB 模式, ClickHouse 为单副本实例。技术点ORACLE 源端增量同步技术CloudCanal 对于 ORACLE 源端增量同步采用 LogMiner 分析 redo 日志或物化视图/类trigger 方
2022-08-31 10:09:41
2082
转载 5分钟搞定 关系型数据库 到 Flink 数据同步
简述实时数据处理领域中，使用 Flink 方式，除了从日志服务订阅埋点数据外，总离不开从关系型数据库订阅并处理相关业务数据，这时就需要监测并捕获数据库增量数据，将变更按发生的顺序写入到消息中间件以供计算（或消费）。本文主要介绍如何通过 CloudCanal 快速构建一条高效稳定运行的 MySQL -> Kafka -> Flink 数据同步链路。技术点兼容多种常见消息结构CloudCanal 目前支持 Debezium Envelope (新增)、Canal、Aliyun DTS Av
2022-08-24 16:04:13
1314
转载 MongoDB 到 MongoDB 数据迁移和同步-CloudCanal实战
简述MongoDB 是一种广泛使用的文档型数据库，对于 schema 弱要求、可扩展性强让其在很多场景普遍适用。本文主要介绍如何使用 CloudCanal 快速构建一条稳定高效运行的 MongoDB 到 MongoDB 数据同步链路，示例中 MongoDB 均为 ReplicationSet (副本集) 。技术点MongoDB 源端增量技术MongoDB 增量数据可以通过 local 库的 oplog.rs collection 获取增量变更数据(需要搭副本集)。其中事件包含以下子 Docu
2022-08-23 09:49:04
1100
转载 Oracle数据同步的思考与优化-CloudCanal核心技术
为什么我们要重构 Oracle 源端数据同步？CloudCanal 早期版本即支持了 Oracle 数据库，围绕结构迁移、全量迁移、增量同步三个核心步骤，构建了以 Oracle 数据库为源端的实时数据体系。但之前的版本，也存在着不少问题，功能、性能、对数据库权限的挑战等方面都有所涉及，成了 CloudCanal 产品的一个痛点，看着 MySQL 源端在线数据体系不断狂奔，不免有点落寞。再者，市场的需求层出不穷“CloudCanal 能否把 Oracle 数据同步到 Kafka?”“CloudCa
2022-08-03 16:11:43
994
1
转载 CloudCanal x StarRocks 在医疗大健康实时数仓领域的落地与实践
简述本案例为国内某大健康领域头部公司真实案例(因用户保密要求，暂不透露用户相关信息)。希望文章内容对各位读者使用 CloudCanal 构建实时数仓带来一些帮助。业务背景 大健康背景下，用户对报表和数据大屏的实时性能要求越来越高。以核酸检测为例，检测结果需要实时统计分析，并在决策大屏中进行可视化展现。数据的及时性直接关系到区域疫情防控的精准布施从而有效防止疫情的扩散，不容半点闪失。在此之上，业务的多样性和复杂性也对公司的研发和运维成本要求也越来越高。 例如疫情防控指挥决策大屏中，数据包括流.
2022-03-11 17:03:38
6004
1
转载 MySQL/PostgreSQL/Oracle到OceanBase数据迁移同步
简述CloudCanal 2.2.0.7 版本开始支持 OceanBase 作为对端的数据迁移同步能力本文通过 MySQL->OceanBase的数据迁移同步案例简要介绍这个源端的能力。链路特点：结构迁移、全量迁移、增量同步(数据)流程全自动化高度产品化：任务管理、监控、审计一应俱全使用须知仅支持 OceanBases MySQL 模式支持的源端数据源类型为 Oracle/PostgreSQL/MySQL，本文主要以 MySQL 源端为例说明使用方法。DDL同步当前仅支持 My
2022-03-07 20:08:51
1222
转载 MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战
简述CloudCanal 2.1.0.x 版本开始支持 StarRocks 作为对端的数据迁移同步能力本文通过 MySQL->StarRocks 的数据迁移同步案例简要介绍这个源端的能力。链路特点：结构迁移、全量迁移、增量同步(数据)、数据校验俱全流程全自动化使用须知支持的StarRocks版本为: 1.18.x、1.19.x、2.0.x支持的源端数据源类型为: Oracle/PostgreSQL/Greenplum/MySQL，本文主要以 MySQL 源端为例说明使用方法。校
2022-01-14 15:42:00
1308
转载 MySQL 到 ElasticSearch 宽表构建和同步CloudCanal实战
简述CloudCanal 2.0.X 版本近期支持了宽表构建能力，在数据预处理领域向前走了一步。方案特点相对灵活，对业务数据和结构贴合性好能很好的支持事实表与维表打宽表需求本文以 MySQL 到 ElasticSearch6 单事实表双维表为案例，介绍 CloudCanal 宽表构建和同步的操作步骤。技术点打宽表的必要性关系型数据库为了应对在线业务对于并发、毫秒级响应，同时操作相对趋向 kv 化,一般基于关系范式进行设计，通过外键或约定外键（非物理约束）进行关联。当业务需求涉及到多张关
2022-01-06 16:00:04
2121
转载 MySQL 到 ClickHouse 宽表构建和同步-CloudCanal实战
简述上一篇文章介绍了使用 CloudCanal 进行 MySQL 到 ElasticSearch 的宽表构建, 有蛮多朋友关注和尝试使用，我们也在不断迭代升级这个能力。作为产品的通用功能，今天我们介绍下 MySQL -> ClickHouse 的宽表构建案例。技术点ClickHouse 表关联之觞ClickHouse 作为标准的列存数据库，其特点相当鲜明，对于多维度数据聚合、筛选特别高效,对于列存面向计算的特点，用得相当不错，包括但不限于以下特点io 效率高列压缩少数列数据存取io放
2022-01-06 15:59:04
912
1
转载 分库分表数据汇聚到一张表--CloudCanal实战
简述CloudCanal 2.X 版本近期支持了自定义代码能力，带来了丰富的场景化数据能力，本文主要介绍在面向 To C 业务分库分表情况下，如何通过 CloudCanal 进行数据实时汇聚。本方案特点：数据处理灵活，适配多变的业务数据汇聚需求针对大部分带结构数据源互通，可举一反三稳定性较好技术点约束冲突对于一部分分库分表中间件或业务自己写的拆分逻辑，并没有考虑写入数据主键或者唯一字段值的全局唯一问题，导致做数据汇聚时约束冲突。另一类系统，在业务上就独立，做数据汇集时，除了约束冲突，
2022-01-06 15:57:51
1382
转载 Oracle到MySQL实时数据同步CloudCanal实战
本文通过 Oracle 到 MySQL 的数据迁移同步案例简要介绍这个源端的能力。链路特点：结构迁移、全量迁移、增量同步(数据)、数据校验俱全流程全自动化此文章简要介绍如何快速构建一条长期稳定运行的 Oracle->MySQL 数据链路
2022-01-06 15:56:21
1524
转载 5分钟搞定 MySQL 到 ClickHouse 宽表构建和同步-CloudCanal实战
简述上一篇文章介绍了使用 CloudCanal 进行 MySQL 到 ElasticSearch 的宽表构建, 有蛮多朋友关注和尝试使用，我们也在不断迭代升级这个能力。作为产品的通用功能，今天我们介绍下 MySQL -> ClickHouse 的宽表构建案例。技术点ClickHouse 表关联之觞ClickHouse 作为标准的列存数据库，其特点相当鲜明，对于多维度数据聚合、筛选特别高效,对于列存面向计算的特点，用得相当不错，包括但不限于以下特点io 效率高列压缩少数列数据存取io放
2021-12-17 14:57:44
1897
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人