SeaTunnel-CSDN博客

原创基于Apache SeaTunnel构建CDC数据同步管道

Apache SeaTunnel是一个数据集成开发平台，其发展经历了几个重要阶段：ETL时代（90年代）：面向结构化数据库的数据同步，用于构建数据仓库。MPP和分布式技术流行：使用技术如Hive进行数据仓库的构建。此阶段主要使用mapreduce程序进行数据搬运和转换。数据湖技术流行：重视数据集成，强调先同步数据至数据湖仓储，再进行业务面向的转换和设计。CDC，即变更数据捕获，是一种捕获数据库变更事件（如插入、更新、删除）的技术。

2023-12-19 12:08:21 1190

原创数据同步工具调研选型：SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目。SeaTunnel 主要解决数据集成领域的常见问题：数据源多样：常用的数据源有数百种，版本不兼容。随着新技术的出现，出现了更多的数据源。用户很难找到能够全面快速支持这些数据源的工具。复杂同步场景。

2023-11-14 10:54:43 3704 6

原创 SeaTunnel毕业！首个国人主导的数据集成项目成为Apache顶级项目

这是首个由国人主导并贡献到 ASF 的大数据集成领域的顶级项目，这一里程碑的达成标志着 SeaTunnel 在开源软件开发领域的突破，并为其在技术、社区合作和开放创新方面的卓越表现获得了广泛认可。

2023-06-01 14:54:13 3996

原创 Apache SeaTunnel 正式发布2.3.5版本，功能增强及多个Bug修复

经过两个月的筹备，我们在2.3.4版本基础上进行了新一轮的迭代，本次更新不仅修复了多个关键问题，还引入了若干重要功能增强和性能优化。

2024-05-07 18:42:20 94

原创开源之夏 2024 学生报名通道现已正式开启！奖金都是12000元，冲啊！！！

开源之夏（英文简称 OSPP）”是中国科学院软件研究所“开源软件供应链点亮计划”指导下的系列暑期活动，由中国科学院软件研究所和华为技术有限公司共同主办、中科南京软件技术研究院承办，旨在鼓励在校学生积极参与开源软件的开发维护，培养和发掘更多优秀的开发者，促进优秀开源软件社区的蓬勃发展，助力开源软件供应链建设。在这里，不仅可以深度参与到真实项目的开发实践之中，你还可以与资深开发者导师交流互动，积累属于自己的开源人脉，在这里，你将提升技术水平与实践能力，学到课堂上未曾接触过的开源知识与管理协作技能。

2024-05-06 19:03:22 494

原创 Apache SeaTunnel k8s 集群模式 Zeta 引擎部署指南

SeaTunnel提供了一种运行Zeta引擎(cluster-mode)的方法，可以让Kubernetes在本地运行Zeta引擎，实现更高效的应用程序部署和管理。在本文中，我们将探索SeaTunnel k8s运行zeta引擎(cluster-mode模式)的更多信息，了解如何更好地利用Zeta引擎的优势。使用Reloader实现更新configmap后自动重启pod。将镜像load进k8s，这里用的minikube做演示。友情提示：不要用tab，用空格。创建configmap如下。

2024-04-30 11:53:41 1473

原创【Demo 视频教程】使用SeaTunnel从MySQL同步到Doris

env {source{Jdbc {# 如果您想了解更多关于如何配置seatunnel和查看transform插件完整列表的信息，# 请访问 https://seatunnel.apache.org/docs/transform-v2/sqlsink {Console {}

2024-04-25 13:02:44 1003 2

原创探索在Apache SeaTunnel上使用Hudi连接器，高效管理大数据的技术

Apache Hudi是一个数据湖处理框架，通过提供简单的方式来进行数据的插入、更新和删除操作，Hudi能够帮助数据工程师和科学家更高效地处理大数据，并支持实时查询。

2024-04-24 17:26:55 945 3

原创内容搬迁至 SegmentFault #181e27

1。

2024-04-23 18:08:58 119

原创手把手教你掌握SeaTunnel k8s运行Zeta引擎本地模式的技巧

转载自小虾米0.0导读：随着Kubernetes的普及和发展，越来越多的企业和团队开始使用Kubernetes来管理和部署应用程序。然而，Kubernetes的默认工作方式可能不是最佳的选择，尤其是在需要更高效、更可靠的应用程序部署和管理能力时。因此，SeaTunnel提供了一种运行Zeta引擎(local-mode模式)的方法，可以让Kubernetes在本地运行Zeta引擎，实现更高效的应用程序部署和管理。

2024-04-23 18:03:23 695

原创【用户投稿】Apache SeaTunnel 2.3.3+Web 1.0.0版本安装部署

在部署 Apache SeaTunnel 时，通常需要先安装并配置好核心引擎，然后根据需要选择是否使用 Web 界面进行管理。对于自动下载下来的jar包，已经全部打包上传到CSDN,大家可以免费下载，直接放到connectors/seatunnel。代表了 Apache SeaTunnel Web 界面的安装包和 Apache SeaTunnel 的核心引擎的安装包。自动安装插件（全量安装，速度比较慢，一直到下班，一个半小时都没结束，第二天早上来显示下载结束）选择的Mysql作为元数据库，对应的驱动包。

2024-04-23 10:19:31 1110

原创 SeaTunnel JDBC DB2 Sink Connector支持的工作原理，快来学习吧！

DB2是IBM的一款关系型数据库管理系统，JDBC DB2 Source Connector是一个用于通过JDBC读取外部数据源数据的连接器。Apache SeaTunnel如何支持JDBC DB2 Sink Connector？请参考本文档。

2024-04-19 16:16:37 345

原创 Apache SeaTunnel社区成功入选开源之夏活动，现开启导师招募！

随着开源文化在全球范围内的蓬勃发展，Apache SeaTunnel社区也在不断探索如何更有效地参与并贡献于这一伟大的事业中。最近我们收到了一个好消息，Apache SeaTunnel社区已成功入选参加由中国科学院软件研究所“开源软件供应链点亮计划”发起的“”活动。这是一个旨在鼓励在校学生积极参与开源软件开发维护，培养和发掘更多优秀开发者的国际性暑期活动。

2024-04-18 10:47:19 633

原创【第3期】PMC对话标杆用户：兆原数通在SeaTunnel的应用实践

在本次对话中，他将分享他和他的团队如何在兆原数通成功实施SeaTunnel，以及这一过程中遇到的挑战和解决方案。我们希望通过这次活动，您不仅可以解决在使用Apache SeaTunnel中遇到的问题，更可以深入理解开源社区的协作精神，共同推动Apache SeaTunnel的未来发展。让我们一起深度探讨Apache SeaTunnel的应用实践，共同解决问题，共建更强大的开源社区！这个活动旨在建立一个开放的平台，让用户、开发者和PMC成员能够相互交流，分享各自的经验和故事，一起找到更好的解决方案。

2024-04-17 17:57:17 335