- 博客(24)
- 收藏
- 关注
RSS订阅转载 异构数据库同步方案
全量过程开始时记录源库当前时间点，全量过程结束后，增量过程自动从该时间点开始解析日志。增量过程采用日志解析方式，从某一时间点顺序读取数据库日志中的事务操作，解析还原为目标兼容的DML或DDL，以事务为单元在目标库重做操作。为减轻生产库负载，避免在其上直接运行分析应用拖垮系统，需要将生产系统产生的业务数据实时同步到大数据分析平台。全量过程遍历源库所有表，依次在目标库创建对应表并通过SQL读写方式同步表的历史数据。项目，软件按照源库事务单元实时同步数据，适合于整库或数量较多表的实时同步。基于联机归档日志解析。
2024-03-13 16:02:12
31
1
转载 开放式ETL产品 是 信创国产化替代“标配“（上篇）
信创国产化通俗来讲，就是在核心芯片、基础硬件、操作系统、中间件、数据服务器等领域实现信创产业的国产替代。先期虽无软件成本，后期有无下限的人员成本、时间成本、精力成本、无效成本、维护成本、人员衔接成本...... 比如繁多的FTP（文件传输）搞晕了运维人员，付出的管理成本很大。当下对于已上线的开源工具&包装开源（就算扩展可解决以上问题），最大的潜在风险是——闭源！国内ETL技术在数据仓库技术、数据集成、数据中心、数据整合平台、数据交换池、数据管理等等，发展中日趋成熟，先阶段各企业应用现状大体呈现有三大方向。
2024-01-06 15:49:52
54
转载 开放式ETL产品 是 信创国产化替代“标配“（下篇）
客户不需要技术有多厉害，快速精准解决问题就行，往往产品选型时，经常沦陷拼性能，列功能，强升级的场景，忽视本质的需求。在设计数据交换平台的功能之初，任何个需求要进行确认，投入的精力很大，不全面考虑，死磕到底，最后企业终究自己买单，一个小功能的缺失就可能导致ETL的效率的大幅降低，甚至推倒重来，留给运维团队的也将是无尽的痛苦。ETL作为搞大数据核心的技术平台，在建设或选择的时候，要考虑的东西非常杂多，以为搞了云化就好了，岂不知仅仅解决了ETL中冰山一角，不忽悠且理解真正想要什么很难。
2023-11-10 15:01:00
115
原创 国产Beedup & ODG同而不同
Beedup可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。Beedup是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。Beedup商用 通用独立软件实现 非基于数据库技术核心实现。(ODG 免费 无服务）
2023-10-13 14:16:19
89
转载 ETL任务调度—ETL工具的灵魂功能
前有实施上线ETL（设计ETL任务），后有ETL的N个任务的高效管理，对N 个 ETL模块化管理即运维是整个项目投入人力、时间、精力 刚刚启动，不可控成本随之而来......上线ETL项目及用户感同身受，只有经历过才有发言权。内置定时调度与工作流调度功能，提供简单直观的图形操作界面，满足各种不同规模的数据集成场景，软件除具备上述工作流调度基本功能外，依据。过程需要变更时，仅需重新配置相关子任务或子任务间时序关系，无需对整个过程进行调整，简化了。任务——用于定义数据的抽取，转换及装载规则。
2023-09-03 18:31:04
261
转载 国产etl 与 ODI
2. ODI使用ELT方式在数据整合过程中，它自己本身不执行数据整合的处理，所有的执行都是在 现有的信息系统或者数据库中完成，不能出库。ODI本身并没有针对非结构化和半结构化数据转换为结构化或XML格式的功能, 只能通过编写Java程序，将Excel，PDF，Word转换为txt文档。如果数据量非常大，一旦遇到输出为文件，异构数据库间的数据整合，那么，ODI的性能就会受到影响。产品化的工具通常会提供丰富的，最优性能的内置功能，尽可能少的减少额外程序的编写。对产品工具必备刚性需求，工具价值本该在此。
2023-06-18 16:47:47
212
转载 实时 双向同步 双向复制 即 Beedup 产品
提供数据库（Oracle/SQLServer/DB2/MySQL/Gbase/PostgreSQL）异地容灾备份，异地数据同步功能。支持复制时的主库和从库双活，支持CDC（Changed Data Capture）， 满足从PC到服务器、从Windows到Linux 再到Unix环境的复制。提交线程从提交缓冲区读取记录并转换为DML或DDL在从库执行，当对应一个事务的所有DML或DDL全部执行完毕，向从库发送提交命令并存储事务提交点。用于双业务中心异地互备，两个数据库同时接受业务请求。
2023-04-24 10:57:48
109
转载 数据库实时同步方案
Beedup采用JDBC连接主库及从库，软件配置十分简单，默认指定主库及从库的连接参数即可。Beedup提供数据库审计功能，实时跟踪记录主表数据变化，审计信息包含变化时间戳，用户代码，操作类型等。审计信息既可细粒度观察主库数据变化轨迹，实现数据操作回溯，也可用于CDC（变化数据捕获），作为实时数据采集的入口点。Beedup提供详细的运行日志输出，包含事务复制时间、事务对应DDL及DML（INSERT、DELETE和UPDATE）的产生时间及执行用户，DML对应的表等信息。
2023-01-13 11:03:21
1074
转载 国产ETL工具BeeDI 产品 之 全国连锁到集团总部 数据同步
（核心非包装开源kettle\非数据库辅助功能）为企业解决可能出现的有关相关性、性能、瓶颈、战略和其他种种数据问题。到目前已拥有广泛的客户关系网络，客户范围涵盖政府、军队、金融、电信、税务、电力、水利和教育等行业，目前Beeload版本为V8.0（标准版\企业版）目前旗下拥有两款自研核心技术 国产ETL工具 产品Beeload(轻量级)/BeeDI（高端），数据库实时复制 工具 Beedup 产品。(2) 高端ETL---BeeDI诞生于2010年5月，目前版本为V10.0（标准版\企业版\集群版）。
2022-09-18 21:55:56
247
转载 洞察ETL工具技术硬核—源头C/S & B/S架构
B/S模式使用成熟的WEB服务器（如Tomcat）与浏览器实现Socket消息交互，浏览器通过解释执行WEB服务器生成的网页脚本控制UI界面显示，软件运算功能主要集中于服务器端，浏览器主要用于结果展示以及接收用户输入。对于实现复杂的应用功能有较大的困难。C/S架构主要特点是交互性强、具有安全的存取模式、网络通信量低、响应速度快、支持功能复杂的UI界面，提供良好的用户体验。C/S架构的软件需要针对不同的操作系统开发不同版本的软件，软件需要独立部署安装，需要较高的开发维护及分发安装升级成本。...
2022-08-08 22:21:24
129
转载 ETL工具精髓功能 实时数据同步
无 实时数据同步 功能的ETL工具，为准ETL工具（如开源Kettle无此功能，开发人员需额外写代码）提供“实时”的企业数据集成在建数据仓库、大数据中心（数据中台）实现数据实时处理和传递运营数据的价值时……先期必须进行数据汇总、数据抽取、数据分发、数据清洗、数据过滤、数据转换、数据共享…… 都面临从各复杂业务数据库中“实时”数据集成的首要解决方案——从更广泛的方面（而不只是数据仓库、数据中台）实现数据的实时转换和处理运营数据的功能，从而帮助企业实时运营数据与存储在企业数据仓库中的历史信息集成起来，以推动业务
2022-06-09 09:40:05
1091
转载 ETL任务集群部署
目录 一 概述 二 配置 1 主备资源管理器配置 2 作业服务器配置 三 操作 1 登录资源管理器 2 调度执行作业 3 作业服务器故障任务迁移 4 后备RM接管 一 概述 BeeDI 提供集群部署调度功能，支持ETL任务在多台服务器上的自由迁移，BeeDI集群部署包含客户端、资源管理器、作业服务器。客户端登录资源管理器发布调度任务，资源管理器负责将任务动态加载到可用的作业服务器运行。当某...
2022-03-24 21:05:20
459
转载 大数据时代的集成利器
大数据时代的集成利器 ETL工具 https://blog.csdn.net/little_bee_2004/article/details/80006047 在信息时代大数据环境下，基于分布式的开源Hadoop架构日渐流行。在为大数据存储和处理提供便利的同时，它对企业的数据访问、数据整合和数据质量管理都提出了更高的要求。 为此，国产数据集成软件厂商北京灵蜂软件有限公司日前宣...
2021-09-23 14:04:18
107
转载 开源Kettle 瓶颈—灵蜂ETL产品 BeeDI 解决
在实际业务中，在直接使用开源Kettle 和包装开源Kettle功能 遇见硬核功能瓶颈，灵蜂ETL产品 BeeDI 来解决！详见下表： 序号 技术 参数 BeeDI Kettle 1 整库迁移或批量表 导出 批量自动映射源表结构到目标库。 手工逐一定义MAP完成表映射。 2 时间戳 同步 要求源表包含时间戳字段,每次同步时,根据上次记录的断点读取未同步的数据,同步结束后记录断点。所有逻...
2021-07-02 10:38:00
169
转载 灵蜂BeeDI ETL
大数据时代的集成利器 ETL工具 https://blog.csdn.net/little_bee_2004/article/details/80006047 在信息时代大数据环境下，基于分布式的开源Hadoop架构日渐流行。在为大数据存储和处理提供便利的同时，它对企业的数据访问、数据整合和数据质量管理都提出了更高的要求。 为此，国产数据集成软件厂商北京灵蜂软件有限公司日前宣布，推出最新版本的企业级数据集成软件BeeDI，并添...
2021-07-02 10:29:37
368
转载 ETL工具精髓功能 实时数据同步
无 实时数据同步 功能的ETL工具，为准ETL工具（如开源Kettle无此功能，开发人员需额外写代码）IT机构、开发团队以及开发人员使用实时数据同步组件实现：通过对各种实时数据源进行双向集成同步，推动零延迟实时数据的业务流程通过实时传递企业需数据的信息加快决策过程通过支持基于数据源和用户定义的提交以及基于规则定义，确保实时数据的完成整性一、作用提供“实时”的企业数据集成在建数据仓库、大数据中心（数据中台）实现数据实时处理和传递运营数据的价值时……先期必须进行数据汇总、数据抽取、数据分
2021-03-03 14:58:55
1109
2
转载 大数据时代的集成利器
大数据时代的集成利器 ETL工具 https://blog.csdn.net/little_bee_2004/article/details/80006047 在信息时代大数据环境下，基于分布式的开源Hadoop架构日渐流行。在为大数据存储和处理提供便利的同时，它对企业的数据访问、数据整合和数据质量管理都提出了更高的要求。 为此，国产数据集成软件厂商北京灵蜂软件有限公司日前宣...
2020-11-27 21:41:24
124
转载 几种老字号ETL工具比对（转）
常见的几种ETL工具清单 序号国籍名称价格区间点评下载地址1美国 ODI ( 数据库自带） 数据库厂商提供 有局限性，与 oracle 数据库耦合太深，做不到异构数据库之间 (C/S架构） www.oracle.com/technetwork/cn/testcontent/index-...
2020-10-20 10:38:33
190
1
转载 常见ETL工具一览，你知多少？
这些年，几乎都与ETL打交道，接触过多种ETL工具。现将这些工具做个整理，与大家分享。一 ETL工具【国外】datastage点评：最专业的ETL工具，价格不菲，使用难度一般下载地址：ftp://ftp.seu.edu.cn/Pub/Develop … taStage.v7.5.1A-iSOBT种子下载：http://pan.baidu.com/share/link?shareid=172289&uk=67437475－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
2020-09-08 22:26:40
2677
1
转载 数据库容灾方案
也称数据库双活、数据库复制，即在本地或异地部署一个与生产库完全相同的灾备数据库，当生产库由于各种原因（错误操作、系统软件错误、病毒、硬件故障、断电、火灾、地震等）发生故障时，灾备数据库可以立刻接管原有应用，对外正常提供服务。进行数据库容灾需要考虑以下问题：1 本地容灾还是异地容灾，异地容灾的网络带宽及稳定性。2 灾备数据库是否需要在...
2020-08-12 11:45:33
1983
转载 互联网人典型体检报告？
体检报告出来后，整个人都不好了。自己也算是一个典型互联网人，我猜测，很多互联网人情况和我类似，故把典型症状以及医生建议同步出来，希望对大家有帮助。画外音：医生的建议，非常能够落地。一般检查结果：体重指数大于24，体重超重。画外音：感谢没有使用“肥胖”字眼。什么是体重指数（body mass index）？BMI = [体重(kg)] 除以 [身高(m)的平方]如果BMI >= 24，则为超重；超重是心血管疾病，糖尿病，血脂等疾病的危险因素。医生建议：（1）注意膳食平衡，饮食宜低脂，低
2020-07-28 21:58:24
187
转载 慎选 ETL工具（informatica？beeload? kettle?)
近年来由于信息化如海啸般袭来，商业智能（BI)、大数据、数据挖掘、数据分析、人工智能相关需求应用而生。要做到这些终极决策需求，需要及时、精准、海量数据中获取，既不能直接在业务层抽取数据（影响业务性能、数据存在"脏数据"......)；传统手工代码小量数据处理还是可以应对。随着数据量日趋成倍增长, 需要满足大中小企业数据集成—ETL工具...
2020-07-22 22:38:38
684
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人