异构数据库实时同步工具有哪些?

作者:finedatalink

发布时间:2023.9.7

阅读次数:403 次浏览

针对目前主流的一些关系型数据库:Oracle、SQL Server、MySQL、PostgreSQL、MariaDB(基于MySQL)等,要对他们进行实时数据同步,一般都是基于数据库的特性来进行同步的,比如日志、时间戳等。

1、数据库自带的一些记录数据实时变更的记录:

(1)Oracle: CDC 或者 LogMiner

LogMiner技术可以通过分析redo log和archive log文件,获取Oracle redo log和archive log文件的具体内容,甚至还可以获得数据库的DDL、DML操作。

(2)SQL Server:

变更数据捕获 (CDC) 使用 SQL Server 代理来记录应用于表的插入、更新和删除活动。

(3)MySQL BinLog:

binlog是mysql用来记录数据库表结构变更以及表数据修改的的二进制日志,它只会记录表的变更操作,但不会记录select和show这种查询操作。

(4)PostgreSQL WAL(Write Ahead Log):

WAL(Write Ahead Log)事务日志存储了数据库系统中所有更改和操作的历史。

2、FT(FDL)的作用:

通过FT的增量组件 对接日志等,可以通过记录进行数据变化解析,通过表输出的方式,实时同步到目标库。

单表同步:

多表同步:

全库原表原样同步:

3、需要注意的点:

(1)监控机制:数据异常提醒

(2)断点续传:若源库由于其他原因暂时关闭了数据库,在恢复后,需要对数据再次进行同步,这时候就需要从之前断点处进行同步,保证数据的一致性

(3)已配置:零代码拖拉拽配置

FineDataLink(FDL)是一款低代码/高时效的数据集成平台,它不仅提供了数据清理和数据分析的功能,还能够将清理后的数据快速应用到其他应用程序中。FineDataLink的功能非常强大,可以轻松地连接多种数据源,包括数据库、文件、云存储等,而且支持大数据量。此外,FineDataLink还支持高级数据处理功能,例如数据转换、数据过滤、数据重构、数据集合等。使用FineDataLink可以显著提高团队协作效率,减少数据连接和输出的繁琐步骤,使整个数据处理流程更加高效和便捷。

数据集成平台产品更多介绍:www.finedatalink.com

                         

上一篇: 下一篇: