作者:finedatalink
发布时间:2023.9.26
阅读次数:366 次浏览
如果出于业务需要,需要重新进行数据库数据,但原有数据库的数据仍然需要,在重构过程中的数据库设计应注意哪些问题?
后期进行数据迁移时,两个库中的表结构不同要如何进行迁移?由于是异构数据库,所以做数据迁移时会比同构数据库麻烦。
这里推荐2种异构数据库做数据迁移时的常用方式,以及迁移时需要注意的6点问题。
1、要求:由于是全量备份,数据量会很大,一般需要较长的备份时长,备份过程可能会出现数据库报错或者连接数不足等非意料中的异常,且insert/update会 占用大量的CPU资源,风险较大。
2、做法:一次性or实时增量
1、要求:如果直接开写代码,对技术要求会较高,所以一般建议使用数据集成工具,比如FineDataLink,从数据级别入手,基于日志增量技术进行的数据同步,采用无侵入式的模式,对数据库的性能影响较小,能很好实现异构数据库数据迁移的需求。
2、做法:实时增量
至于在重构过程中的数据库设计应注意哪些问题,简单列举6点
1、表结构不同,在迁移的时候,需要做到不同类型的字段映射Q
2、假如要新增表字段的时候,需要支撑新增列
3、若有表字段需要进行二次处理规范,需要支持字段转换,比如公式或其他
4、表设计时,需要保证三大范式,这里就不展开讲了:可参考数据库三大范式
5、迁移时需要保证数据一致性, 采用定时数据同步或者数据的实时同步,直到源数据库的表弃用
6、数据迁移时所使用的工具,最好具备任务监控能力,能够及时寻错
在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。
数据集成平台产品更多介绍:www.finedatalink.com
上一篇: mysql数据库数据同步3种通用方法,你选对工具了吗?下一篇: 高效数据集成工具推荐,轻松实现异构数据库统一访问