定时数据处理任务稳定性差?一款数据集成平台就能解决

作者:finedatalink

发布时间:2023.7.26

阅读次数:431 次浏览

linux系统环境下,在终端执行kettle的作业任务,为什么终端关闭了,这个作业任务也会关闭?

其实原理也很简单,把终端关闭了=关闭了服务,那服务里执行kettle的作业任务自然就停止了。

那要如何避免这种情况发生?

方法一:使用kettle定时任务调度

①不依赖服务是否开启,直接用Linux系统自带的cron,对kettle的任务进行定时调度。这里有个推荐配置,可以参考下:kettle - Linux系统下定时执行kettle作业 - KJXY - 博客园

②windows同理,用“定时任务调度”+bat 文件就ok,可以参考:windows定时任务调度kettle作业_木头遇马尾的博客-CSDN博客_kettle作业定时调度

但我个人认为,无论是用cron还是bat文件,kettle的稳定性还是较差,调度过程中有可能会出现数据库报错,或者连接数不足等非意料中的异常。

方法二:使用专业的数据调度工具

相比于开源工具,专业的数据集成平台的安全性和稳定性会更高一些。国内的话,像是FineDataLink这种数据集成平台其实也慢慢多了起来,除了定时数据处理场景,它还能对接多种数据库,基于CDC、logminer、binlog进行数据的实时同步。

数据集成平台,kettle,linux系统

数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成平台,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。

数据集成平台,kettle,linux系统

数据集成平台产品更多介绍:www.finedatalink.com

                         

上一篇: 下一篇: