你不能错过的ETL工具使用小技巧!快来收藏!

作者:finedatalink

发布时间:2023.7.28

阅读次数:2,184 次浏览

Kettle最早是一个开源的ETL工具,作为一个端对端的数据集成平台,可以对多种数据源进行抽取(Extraction)、加载(Loading)、数据落湖(Data Lake Injection)、对数据进行各种清洗(Cleaning)、转换(Transformation)、混合(Blending),并支持多维联机分析处理(OLAP)和数据挖掘(Data mining)。

那么,怎么解决在终端执行kettle的作业任务,终端关闭了,这个作业任务也会关闭?换言之,怎么处理kettle的定时调度的问题呢?

其实原理很简单,你把终端关闭了=你关闭了服务,那服务里执行kettle的作业任务自然就停止了。

下面有两个方法可以解决这个问题:

方法一:使用kettle定时任务调度

①不依赖服务是否开启,直接用Linux系统自带的cron,任务使用kettle的定时调度。

②windows同理,用“kettle的定时调度”+bat 文件就ok。

的确kettle的定时调度任务会比较麻烦,现在也有一些开源的可以托管kettle调度,比如jenkins。

方法二:使用专业的数据调度工具

当然,也可以看看国内的FineDatalink数据集成平台,是一款集“实时数据同步”和“离线数据处理”于一体的数据集成平台。除了kettle的定时调度数据处理场景,还能对接多种数据库,基于CDC、logminer、binlog等进行数据的实时同步。

FDL数据集成平台-定时调度

BS端的方式,让你随时随地可以进行数据的处理方便,方便看到各个任务的运行状态,当任务出现问题时,还可以进行统一的消息通知,比如邮件、企业微信等。数据准确的重要保障是,数据处理任务是否正常运行就是至关重要的,以及任务出错时的重启机制。

总而言之,在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。

ETL工具,kettle的定时调度,数据集成平台

数据集成平台产品更多介绍:www.finedatalink.com

                         

上一篇: 下一篇: