总而言之,在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。
作者:finedatalink
发布时间:2023.7.28
阅读次数:2,184 次浏览
Kettle最早是一个开源的ETL工具,作为一个端对端的数据集成平台,可以对多种数据源进行抽取(Extraction)、加载(Loading)、数据落湖(Data Lake Injection)、对数据进行各种清洗(Cleaning)、转换(Transformation)、混合(Blending),并支持多维联机分析处理(OLAP)和数据挖掘(Data mining)。
那么,怎么解决在终端执行kettle的作业任务,终端关闭了,这个作业任务也会关闭?换言之,怎么处理kettle的定时调度的问题呢?
其实原理很简单,你把终端关闭了=你关闭了服务,那服务里执行kettle的作业任务自然就停止了。
下面有两个方法可以解决这个问题:
方法一:使用kettle定时任务调度
①不依赖服务是否开启,直接用Linux系统自带的cron,任务使用kettle的定时调度。
②windows同理,用“kettle的定时调度”+bat 文件就ok。
的确kettle的定时调度任务会比较麻烦,现在也有一些开源的可以托管kettle调度,比如jenkins。
方法二:使用专业的数据调度工具
当然,也可以看看国内的FineDatalink数据集成平台,是一款集“实时数据同步”和“离线数据处理”于一体的数据集成平台。除了kettle的定时调度数据处理场景,还能对接多种数据库,基于CDC、logminer、binlog等进行数据的实时同步。
BS端的方式,让你随时随地可以进行数据的处理方便,方便看到各个任务的运行状态,当任务出现问题时,还可以进行统一的消息通知,比如邮件、企业微信等。数据准确的重要保障是,数据处理任务是否正常运行就是至关重要的,以及任务出错时的重启机制。
总而言之,在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。
数据集成平台产品更多介绍:www.finedatalink.com