一、背景

在企业里,数据库日积月累形成的数据形成拥有巨大价值的宝藏。但是,由于企业业务种类数量不断增加,数据库中数据量和数据形态呈现爆炸式增长,此时,企业使用数据辅助决策就会遇到一些问题。

二、典型场景

1、企业在进行周期数据归档,希望能将数据库中的冷数据/历史数据转储到可靠又低价的存储上,降低存储成本。 2、企业面临各种简单/复杂场景的数据加工需求,需要一款数据治理平台将复杂加工任务进行拆解和编排。

三、解决方案">三、解决方案

集“FineTube实时数据引擎”、“FinePreparation离线处理引擎”于一体的FineDataLink平台 ,其中数据开发可以提供短批的任务处理模式,在线流、批处理的多引擎任务开发环境,满足复杂的调度依赖,打造符合企业级数仓的功能模块,为数字化转型提供支持。

(一)支持短批任务执行

传统单机版数据库和云原生数据库是目前比较流行的两类数据库。前者的存储空间是有限的,后者虽然可以对存储扩容,但也要收取较高的费用。那么,当数据库中的数据量持续增长时,该如何降低存储成本呢?许多用户希望能将数据库中的冷数据/历史数据转储到可靠的分布式数据库上。 现在通过数据治理平台FineDataLink的数据开发,可轻松实现数据库数据周期归档到分布式数据库的需求。 fdl数据开发 例如:对业务数据进行日结、月结数据处理,形成存档数据;以及在数据分析阶段需要进行汇总、分组等计算场景下,可以通过数据治理平台的FineDataLink数据开发短批的数据调度策略,同时结合参数化配置,处理过程中无需临时表操作,自动更新参数,满足企业数据周期归档的需求。

(二)多样化执行计划

FineDataLink的数据开发基于流式数据处理动作,提供多样的执行计划。 · 串并输入步骤 · 流批一体的数据调度策略 · 多种执行方式:提供执行一次、简单重复执行、固定时间执行。 例如:每日统计产品的用户数,按周产生报表数据。数据治理平台FineDataLink数据开发提供了流式数据处理和定时调度能力,通过流式数据处理可以将复杂加工任务进行拆解和编排,然后配置调度信息。FineDataLink数据治理平台支持单次调度和周期调度,通过丰富的调度配置和执行方式,FineDataLink数据开发能满足各种简单/复杂场景的数据加工需求。

(三) 触发式任务执行

在日常数据库的使用中,有许多DML/DDL/DCL操作需要触发执行,如:清理历史数据防止表过大、更新统计信息以获得更好的查询优化结果。 有些数据库在内核层面已经提供了事件调度功能,如:MySQL Event,但是使用特殊的语法创建Event和维护Event都有一定的成本。FineDataLink的数据开发执行任务组件提供了可视化的方式轻松创建任务,更加简易灵活,适用范围更广。

四、总结

FineDataLink数据治理平台作为新一代的低代码/高时效的企业级一站式数据集成产品,面向用户大数据场景下实时数据采集、集成、管理的诉求,提供快速连接、高时效融合各种数据、帮助企业打破数据孤岛,大幅激活企业业务潜能,使数据成为生产力。

免费使用

行业:

地区:

特点:

免费获取FineDataLink产品解决方案

点击获取资料

用FineDataLink串联您的企业数据,数据成为生产力

加入标杆客户阵营,分享您所在企业的数据故事