- FineDataLink数据集成客户案例

一、背景

在企业里，数据库日积月累形成的数据形成拥有巨大价值的宝藏。但是，由于企业业务种类数量不断增加，数据库中数据量和数据形态呈现爆炸式增长，此时，企业使用数据辅助决策就会遇到一些问题。

二、典型场景

1、企业在进行周期数据归档，希望能将数据库中的冷数据/历史数据转储到可靠又低价的存储上，降低存储成本。 2、企业面临各种简单/复杂场景的数据加工需求，需要一款数据治理平台将复杂加工任务进行拆解和编排。

三、解决方案">三、解决方案

集“FineTube实时数据引擎”、“FinePreparation离线处理引擎”于一体的FineDataLink平台 ，其中数据开发可以提供短批的任务处理模式，在线流、批处理的多引擎任务开发环境，满足复杂的调度依赖，打造符合企业级数仓的功能模块，为数字化转型提供支持。

（一）支持短批任务执行

传统单机版数据库和云原生数据库是目前比较流行的两类数据库。前者的存储空间是有限的，后者虽然可以对存储扩容，但也要收取较高的费用。那么，当数据库中的数据量持续增长时，该如何降低存储成本呢？许多用户希望能将数据库中的冷数据/历史数据转储到可靠的分布式数据库上。现在通过数据治理平台FineDataLink的数据开发，可轻松实现数据库数据周期归档到分布式数据库的需求。 fdl数据开发

例如：对业务数据进行日结、月结数据处理，形成存档数据；以及在数据分析阶段需要进行汇总、分组等计算场景下，可以通过数据治理平台的FineDataLink数据开发短批的数据调度策略，同时结合参数化配置，处理过程中无需临时表操作，自动更新参数，满足企业数据周期归档的需求。

（二）多样化执行计划

FineDataLink的数据开发基于流式数据处理动作，提供多样的执行计划。 · 串并输入步骤 · 流批一体的数据调度策略 · 多种执行方式：提供执行一次、简单重复执行、固定时间执行。

例如：每日统计产品的用户数，按周产生报表数据。数据治理平台FineDataLink数据开发提供了流式数据处理和定时调度能力，通过流式数据处理可以将复杂加工任务进行拆解和编排，然后配置调度信息。FineDataLink数据治理平台支持单次调度和周期调度，通过丰富的调度配置和执行方式，FineDataLink数据开发能满足各种简单/复杂场景的数据加工需求。

（三）触发式任务执行

在日常数据库的使用中，有许多DML/DDL/DCL操作需要触发执行，如：清理历史数据防止表过大、更新统计信息以获得更好的查询优化结果。有些数据库在内核层面已经提供了事件调度功能，如：MySQL Event，但是使用特殊的语法创建Event和维护Event都有一定的成本。FineDataLink的数据开发执行任务组件提供了可视化的方式轻松创建任务，更加简易灵活，适用范围更广。