数据仓库的调度配置是实际业务中必不可少的一环。通过调度配置，可以实现数据的更新同步，从而让数据持续的应用在业务中。

传统数据处理工具一般通过定时同步的方式，在构建 ODS 层数据时，需要将大量业务系统数据进行原表原样迁移；从 数仓的ODS 层到数仓的后续层级 DW、DM，再采用全量计算的方式进行更新。

一、数据同步的实时性无法满足怎么办？

直接从业务系统取数，业务库压力较大，导致数仓 ODS 层和业务系统间存在数据延迟，数据同步严重滞后；由于参与计算的数据比较多，导致 DW、DM也会产生数据延迟，数据时效性不足。

二、解决方案：搭建数仓实时 ODS 层

针对上述问题，FineDataLink拥有强大的实时数据采集、批量数据同步能力，提供了完整的解决方案：

一、对于数据实时性需求，FineDataLink 通过日志增量技术，从业务系统实时读取数据，使用「数据管道」功能构建数仓实时 ODS 层；

二、数仓ODS层的后续层级采用增量更新，替代全量计算。利用时间戳标识技术，实现 DW 层增量更新，提升数据全链路时效性，为企业决策提供了更准确的数据依据。

三、FineDataLink的管道任务运维支持查看任务运行状态、数据同步性能、检查异常情况、以及对异常进行处理，提供了多方面的运维保障，实现智能化运维。

三、实战案例：销售部门与财务部门数据同步

例如，某销售公司当前情况如下：

当前有两个部门的数据：「销售」和「财务」，目前分别存储在不同业务系统对应数据库中；在数据仓库的ODS、DW、DM 3层中，ODS层是由业务系统直接拉取过来的原始数据；DW 层是基于 ODS 层进行汇总处理的中间层数据；DM 层是基于 DW 层，并且根据报表展示诉求而加工获得的结果层数据。

需要建设以下数仓任务：将两个部门的底层数据落库至指定数据库，形成实时 ODS 层数据， ODS 层定期（每周一次）同步更新的数据到 DW层，DW层定期（每周一次）同步更新的数据到 DM层，供给其他可视化报表展示工具使用。

设置ODS层实时同步任务

构建 ODS 层数据时，需要将大量业务系统数据进行原表原样迁移。

将来自不同数据库的「财务数据」和「销售数据」使用 FDL 的「数据管道」功能，只需要几步即可批量实时同步至数据仓库的 ODS层；

1）新建管道任务，将存放「销售数据」、「财务数据」对应的数据库中对应的原始选中，并同步至存放 ODS 层数据的「test_1」数据库中：

2）设置字段映射和异常通知，并保存和启动任务

设置DW层增量数据同步

当ODS 层有新数据生成，将定时同步增量数据，即根据最新的销售时间判断选取ODS 层中的新增数据同步至DW层，同时记录更新的开始时间和结束时间。操作参见：设置DW层任务

1）设置财务数据定时任务，添加「参数赋值」节点，设置 SQL 语句显示当前时间（任务开始时间），并将其设置为参数 time1；

2）取出DW层中最晚订单生成时间，并设置为参数 time；

3）新建「数据同步」节点，取出ODS层中的华北财务数据，并使用time参数比较「订单生成时间」，如果华北财务数据中「订单生成时间」晚于 DW 层中数据中最晚订单时间，则将这部分新增数据同步至DW层中；

4）和获取开始时间一样，新建「参数赋值」节点，以获取结束时间并设置时间参数；

5）新增消息通知节点，DW 层执行成功则发消息通知。

设置 DM 层任务汇总 关联销售财务数据

通过定时同步将 DW 层的销售数据和财务数据进行汇总关联，落库DM 层，为其他报表等可视化工具提供数据源。操作参见：设置DM层任务

1）创建任务后新增数据转换节点，通过「DB表输入」将 DW 层的销售数据和财务数据取出；

2）新增「数据关联」，将销售订单编号和财务订单编号关联，形成宽表；

3）新增消息通知节点，DM 层执行成功则发消息通知。

数仓任务运维调度

该步骤可实现数仓三个层级的统一调度触发，智能化运维，操作步骤参见：设置总调度任务

1）使用「数据开发」功能创建「调度总任务」，首先获取开始时间并设置为参数，与设置DW层任务中同理

2）使用调用任务的形式将ODS层任务、DW层任务和DM层任务创建的三个数仓调度任务进行调用；

3）记录调度任务执行结束的时间，并设置为参数；

4）最后设置消息通知，若执行成功则通知。

FineDataLink是一款低代码/高时效的数据集成平台，它不仅提供了数据清理和数据分析的功能，还能够将清理后的数据快速应用到其他应用程序中。FineDataLink的功能非常强大，可以轻松地连接多种数据源，包括数据库、文件、云存储等，而且支持大数据量。此外，FineDataLink还支持高级数据处理功能，例如数据转换、数据过滤、数据重构、数据集合等。使用FineDataLink可以显著提高团队协作效率，减少数据连接和输出的繁琐步骤，使整个数据处理流程更加高效和便捷。

数据集成平台产品更多介绍：www.finedatalink.com

                         免费体验Demo 咨询方案

上一篇: ETL与数据管道有什么区别？答案在这里下一篇: 从传统数据处理架构向实时数仓演进，企业该如何避免踩坑？