1. 概述

1.1 背景

数据仓库的调度配置是实际业务中必不可少的一环。通过数据仓库的调度配置，可以实现数据的更新同步，从而让数据持续的应用在业务中。

例如，某销售公司当前情况如下：

当前有两个部门的数据：「销售」和「财务」，目前分别存储在接口数据和业务系统对应数据库中；在数据仓库ODS层、DW层、DM层 3层中，ODS层是由业务系统直接拉取过来的原始数据；DW 层是基于数据仓库ODS 层进行汇总处理的中间层数据；DM 层是基于 DW 层，并且根据报表展示诉求而加工获得的结果层数据。

现在希望能实现以下数仓调度任务：将接口和数据库中的底层数据落库至指定数据库，形成 数据仓库ODS 层数据并定期（每周一次）更新数据，数据仓库 ODS 层定期（每周一次）同步更新的数据到 DW层，DW层定期（每周一次）同步更新的数据到 DM层，供给其他可视化报表展示工具使用。

1.2 思路

首先将各个业务系统的原始数据使用 FDL 抽取至数据仓库ODS层，由于读取的是业务系统的历史全量数据，所以选择「先清空目标表再写入数据」的写入方式，当抽取数据量较大时，此写入方式的执行效率最高、性能最佳；

其次将ODS层数据表中新增部分，写入到 DW 层数据表，由于示例中新增部分数据相比历史全量数据是比较少的，所以选择「直接将数据写入目标表」的写入方式；

最后将 DW 层的数据进行汇总，集中至 DM 层数据表，由于示例中 DM 层的计算逻辑需要基于历史全量数据进行，所以数据量较大，但是此类数据在 DM 层数据表中已经存在，所以我们选择「指定比对字段，比对字段遇相同值，覆盖目标表数据」的更新方式，形成可供直接分析的结果数据。

数据写入更新方式详情参见：数据更新专题，用户可以根据实际数据情况选择合适的更新方式，本文示例仅为参考。

1.3 效果预览

FineDataLink 中的数据处理过程，详情参见：https://demo.finedatalink.com/ 「场景案例>数据仓库场景」下的「01数据仓库调度示例一」文件夹。

任务设计效果如下图所示：

任务层级如下图所示：

2. 操作步骤

步骤	说明
设置数据仓库ODS层任务	设置 数据仓库ODS 层任务需要将来自接口数据的「财务数据」和存储在固定数据库的「销售数据」通过 FineDataLink 落库至指定数据库，并通过使用参数和调度任务，实现 数据仓库ODS 层任务定时更新，并发送消息通知。
设置数据仓库DW层任务	DW 层任务即将 ODS 层数据中更新的数据同步至 DW 层数据中。若已有的 DW 层数据中最新更新时间（比如最新的销售时间）晚于 ODS 层数据中的时间，即 ODS 层有新数据生成，需要将其同步至 DW 层中，同时记录更新的开始时间和结束时间，并发送消息通知。
设置数据仓库DM层任务	DM 层使用更新的数据进行数据处理，将 DW层的销售数据和财务数据进行关联，合并成宽表并输出至指定数据库，为其他报表等可视化工具提供数据源。
设置总调度任务	三个层级的数仓都已经设置完成，接下来就可以将 ODS、DW、DM 层的调度任务进行组合，通过调用任务的形式组合在一个任务中，方便后续的任务管理和触发。

设置好任务后，若你希望数据仓库的调度任务可以定时执行，可以使用定时任务调度配置。

3. 结果查看

设置好以上任务后，即可运行任务「调度总任务」，消息通知任务运行情况：

任务执行日志中将出现任务运行的相关记录，如下图所示：

在数字化时代下，大数据治理对企业数据建设的重要性不言而喻，然而实现的困难有时也让人望而却步，因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品，能过为企业提供一站式的数据服务，通过快速连接、高时效融合多种数据，提供低代码Data API敏捷发布平台，帮助企业解决数据孤岛难题，有效提升企业数据价值。

数据集成平台产品更多介绍：www.finedatalink.com

                         免费体验Demo 咨询方案

上一篇: 搭建数据仓库实战演示：超详细图解教程下一篇: 数据调度平台怎么用？图文详解数据同步如何实现