1. 概述

有时出于业务需求，需要固定进行数据库同步Excel新增数据工作，比如每日库存更新，可以通过ETL工具高效实现数据库同步Excel新增数据任务，以FineDateLink为例，示范如何使用一款低代码ETL工具实现库存在数据库中的每日更新。

1.1 预期效果

Excel 数据表为源数据表，每天会新增数据，用户希望数据库中的某张表自动新增 Excel 里面昨天新增的数据。

1.2 实现思路

Excel 数据集作为要输入的数据，使用 Spark SQL 算子筛选出前一天的数据后，通过 DB 表输出算子输出到数据库的某张表中。

2. 示例

2.1 新建 Excel 数据集

示例数据：出入库信息.xls，为数据来源表，每天都会更新信息。

具体步骤请参见：数据源类型为Excel 文档的 2.1 节内容。

2.2 创建任务

新建一个 ETL 任务，将一个「数据转换」节点拖到设计界面。如下图所示：

2.3 设置数据输入

1）点击「数据转换」节点进入设置页面。

2）将一个「数据集输入」算子拖到数据转换的设计界面，根据Excel数据集的实际情况进行设置。如下图所示：

2.4 设置 Spark SQL 算子

1）将 Spark SQL 算子拖到数据转换的设计界面，并使用线条跟它的上游「数据集输入」算子相连。

2）按照下图配置 Spark SQL 。语句为：select * from 数据集输入 where `入库日期` = date_add(“${cyctime}”,-1)。如下图所示：

注1：表名为上游节点的名称；语句不能直接复制，「数据集输入」需点击生成。

注2：SQL 语句含义：筛选出前一天入库的信息。

数据预览 Tab 页面如下图所示：

2.5 设置 DB 表输出

再将一个「DB表输出」算子拖到设计界面，并使用线条跟它的上游「Spark SQL」算子相连。

1）点击「DB表输出」算子对它进行设置。如下图所示：

注：示例中 xinxi 表为新建的空表。

2）点击右上角「确定」按钮。如下图所示：

2.6 设置定时更新

1）回到 ETL 任务设计界面，点击右上角「调度配置」，设置任务定时执行时间。如下图所示：

注：用户根据实际情况设置执行时间；执行时间在数据来源表更新数据之后就行。

2）点击右上角「保存」按钮。

2.7 任务结果

任务执行后，目标表数据如下图所示：

通过范例，使用便捷高效的低代码ETL工具，轻松实现了数据库同步Excel新增数据的任务。在日常的业务管理中，还有大量类似的繁琐的数据管理工作，需要定时处理，涉及到数据同步和数据转换等问题，都可以考虑通过ETL工具实现，现在随着低代码ETL工具的开发使用，数据管理工作正变得越来越便捷，这类工具操作简便，使用门槛较低，可以帮助提高企业数据治理效率。

帆软FineDataLink——中国领先的低代码/高时效数据集成产品，能过为企业提供一站式的数据服务，通过快速连接、高时效融合多种数据，提供低代码Data API敏捷发布平台，帮助企业解决数据孤岛难题，有效提升企业数据价值。

数据集成平台产品更多介绍：www.finedatalink.com

                         免费体验Demo 咨询方案

上一篇: 如何确保数据时效性？图文详解数据的增量更新怎么做？下一篇: 数据库管理员工信息实操：ETL工具高效应用