报表开发有难题?FDL+FR轻松实现业务系统读写分离

作者:finedatalink

发布时间:2024.7.30

阅读次数:248 次浏览

在工作中,很多业务人员会使用FineReport进行数据可视化和报表开发。通常情况下,业务人员会用报表工具直接连接业务系统数据库,在报表内的sql数据集进行数据清洗和加工,或者在报表单元格内写过滤条件实现跨库数据关联。遇到从API接口读取数据的情况,就用FineReport的程序数据集进行代码开发。数据处理完毕之后,再把报表样式设计好,测试通过就可以上线使用了。

这样做非常方便快捷,给业务人员节省了很多时间,但是这种模式存在一个问题:

报表开发难题

长期使用报表工具直连业务库的形式,很容易造成性能问题,由于报表工具直连数据库,数据的读取请求完全依赖于业务库,当数据量增大、计算逻辑变得复杂时,业务系统和报表前端都会面临很大性能压力。遇到数据录入的高发期,系统的高负荷运转会造成严重的卡顿甚至出现宕机的风险,大大影响工作效率。

解决方案

针对上述问题,FineDataLink提供了完整的解决方案:

报表和业务数据库的直接依赖,将报表里面的数据处理工作转交给FineDataLink来做,通过FineDataLink进行数据的提取、清洗和转换的步骤,将预处理好的数据落入中间库,前端从中间库直接获取结果表,实现业务系统读写分离,很大程度上缓解了性能压力,避免业务系统和报表互相影响,提高报表开发效率。

实战案例-销售系统数据处理和落库

下面我们用一个案例来说明FineDataLink与FineReport的组合应用。

销售系统数据库中存放着订单、销售明细和年度资产分类等信息。现在我们要对这些数据进行处理,并用处理好的数据进行报表展示。

数据处理要求如下:

数据处理方案

一、跨库关联处理

销售系统数据库中存放着订单表,应用库中存放着订单明细表,现在要将这两张表,通过订单ID主键关联后落库到应用库中。

1)新建任务,使用数据转换,拖入DB表输入算子将两个表的数据分别取出。

2)新增一个「数据关联」算子,将两个数据表输入连接至「数据关联」算子,点击连接方式和连接字段进行选择,即可进行跨库关联制作新的数据表,不需要编写任何代码

跨库关联操作

跨库关联操作

3)对关联好的数据表进行字段设置,例如去掉重复字段。

4)使用DB表输出算子,将制作好的数据表并输出到应用库中即可。

二、数据列转行

销售明细表中包含了每个产品在不同省份的销售金额数据,我们希望对数据进行列转行,计算每个省份的销售总额后落入应用库中。

1)新建 ETL 任务,使用数据转换概述,拖入DB表输入将销售系统库中的「销售明细」取出。

2)使用「列转行」算子对「销售明细」数据进行转换,开发人员无需编写SQL,仅需输入字段名称,点击选择转换字段,即可将二维表地区销售数据转为一维表。

数据列转行操作

数据列转行操作

3)此时希望对已经列转行的数据继续进行处理,计算每个城市的总销售金额,可以使用「Spark SQL算子,编写 SQL 语句进行操作。

4)数据处理完成后,使用DB表输出将数据输出到应用库中即可。

三、复杂SQL处理

使用数据同步将销售系统中的「年度资产分类表」进行复杂 SQL 处理后,输出到应用库中。

1)新建 ETL 任务,添加「数据同步」,在数据来源中编写SQL 语句进行取数。

2)在数据去向与映射中,将查询好的数据输出至应用库中即可。

使用数据同步可以大大提高取数速度,缓解数据加载缓慢问题。

数据同步-复杂SQL处理

数据同步-复杂SQL处理

四、任务调度管理

数据处理的任务设置好后,我们希望能够定时进行数据更新,可以在FineDataLink中设计调度周期,对任务进行管理。

1)新建 ETL 任务,添加「调用任务」。

2)新增「消息通知」,设置若三个任务执行失败,则通知某个任务执行失败。

3)使用连线将三个任务与失败执行的消息通知相连,设置在任务执行失败时,执行「消息通知-失败执行」。

4)同理,设置任务执行成功时的消息通知。

5)设置任务的执行频率,完成任务调度配置。

任务调度流程

任务调度流程

任务调度计划

任务调度计划

更多FineDataLink与FineReport组合应用内容请前往:FDL和FineReport组合应用示例

FineDataLink是一款低代码/高时效的数据集成平台,它不仅提供了数据清理和数据分析的功能,还能够将清理后的数据快速应用到其他应用程序中。FineDataLink的功能非常强大,可以轻松地连接多种数据源,包括数据库、文件、云存储等,而且支持大数据量。此外,FineDataLink还支持高级数据处理功能,例如数据转换、数据过滤、数据重构、数据集合等。使用FineDataLink可以显著提高团队协作效率,减少数据连接和输出的繁琐步骤,使整个数据处理流程更加高效和便捷。

数据集成平台产品更多介绍:www.finedatalink.com

                         

上一篇: 下一篇: