作者:finedatalink
发布时间:2024.7.30
阅读次数:248 次浏览
在工作中,很多业务人员会使用FineReport进行数据可视化和报表开发。通常情况下,业务人员会用报表工具直接连接业务系统数据库,在报表内的sql数据集进行数据清洗和加工,或者在报表单元格内写过滤条件实现跨库数据关联。遇到从API接口读取数据的情况,就用FineReport的程序数据集进行代码开发。数据处理完毕之后,再把报表样式设计好,测试通过就可以上线使用了。
这样做非常方便快捷,给业务人员节省了很多时间,但是这种模式存在一个问题:
长期使用报表工具直连业务库的形式,很容易造成性能问题,由于报表工具直连数据库,数据的读取请求完全依赖于业务库,当数据量增大、计算逻辑变得复杂时,业务系统和报表前端都会面临很大性能压力。遇到数据录入的高发期,系统的高负荷运转会造成严重的卡顿,甚至出现宕机的风险,大大影响工作效率。
针对上述问题,FineDataLink提供了完整的解决方案:
报表和业务数据库的直接依赖,将报表里面的数据处理工作转交给FineDataLink来做,通过FineDataLink进行数据的提取、清洗和转换的步骤,将预处理好的数据落入中间库,前端从中间库直接获取结果表,实现业务系统读写分离,很大程度上缓解了性能压力,避免业务系统和报表互相影响,提高报表开发效率。
下面我们用一个案例来说明FineDataLink与FineReport的组合应用。
销售系统数据库中存放着订单、销售明细和年度资产分类等信息。现在我们要对这些数据进行处理,并用处理好的数据进行报表展示。
数据处理要求如下:
销售系统数据库中存放着订单表,应用库中存放着订单明细表,现在要将这两张表,通过「订单ID」主键关联后落库到应用库中。
1)新建任务,使用数据转换,拖入DB表输入算子将两个表的数据分别取出。
2)新增一个「数据关联」算子,将两个数据表输入连接至「数据关联」算子,点击连接方式和连接字段进行选择,即可进行跨库关联制作新的数据表,不需要编写任何代码。
跨库关联操作
3)对关联好的数据表进行字段设置,例如去掉重复字段。
4)使用DB表输出算子,将制作好的数据表并输出到应用库中即可。
销售明细表中包含了每个产品在不同省份的销售金额数据,我们希望对数据进行列转行,计算每个省份的销售总额后落入应用库中。
1)新建 ETL 任务,使用数据转换概述,拖入DB表输入将销售系统库中的「销售明细」取出。
2)使用「列转行」算子对「销售明细」数据进行转换,开发人员无需编写SQL,仅需输入字段名称,点击选择转换字段,即可将二维表地区销售数据转为一维表。
数据列转行操作
3)此时希望对已经列转行的数据继续进行处理,计算每个城市的总销售金额,可以使用「Spark SQL」算子,编写 SQL 语句进行操作。
4)数据处理完成后,使用DB表输出将数据输出到应用库中即可。
使用数据同步将销售系统中的「年度资产分类表」进行复杂 SQL 处理后,输出到应用库中。
1)新建 ETL 任务,添加「数据同步」,在数据来源中编写SQL 语句进行取数。
2)在数据去向与映射中,将查询好的数据输出至应用库中即可。
使用数据同步可以大大提高取数速度,缓解数据加载缓慢问题。
数据同步-复杂SQL处理
数据处理的任务设置好后,我们希望能够定时进行数据更新,可以在FineDataLink中设计调度周期,对任务进行管理。
1)新建 ETL 任务,添加「调用任务」。
2)新增「消息通知」,设置若三个任务执行失败,则通知某个任务执行失败。
3)使用连线将三个任务与失败执行的消息通知相连,设置在任务执行失败时,执行「消息通知-失败执行」。
4)同理,设置任务执行成功时的消息通知。
5)设置任务的执行频率,完成任务调度配置。
任务调度流程
任务调度计划
更多FineDataLink与FineReport组合应用内容请前往:FDL和FineReport组合应用示例
FineDataLink是一款低代码/高时效的数据集成平台,它不仅提供了数据清理和数据分析的功能,还能够将清理后的数据快速应用到其他应用程序中。FineDataLink的功能非常强大,可以轻松地连接多种数据源,包括数据库、文件、云存储等,而且支持大数据量。此外,FineDataLink还支持高级数据处理功能,例如数据转换、数据过滤、数据重构、数据集合等。使用FineDataLink可以显著提高团队协作效率,减少数据连接和输出的繁琐步骤,使整个数据处理流程更加高效和便捷。
数据集成平台产品更多介绍:www.finedatalink.com