怎么理解在数据中台的构建方案中,数据以API而不是直连数据库的方式提供服务?

作者:finedatalink

发布时间:2023.9.7

阅读次数:325 次浏览

一、API是什么?

API这是最常用的一种数据服务的形式,用户通过请求/响应来访问数据。优势是很容易发布和接收这些API接口提供的数据。这类数据接口服务一般包括参数,返回值,接口地址等。

二、为什么用API而不是直接数据库的方式提供服务?

在数据中台中,会将来自各个系统(例如CRM、OA、ERP)的数据进行汇聚处理,而后通过ODS、DW、DM层的建立,在中间层完成统一的数据处理。再通过数据中台,将这些处理好的数据,参与到其他业务中去,比如有其他前端系统需要进行调用。

但由于存在网络限制、数据安全性等问题,所以通常数据会以Data API的服务模式提供给其他系统或者应用使用,结合黑白名单等一系列安全性鉴权,同时也可以很好地监控好数据调用,也不必为数据库账号密码的泄露而担忧。

三、常见的三种用API提供服务的应用

1、数据大屏:

通过RestAPI的方式作为数据来源(一些对实时性较高的大屏会采用这样的模式,例如交通大屏)

2、数据报表:

(1)直接对接API数据来源(不仅限于数据库)

(2)来自API的数据,可以先进行数据编排解析,入到报表系统的自有,然后进行数据调用

3、第三方应用需要调用:

跨网络、安全性考虑

四、常用到的数据同步工具

如果前端系统是要求数据实时同步的,例如交通大屏这种,那么获取实时数据,数据肯定来源于业务系统,只要足够频繁向系统发起数据请求,就能获得实时数据。但这种直接业务系统的做法,带来的结果就会是:频繁的数据请求会影响业务数据的性能。

为了避免这种情况发生,一般是会利用例如Finedatalink这种数据同步工具,将业务系统数据同步到分析型数据库,只要做到分析型数据库的数据实时同步业务系统,同时基于ODS-DW-DM层的建设,为大屏数据提供结果数据,这样通过大屏报表,直连中间库的结果数据表取数,即使是实时地进行数据请求,也不会影响业务系统正常运行,最后达到你对大屏实时数据的要求。

FineDataLink是一款低代码/高时效的数据集成平台,它不仅提供了数据清理和数据分析的功能,还能够将清理后的数据快速应用到其他应用程序中。FineDataLink的功能非常强大,可以轻松地连接多种数据源,包括数据库、文件、云存储等,而且支持大数据量。此外,FineDataLink还支持高级数据处理功能,例如数据转换、数据过滤、数据重构、数据集合等。使用FineDataLink可以显著提高团队协作效率,减少数据连接和输出的繁琐步骤,使整个数据处理流程更加高效和便捷。

数据集成平台产品更多介绍:www.finedatalink.com

                         

上一篇: 下一篇: