作者:finedatalink
发布时间:2023.9.8
阅读次数:319 次浏览
在数据中台中,会将来自各个系统(例如CRM、OA、ERP)的数据源ClinkHouse进行汇聚处理,而后通过ODS、DW、DM层的建立,在中间层完成统一的数据处理。再通过数据中台,将这些处理好的数据,参与到其他业务中去,比如有其他前端系统需要进行调用。
但由于存在网络限制、数据安全性等问题,所以通常数据会以Data API的服务模式提供给其他系统或者应用使用数据源ClinkHouse,结合黑白名单等一系列数据安全性鉴权,同时也可以很好地监控好数据调用,也不必为数据中台中的数据库账号密码的泄露而担忧,这也是为什么用api而不是直接数据库的方式提供数据安全性服务。
a.数据大屏: 通过RestAPI的方式作为数据来源(一些对实时性较高的大屏会采用这样的模式,例如交通大屏)
b.数据报表:1、直接对接API数据来源(不仅限于数据库);2、来自API的数据,可以先进行数据编排解析,入到报表系统的自有,然后进行数据调用
c.第三方应用需要调用:跨网络、安全性考虑
如果前端系统是要求数据实时同步的,例如交通大屏这种,那么获取实时数据,数据肯定来源于业务系统,只要足够频繁向系统发起数据请求,就能获得实时数据。但这种直接业务系统的做法,带来的结果就会是:频繁的数据请求会影响业务数据的性能。
为了避免这种情况发生,一般是会利用例如Finedatalink这种数据同步工具,将数据中台中的业务系统数据同步到分析型数据库数据源ClinkHouse,只要做到分析型数据库的数据实时同步业务系统,同时基于ODS-DW-DM层的建设,为大屏数据提供结果数据,这样通过大屏报表,直连中间库的结果数据表取数,即使是实时地进行数据请求,也不会影响业务系统正常运行,最后达到你对大屏实时数据的要求。
总而言之,在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。
数据集成平台产品更多介绍:www.finedatalink.com
上一篇: Excel处理功能很方便,但是处理稍大的数据就不行了,原因是什么?下一篇: Python调用 API 获得的JSON如何处理才能获得自己想获得的内容呢?