数据库与数据仓库——你想知道的都在这里

作者:finedatalink

发布时间:2023.9.12

阅读次数:692 次浏览

数据库、数据仓库一直都有人不明白,今天就跟大家仔细谈谈:

数据库软件:是一种软件,可以看得见,可以操作。用来实现数据库逻辑功能。属于物理层。

数据库:是一种逻辑概念,用来存放数据的仓库。通过数据库软件来实现。数据库由很多表组成,表是二维的,一张表里可以有很多字段。字段一字排开,对应的数据就一行一行写入表中。数据库的表,在于能够用二维表现多维关系。目前市面上流行的数据库都是二维数据库。如:Oracle、DB2、MySQL、Sybase、MS SQL Server等。

数据仓库:是数据库概念的升级。从逻辑上理解,数据库和数据仓库没有区别,都是通过数据库软件实现的存放数据的地方,只不过从数据量来说,数据仓库要比数据库更庞大得多。数据仓库主要用于数据挖掘和数据分析,辅助领导做决策。

数据仓库,数据库,数据仓库ODS

数据仓库与数据库有什么区别?

数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别。

操作型处理,叫联机事务处理OLTP(On-Line Transaction Processing,),也可以称面向交易的处理系统,它是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段,主要用于操作型处理。

分析型处理,叫联机分析处理OLAP(On-Line Analytical Processing)一般针对某些主题的历史数据进行分析,支持管理决策。

在实际做数据仓库时最常遇到什么问题?

以最常见的制造业为例,底下不同分厂的信息系统厂商各不相同,这就导致数据仓库中可能有来自前端系统(供应商、招标系统等)、MES系统(不同分厂的MES)、业务系统(不同分厂的CRM、OA、SAP系统等)的数据,因此导致系统中数据结构、数据标准、流程流转方式都存在差异。

再具体点说,例如在统计良率、OEE的时候,各厂按各自的方法进行统计然后汇报给领导,但由于各厂的数据过于分散,没有统一的计算标准,所以对良率的计算逻辑也不同,导致指标口径不一致,无法统一管理指标数据,这个数据也就失去了参考价值,到头来白忙活一场。

而这种时候,我们通常的解决方法是:实现数据中心化,逻辑统一化

从众多跨地域的业务系统通过实时同步增量方式,将分散在各处的数据,汇聚到统一的数据中心,从业务数据库中原表原样取出数据,形成数据仓库ODS层,为后续加工提供原始材料

数仓搭建过程中的数据编排能力:多样化算子和多种任务调度方式,提供多样化异构数据处理能力;在标准化的要求下,通过各系统原始的指标定义,形成统一的数据处理逻辑,在低代码实时数据调度平台FineDataLink进行内部数据转换,完成对异构数据的梳理,进行数据仓库ODS>DW>DM层的数据逐层编排,最后形成统一逻辑的数据输出,以供企业进行统一管理。

  • 数据仓库ODS层:数据存储:本层数据,一般会按照来源业务系统的分类方式而进行分类,在ODS数据存储层中,我们不会对数据模型进行修改,会维持原有的数据模型不变。
  • 数据库DW: 是数据仓库的主体。DW层将ODS层中获得的数据按照主题建立各种数据模型。
  • 数据库DM层:数据集市或宽表。DM层为面向最终应用的主题层,一般依据前端报表/业务包需求进行设计,所以DM层表不需要考虑复用,每一张DM表仅为一张报表所服务;
  • 数据仓库,数据库,数据仓库ODS

总而言之,在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。

数据集成平台产品更多介绍:www.finedatalink.com

                         

上一篇: 下一篇: