数据实践:数据分层的那些事

业界一般采用分层存储的方式包括:操作数据层(Operational Data Store, ODS)、 明细数据层(Data WarehouseDetail, DWD)、汇总数据层(Data Warehouse Summary, DWS)和应用数据层(Application Data Store, ADS),可以将数据更高效、更科学的组织。

我们先把数据进行分层,那么数据模型的分层总的来说可以分为ODS、DWD、DWS、ADS、DIM:
  ODS层:ODS层属于操作数据层,是直接从业务系统采集过来的最原始的数据,包含了所有业务的变更过程,数据粒度也是最细的。
  DWD层:是在ODS层基础上,根据业务过程建模出来的实时事实明细层,对于访问日志这种数据,会回流到离线系统供下游使用,最大程度地保证实时和离线数据ODS层和DWD层一致。
  DWS层:订阅明细层数据后,会在实时计算任务中计算各个维度的汇总指标。如果维度是各个垂直业务线通用的,则会放在实时通用汇总层,作为通用的数据模型使用。
  ADS层:个性化维度汇总层,对于不是特别通用的统计维度数据会放在这一层中,这里计算只有自身业务才会关注的维度和指标。
  DIM层:实时维表层的数据基本上都是从离线维表层导出来的,抽取到在线系统中供实时应用调用。

作者:Qingyun
                
comments powered by Disqus