数字化数据如何分层采集

更新时间:02-06 教程 由 迟暮。 分享

数字化数据如何分层采集?

把数据仓库分为下面三个层,即:数据运营层、数据仓库层和数据产品层。

1.“面向主题的”,数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的ETL之后,装入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而分类的。

2. 数据仓库层(DW),是数据仓库的主体,在这里,从ODS层中获得的数据按照主题建立各种数据模型。例如以研究人的旅游消费为主题的数据集中,便可以结合航空公司的登机出行信息,以及银联系统的刷卡记录,进行结合分析,产生数据集。

3. 数据产品层(APP),这一层是提供为数据产品使用的结果数据,主要是提供给数据产品和数据分析使用的数据,一般会存放在es、mysql等系统中供线上系统使用,也可能会存在Hive或者Druid中供数据分析和数据挖掘使用。

声明:关于《数字化数据如何分层采集》以上内容仅供参考,若您的权利被侵害,请联系13825271@qq.com
本文网址:http://www.25820.com/tutorial/14_2194877.html