前文已经简单介绍了什么是数据仓库,数据仓库事实表、维表等相关概念。在了解这些概念之后,我们要建设符合企业要求,能支持业务使用、运营分析的数据仓库。然而在对数据建模之前,我们要对整个业务系统有深刻的理解,只有深度理解了公司内的业务,在数仓建设过程中才会抽象出公共维度的事实宽表,减少数据重复建模、提升数据质量。
一、维度建模方法论
数据仓库建模方法论有多种:分别是维度建模、范式建模、Data Vault模型、Anchor模型。而在企业中最流行,最常用的数仓建模方式便是维度建模。
1、维度模型
按数据组织建模类型划分可分为星型模型、雪花模型、星座模型。前文中已经介绍了相关概念,这里不再做过多赘述。
1.1、星型模型
星型模型是维表和事实表,以事实表为中心,所有维度直接关联在事实表上,呈星型分布,即是 星型模型。
1.2、雪花模型
在星型模型的基础上,维度表上又关联了其他维度表,这种叫雪花模型。
雪花模型维护成本高,性能较差,一般很少使用。尤其在基于Hadoop体系构建数据仓库时,尽可能的要减少join的操作。
1.3、星座模型
星座模型,是对星型模型的扩展延伸,多张事实表共享维度表。
2、范式模型
即实体关系(ER)模型,从全企业的高度设计一个3NF模型,用实体加关系描述的数据模型描述企业业务架构,在范式理论上符合3NF。
3、Data Vault模型
DataVault由Hub(关键核心业务实体)、Link(关系)、Satellite(实体属性) 三部分组成 ,它是在ER关系模型上的衍生,同时设计的出发点也是为了实现数据的整合,并非为数据决策分析直接使用。
4、Anchor模型
高度可扩展的模型,所有的扩展只是添加而不是修改,因此它将模型规范到6NF,基本变成了K-V结构模型,基本很少使用。
二、维度建模流程
下面通过一个业务场景来简单论述维度建模的过程,我们以微商城下单为例:一个会员购买一件商品,会生成一条记录数据。这条记录包含了会员的ID、商品的ID、时间,支付金额,支付方式等等诸多业务信息,我们对这条记录进行拆分。
维度建模的步骤:
2.1、收集业务需求与数据实现
在进行数据建模之前,我们要跟业务方进行充分沟通,理解整个链路的业务,对底层数据要充分认识。 通过沟通交流、查看数据库数据或现有报表数据,理解他们需要的关键性指标,运营指标。同时数据实际情况要跟多开发组进行反复核验,确保数据的 原子性(原生业务数据,未进行任何加工处理的数据)。
2.2、选择业务过程
业务过程是业务活动事件,如下单,支付,退款都是业务过程,把这些过程转换为事实表中的事实,多数事实表只记录某一业务过程的结果。业务过程的选择非常重要,因为业务过程定义了特定的设计目标以及对粒度、维度、事实的定义。
2.3、声明粒度
声明粒度是维度设计的重要步骤,粒度用于确定某一事实表中的行表示什么。在选择维度或事实前必须声明粒度,因为每个维度或事实必须与定义的粒度保持一致。在从给定的业务过程获取数据时,原子粒度是最低级别的粒度。
2.4、确认维度
维度是度量的环境,用来反映业务的一类属性。这类属性的集合构成一个维度,也可以称为实体对象。维度属于一个数据域,如地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年、季、月、周、日等级别的内容)。
2.5、确认事实
事实 涉及来自业务过程事件的度量,基本上都是以数据值表示。事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计,通过获取描述业务过程的度量来表达业务过程,包含了引用的维度和与业务过程有关的度量。在设计过程中,可以选择不同类型的事实表,它们有各自的适用场景
2.6、数据建模
选择一种维度模型进行数据建模,使用星型建模对业务数据进行建模。
三、数仓建模规范
3.1、数仓层级划分
ODS原始数据层
ODS层保存所有操作数据,不对原始数据做任何处理。在业务系统和数据仓库之间形成一个隔离,源系统数据结构的变化不影响其他数据分层。减轻业务系统被反复抽取的压力,由ODS统一进行抽取和分发。记住ODS层数据要保留数据的原始性。
DWD数据明细层
处理原则:
DWS数据汇总层
DWS层数据按主题对数据进行抽象、归类,提供业务系统细节数据的长期沉淀。这 一层是一些汇总后的宽表,是根据DWD层数据按照各种维度或多种维度组合,把需要查询的一些事实字段进行汇总统计。可以满足一些特定查询、数据挖掘应用,面向业务层面,根据需求进行汇总。
ADS数据明细层
ADS应用层是根据业务需要,由DWD、DWS数据统计而出的结果,可以直接提供查询展现,或导入至Oracle等关系型数据库中使用。这一层的数据会面向特定的业务部门,不同的业务部门使用不同的数据,支持数据挖掘。
数据仓库分层模式作用
3.1.1、数据结构化更清晰: 对于不同层级的数据,他们作用域不相同,每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。
3.1.2、数据血缘追踪: 提供给外界使用的是一张业务表,但是这张业务表可能来源很多张表。如果有一张来源表出问题了,我们可以快速准确的定位到问题,并清楚每张表的作用范围。
3.1.3、减少重复开发: 数据分层规范化,开发一些通用的中间层数据,能够减少重复计算,提高单张业务表的使用率。
3.1.4、简化复杂的问题: 把一个复杂的业务分成多个步骤实现,每一层只处理单一的步骤,比较简单和容易理解。而且便于维护数据的准确性,当数据出现问题之后,可以不用修复所有的数据,只需要从有问题的步骤开始修复。有点类似Spark RDD的容错机制。
3.1.5、减少业务的影响: 业务可能会经常变化,这样做就不必改一次业务就需要重新接入数据。
3.2、数据域划分和命名
数据域的划分至关重要,在数据建模过程中,往往需要我们根据业务划分数据并约定命名。建议使用业务名称结合数据层次约定相关命名的英文缩写,这样划分层次更清晰,见名即可知意。
3.2.1、数据域划分
按业务划分:
命名时按主要的业务划分,以指导物理模型的划分原则、命名原则及使用。如公司有多条业务线,可以按照不同业务线进行划分。
按数据域划分:
命名时按照数据域进行划分,以便有效地对数据进行管理。例如,交易 数据的英文缩写可定义为“trd”,会员数据的英文缩写可以定义为 mbr。
按业务过程划分:
当一个数据域由多个业务过程组成时,命名时可以按业务流程划分。业务过程是从数据分析角度看客观存在的或者抽象的业务行为动作。例如,交易数据域中的“退款”这个业务过程的英文缩写可约定命名为“rfd_ent”。
3.2.2、任务命名
针对数据域任务命名一定要按照规范执行,这里以作者工作中常使用的命名方式为例,当然每个人习惯不同,命名可能有所不同。
如:ods_jnxx_mbr_intgl_diods:代表ods层jnxx:公司名称英文缩写mbr:会员 的缩写 mbr,表示会员业务intgl:会员积分 英文的缩写,会员积分相关任务di:代表天增量。d:代表日全量同步ri:代表小时增量同步m:代表月等等,这里就不一一举例了。
本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://www.jmbhsh.com/wanjumoxing/35033.html