数据为什么要分层？一文带你全面了解数仓分层

数据分层核心就是为了实现数据的有序与可控。经过层层清洗、规整、聚合与优化把零散、杂乱的原始数据转化为干净、标准、易用的数据产品。我们常说的ODS、DWD、DIM、DWT……每一层都有各自的核心职责和统一加工规范。今天就带大家全面了解数据分层的核心逻辑理清每一层的定位与价值。开始之前给大家分享一份数据仓库建设解决方案里面不仅涵盖了数仓分层的详细设计规范、各层表结构示例还包含了数据标准的规范、数据仓库的搭建、报表体系的建设帮助企业搭建规范、高效、可复用的数据体系。有需要自取https://s.fanruan.com/7igmg复制到浏览器打开一、先说为什么要分层同一个用户信息散落在核心系统、CRM系统、营销系统里字段命名各不相同口径也对不上。下游每个人都自己写逻辑从源头捞数据重复计算重复存储出了问题也不知道从哪里查起。分层的核心价值说白了就是四件事第一结构清晰。每一层有明确的职责边界数据在哪一层、做了什么处理一目了然。第二血缘可追踪。某张报表数据出了问题能快速定位是哪一层、哪张表出了问题影响范围有多大。第三减少重复计算。公共的中间层数据只算一次下游所有人共用不用各自重新从源头跑一遍。第四屏蔽源系统复杂性。源系统字段命名混乱、业务逻辑变更这些变化由数仓内部消化不传导到下游使用方。数仓分层的整体结构目前业界比较通行的分层方式是ODS → DWD → DWS → DWT → ADS ↑ DIM维表层贯穿多层不同公司叫法可能略有差异层数也不完全一样有的三层有的五层。我一直强调分层不是目的解决实际问题才是目的。二、ODS贴源层ODS全称 Operational Data Store也叫数据引入层或贴源层。这一层的核心就是把源系统的数据原封不动地同步过来。结构上与源系统保持一致数据粒度最细数据量也最大。简单来说ODS层应该做的是最基础的处理格式错误的数据过滤掉关键字段为空的记录丢弃时间字段统一格式字段命名做基本规范化。至于复杂的业务清洗逻辑不建议放在这里。数据存储策略上ODS通常有三种方式增量存储每天只存当天新增或变更的数据按日期分区。适合数据量大、更新频繁的事务型数据比如订单日志、行为日志。全量存储每天存储截止当天的全量数据。适合数据量小、变化缓慢的维度数据比如商品类目表。拉链存储通过增加开始时间和结束时间两个字段记录数据每次变更的历史状态。适合需要追踪历史变化的场景比如用户状态变更。历史数据一般保留3到6个月数据量不大的情况下可以保留更长时间。在实际落地过程中很多企业会借助专业工具提升分层效率、降低落地难度比如FineDataLink这类一站式的数据集成工具支持多源数据集成能轻松打破核心系统、CRM、营销系统等不同源头的数据壁垒实现各类数据的高效整合与同步完美匹配 ODS 层的多源数据接入需求。三、DWD明细层DWD全称 Data Warehouse Detail数据明细层。这一层是整个数仓体系里数据治理最密集的地方。它以业务过程为建模驱动构建最细粒度的明细事实表。DWD层主要做这几件事数据清洗。去除空值、脏数据、枚举值异常、超出合理范围的数据。比如订单ID为空的记录支付金额为负数的记录直接过滤掉。数据规范化。来自不同源系统的同一字段格式可能不一样。有的系统用0/1表示布尔值有的用true/false日期格式有的是时间戳有的是字符串。这些都要在DWD层统一。数据脱敏。手机号、身份证号、银行卡号等敏感字段在这一层做脱敏处理防止下游误用。维度退化。这是DWD层一个比较重要的设计手段。简单来说就是把一些维度信息直接冗余到事实表里减少查询时的关联操作。比如订单ID这个维度数据量极大单独建一张维度表意义不大就直接冗余在事实表里。事实表里的每一条记录代表一个具体的业务事件比如一次下单、一次支付、一次退款。事实表里的度量值是可以统计的数字比如下单金额、下单次数、退款金额。DWD层的数据粒度通常与ODS层保持一致但数据质量要比ODS层高得多。FineDataLink内置丰富的数据清洗、转换功能能辅助 DWD 层完成数据规整、脱敏等治理工作这一层是业务层与数仓之间的隔离层下游不需要关心源系统有多复杂只需要用DWD层干净、一致的数据。四、DIM维表层DIM全称 Dimension维表层。维表存储的是描述性信息是分析数据的角度和坐标。比如地区维表存储省、市、区的层级关系日期维表存储年、月、周、季度的对应关系商品维表存储商品名称、类目、品牌等属性。维表分两类高基数维度数据量大比如用户资料表、商品资料表可能有千万甚至上亿条记录。低基数维度数据量小比如枚举值对应的中文含义、日期维表可能只有几千条记录。维表的设计原则是宽表化把相关属性尽量放在一张表里减少查询时的多表关联。同时维表更新不宜过于频繁对于缓慢变化的维度通常用拉链表来处理历史变更。五、DWS数据服务层DWS全称 Data Warehouse Service数据服务层。这一层以DWD为基础按照分析主题对数据进行轻度汇总通常以天为单位。DWS不是把所有明细数据都聚合成一个数字而是在保留一定粒度的前提下把相关指标整合到一张宽表里。比如用户主题的DWS宽表会把一个用户在某一天的所有行为汇总到一行里——当天登录次数、下单次数、下单金额、支付次数、支付金额、加购次数……这些字段都在同一张表里一行代表一个用户一天的行为总和。DWS层的宽表字段往往很多有的宽表有60到200个字段。这样设计的好处是下游做分析的时候大多数需求不需要再做复杂的关联直接在这张宽表上聚合就能出结果。DWS层按主题划分常见的主题有用户主题、商品主题、订单主题、流量主题、物流主题等。每个主题通常对应1到3张宽表。六、DWT数据主题层DWT全称 Data Warehouse Topic数据主题层。如果说DWS是按天汇总那DWT就是把时间维度拉长做累积汇总。DWT层以DWS层数据为基础构建主题对象的全量宽表。一行数据代表一个主题对象从开始到当前的累积行为。比如用户主题的DWT宽表一行代表一个用户从注册至今的全部行为总量——历史累计下单次数、历史累计支付金额、历史累计登录天数……DWS和DWT的区别说白了就是时间维度的差异DWS是某一天的行为快照DWT是截止到当前的历史累积。DWT层的数据是以需求为驱动建模的不再像DWD那样以业务过程为驱动。它更关注的是分析某个主题对象需要哪些维度和指标就把这些内容组织成一张宽表。七、ADS应用层ADS全称 Application Data Service数据应用层。这是整个数仓体系的最上层直接面向具体的业务需求。ADS层的数据高度汇总针对特定的业务场景定制。比如报表系统需要的日活月活数据、运营需要的用户留存率、商品团队需要的复购率排行、风控团队需要的异常用户名单……这些都在ADS层生成。ADS层的数据通常会导入到MySQL、Redis、Elasticsearch等存储系统供线上业务接口调用或者导入到BI工具供分析师使用。这一层的特点是数据量相对小但针对性强每张表都是为了满足某个具体的分析或应用场景而存在的。八、层次调用规范数仓各层之间的调用有严格的方向性这一点我一直强调ODS → DWD → DWS → ADS ODS → DWD → ADS DWD → ADS DWS → ADS各层之间禁止反向调用。ADS不能被DWS调用DWS不能被DWD调用。这个规范一旦破坏数据血缘就乱了后续维护和排查问题会非常困难。推荐一个我们团队正在用的工具FineDataLink它有可视化的任务管理与智能调度能力能清晰管控各层数据加工流程让数据血缘可追溯大幅减少重复开发和维护成本尤其适合需要快速搭建规范数仓体系的企业。工具链接我放在这里感兴趣可以点击链接下载体验https://s.fanruan.com/tx4dw复制到浏览器打开最后数仓分层不是一个纯理论的问题落地的时候会遇到很多现实困境。比如ODS和DWD的边界有的公司在ODS层就做了比较精细的清洗有的公司ODS层完全不处理全部交给DWD。这没有绝对的对错关键是团队内部要有一致的规范不能各做各的。还有一个常见的误区认为层数越多越好越分越细就越专业。实际上每多一层就意味着多一层的开发成本、调度成本和维护成本。三层是最基础的DW层内部如何细分要根据自己公司的业务体量和团队能力来决定。数仓分层的本质是用结构化的方式管理数据复杂度。层次清晰了数据才能真正流动起来分析才能建立在可靠的基础上。