:表类,列类,指标类,元数据的建立)
一yaml文件表格信息说明有哪些表有那些列 指标说明有哪些指标demo_data.yaml# 1表格列信息说明 有哪些表 表里有哪些列 tables: #表格信息 - name: table_name #真实的表名 role: dim | fact # 表的角色 或者类型 description: table_description # 这个表 对应的业务含义的说明 columns: - name: column_name # 真实字段的名字 role: primary_key | foreign_key | dimension | measure # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: column_description # 字段的 业务含义 alias: [alias1,alias2] # 字段同义词 别名 sync: true | false # 该字段取值是否需要同步到 ES 建立 全文索引 # 2指标类的说明 有哪些指标 metrics: # 指标信息 - name: metric_name # 指标名称如 GMV AOV description: metric_description # 指标的业务含义描述 与 计算口径说明 relevant_columns: [table_name.column_name] # 指标相关的字段 这个指标所需要的字段 alias: [alias1,alias2] # 指标同义词这个指标的别名 其他叫法 # 3相当于这里是保留的是 对每一条数据的 有关说明然后把这个数据存入到源数据库中 # 4来源 a数据仓的自动采集 转为元数据 格式 b,人工进行补充和配置meta_config.yamltables: #表格信息 - name: dim_region #真实的表名 role: dim # 表的角色 或者类型 description: 地区维度表用于描述订单发生的地理区域信息 # 这个表 对应的业务含义的说明 columns: - name: region_id # 真实字段的名字 role: primary_key # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 地区唯一标识 # 字段的 业务含义 alias: [地区ID,区域ID] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: province # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 订单所属省份名称 # 字段的 业务含义 alias: [ 省份,省,所在身份 ] # 字段同义词 别名 sync: true # 该字段取值是否需要同步到 ES 建立 全文索引 - name: region_name # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 订单所属的大区名称如华东华南等 # 字段的 业务含义 alias: [ 地区,区域,大区 ] # 字段同义词 别名 sync: true # 该字段取值是否需要同步到 ES 建立 全文索引 - name: country # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 地区所属国家的名称 # 字段的 业务含义 alias: [ 国家,国家名称 ] # 字段同义词 别名 sync: true # 该字段取值是否需要同步到 ES 建立 全文索引 # - name: dim_customer #真实的表名 role: dim # 表的角色 或者类型 description: 客户维度表描述下单客户的基本属性 # 这个表 对应的业务含义的说明 columns: - name: customer_id # 真实字段的名字 role: primary_key # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 下单客户唯一标识 # 字段的 业务含义 alias: [ 客户ID,用户ID ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: customer_name # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 客户名称 # 字段的 业务含义 alias: [ 客户名称,用户名称 ] # 字段同义词 别名 sync: true # 该字段取值是否需要同步到 ES 建立 全文索引 - name: denger # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 客户性别 # 字段的 业务含义 alias: [ 性别 ] # 字段同义词 别名 sync: true # 该字段取值是否需要同步到 ES 建立 全文索引 - name: member_level # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 客户会员等级 # 字段的 业务含义 alias: [ 会员等级,客户等级,用户等级] # 字段同义词 别名 sync: true # 该字段取值是否需要同步到 ES 建立 全文索引 # - name: dim_product #真实的表名 role: dim # 表的角色 或者类型 description: 商品维度表描述商品的基本属性 # 这个表 对应的业务含义的说明 columns: - name: product_id # 真实字段的名字 role: primary_key # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 商品唯一标识 # 字段的 业务含义 alias: [ 商品ID,产品ID ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: product_name # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 商品名称 # 字段的 业务含义 alias: [ 商品名称,产品名称 ] # 字段同义词 别名 sync: true # 该字段取值是否需要同步到 ES 建立 全文索引 - name: category # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 商品所属品类 # 字段的 业务含义 alias: [商品类别,品类,分类,种类] # 字段同义词 别名 sync: true # 该字段取值是否需要同步到 ES 建立 全文索引 - name: brand # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 商品品牌名称 # 字段的 业务含义 alias: [品牌,品牌名称] # 字段同义词 别名 sync: true # 该字段取值是否需要同步到 ES 建立 全文索引 # - name: dim_date #真实的表名 role: dim # 表的角色 或者类型 description: 时间维度表用于多时间粒度分析 # 这个表 对应的业务含义的说明 columns: - name: date_id # 真实字段的名字 role: primary_key # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 日期唯一标识,格式 yyyyMMdd # 字段的 业务含义 alias: [ 日期ID,日期 ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: year # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 年份 # 字段的 业务含义 alias: [ 年份,年 ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: quarter # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 季度 # 字段的 业务含义 alias: [季度] # 字段同义词 别名 sync: true # 该字段取值是否需要同步到 ES 建立 全文索引 - name: month # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 月份 # 字段的 业务含义 alias: [月,月份] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: day # 真实字段的名字 role: dimension # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 日 # 字段的 业务含义 alias: [ 日,天 ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 # # 问题 # 为什么 只有季度 值 存入 ES 中年 月 日 没有呢 第二个 数据库 时间 表中 有 季度 字段吗/ # - name: fact_order #真实的表名 role: fact # 表的角色 或者类型 description: 订单事实表,记录订单熟练和金额等级核心指标 # 这个表 对应的业务含义的说明 columns: - name: order_id # 真实字段的名字 role: primary_key # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 订单唯一标识 # 字段的 业务含义 alias: [ 订单ID ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: customer_id # 真实字段的名字 role: foreign_key # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 关系客户维度的外键 # 字段的 业务含义 alias: [ 客户ID,用户ID ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: product_id # 真实字段的名字 role: foreign_key # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 关联商品维度的外键 # 字段的 业务含义 alias: [商品ID,产品ID] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: customer_id # 真实字段的名字 role: foreign_key # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 关联客户维度的外键 # 字段的 业务含义 alias: [ 客户ID,用户ID ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: date_id # 真实字段的名字 role: foreign_key # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 关联时间维度的外键 # 字段的 业务含义 alias: [ 日期,下单日期 ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: region_id # 真实字段的名字 role: foreign_key # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 关联地区维度的外键 # 字段的 业务含义 alias: [ 区域ID,地区ID ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: order_quantity # 真实字段的名字 role: measure # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 订单中商品的购买数量 # 字段的 业务含义 alias: [ 销量,购买数量,件数 ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 - name: order_amount # 真实字段的名字 role: measure # 字段的角色 维度只要是维度表中的度量 小数 类的数值 description: 订单金额 # 字段的 业务含义 alias: [ 销售额,订单金额,收入 ] # 字段同义词 别名 sync: false # 该字段取值是否需要同步到 ES 建立 全文索引 # # ****************************************************************** # ******************************************************************* # # 2指标类的说明 有哪些指标 metrics: # 指标信息 - name: GMV # 指标名称如 GMV AOV description: 全称Gross Merchandise value,表示所有订单的成交金额总和 # 指标的业务含义描述 与 计算口径说明 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_amount alias: [成交总额,订单总额] # 指标同义词这个指标的别名 其他叫法 # 把所有的订单金额 求和 # ------------------- - name: AOV # 指标名称如 GMV AOV description: 全称Average Order value,表示所有订单的成交金额总的平均值 # 指标的业务含义描述 与 计算口径说明 relevant_columns: # 指标相关的字段 这个指标所需要的字段 # - fact_order.order_quantity # 是上面的 还是下面的 - fact_order.order_amount - fact_order.order_id alias: [ 平均单价,平均订单金额 ] # 指标同义词这个指标的别名 其他叫法 # 我是这样理解的 把所有的订单 金额 求和 然后除以 订单数量 这样的理解方式 合不合理呢 # - name: ORDER_COUNT # 指标名称如 GMV AOV description: 统计周期内的订单总数量按照order_id去重计数 # 指标的业务含义描述 与 计算口径说明 relevant_columns: # 指标相关的字段 这个指标所需要的字段 # - fact_order.order_quantity - fact_order.order_id alias: [ 订单数,下单量 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 1根据每个 去重后单独的 order_id 可以拿到 各自对应的 下单量 下一步求和 # 这里包括 已下单的 和 没有下单的 或者 退款的 # 而 order_quantity 是指已经下了单的 # 个人理解 2 order_id 去重后剩下的订单 下一步 直接对 order_quantity 求和 # 这样省去了一步不用单独 获取各自订单的order_quantity # - name: ORDER_COUNT_BY_REGIN # 指标名称如 GMV AOV description: 按地区维度region_id/region_name统计的订单数量 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_id - dim_region.region_id - dim_region.region_name alias: [ 区域订单数量,各地区下单数 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 根据区域 把order_id 分组再对分组后的各自组的订单数求和 # - name: SALES_QUANTITY # 指标名称如 GMV AOV description: 统计周期内所有订单的商品购买数量的总和 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_quantity alias: [总销量,销售件数 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 fact_order.order_quantity 指已经下单购买得了的付了款的 完成的再对分组后的各自组的订单数求和 # - name: SALES_QUANTITY # 指标名称如 GMV AOV description: 统计周期内所有订单的商品购买数量的总和 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_quantity alias: [总销量,销售件数 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 fact_order.order_quantity 指已经下单购买得了的付了款的 完成的再对分组后的各自组的订单数求和 # - name: SALES_QUANTITY_BY_CATEGORY # 指标名称如 GMV AOV description: 按商品品类category统计的商品销售数量 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_quantity - dim_product.category alias: [品类销售件数,分类销量 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 根据商品 类别 分组再对分组后 各自的 商品 数量求和 # - name: AVG_ORDER_QUANTITY # 指标名称如 GMV AOV description: 订单商品购买数量的平均值总销量/订单总数 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_quantity - dim_product.id alias: [单均商品数,平均购买件数 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 根据所哟订单 购买的 数量求和再除去订单数平均到每个订单的 购买量 # - name: AVG_AMOUNT_CUSTOMER # 指标名称如 GMV AOV description: 统计周期内客户的平均订单金额 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_amount - fact_order.customer_id alias: [客均消费,客户平均下单金额 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 先拿到下单客户的数量再把总的销售额 除以 下单的客户一个客户可能下了多个订单平均到每个客户的销售额客户的消费能力 # - name: GMV_BY_MEMBER_LEVEL # 指标名称如 GMV AOV description: 按照客户会员等级(member_level)统计的成交金额 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_amount - dim_customer.member_level alias: [会员等级销售额,各等级成交总额 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 先拿到下单客户会员等级分组再对各组的销售额 求和不同等级会员的营收额查看等级之间的差别 或者 长期的 波动·走势来判断市场经济 # - name: GAILY_GMV # 指标名称如 GMV AOV description: 按照日期维度date_id/year/month/day统计每日GMV # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_amount - dim_date.date_id - dim_date.year - dim_date.month - dim_date.day alias: [日GMV,每日成交总额 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 每天的销售额先按照 天 对所有订单 分组在对分组后每天的所有订单求和 总金额 # - name: QUARTERTY_SALES # 指标名称如 GMV AOV description: 按照季度quarter统计的商品销售总量 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_quantity - dim_date.quarter alias: [季销售件数,季度销量 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 先按照 季度 对所有订单 分组在对分组后每个季度的所有订单各自求和 总销量针对是一年的 没有加入年这个条件 # - name: GMV_BY_BRAND # 指标名称如 GMV AOV description: 按照商品品牌(brand)统计的成交总额。 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_amount - dim_product.brand alias: [品牌GMV,各品牌销售额 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 先按照 品牌 对所有订单 分组在对分组后每个品牌的所有订单各自求和 总金额各个品牌的销售总额 # - name: TOP_PRODUCT_SALES # 指标名称如 GMV AOV description: 按照商品名称(product_name)排序的商品销售数量TOP榜。 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.order_quantity - dim_product.product_id - dim_product.product_name alias: [品牌销量TOP,热销商品件数 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 先按照 商品 名称 对所有订单 分组在对分组后每个 商品名称 的所有订单各自求和 总销量根据 销量排序 # - name: CUSTOMER_COUNT # 指标名称如 GMV AOV description: 统计周期内下单的客户总数量按customer_id去重计数。 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.customer_id alias: [下单客户数,客户数量 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 同一个客户可能下了多次单子查看 下单客户的数量 长时间 看客户数量 的 波动 趋势去重 # - name: CUSTOMER_COUNT_By_GENER # 指标名称如 GMV AOV description: 按照客户性别 gender统计的下单客户数量。 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.customer_id - dim_customer.gender alias: [性别客户数,男女下单人数 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 按照性别分组 对男女各自的 订单数量 求各自的客户数量 去重 求和 # - name: MEMBER_LEVEL_COUNT # 指标名称如 GMV AOV description: 按会员等级memeber_level统计的下单客户数量。 # 指标相关的字段 这个指标所需要的字段 relevant_columns: # 指标相关的字段 这个指标所需要的字段 - fact_order.customer_id - dim_customer.member_level alias: [会员等级客户数,各等级下单人数 ] # 指标同义词这个指标的别名 其他叫法 # 个人理解 不同等级的客户数量按等级分组再各等级内各自计算 客户 数量去重求和二有五张表 类对象的 数据指标类对象的 有16个数据 指标数据需要来回熟悉