尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

用户画像构建全流程:从数据采集到标签落地的5个关键步骤

用户画像构建全流程:从数据采集到标签落地的5个关键步骤 1. 为什么你需要一套靠谱的用户画像做了这么多年的数据业务我发现一提“用户画像”很多人第一反应是“做个标签系统”或者“画几个用户原型”。实际上用户画像不是一张简单的用户属性表它是把海量、零散、甚至互相矛盾的用户数据经过清洗、加工、建模之后沉淀成一套能指导业务决策的结构化标签体系。所谓“精准”不是说标签数量多、维度全而是每个标签都有数据支撑、有业务含义、能直接指导运营动作。我见过不少团队花了几个月把标签库搭到几百个结果业务方用的时候发现标签之间互相矛盾、有的标签口径对不上、有的标签更新不及时最后画像变成了“数据垃圾桶”。所以说构建精准用户画像的核心问题不是“怎么做标签”而是“怎么让标签真正可用、可解释、可落地”。这篇文章不聊虚的直接拆解我实践中沉淀下来的5个关键步骤数据采集、数据清洗、标签设计、画像建模、应用评估。每一步都会配实际案例和踩坑经验尤其适合刚起步做用户画像、或者画像做出来但业务方不买账的团队参考。2. 第一步数据采集决定画像能走多远2.1 先搞清楚你要收集什么数据很多人上来就接全量数据订单、浏览、搜索、客服记录、App埋点全都往里灌看似数据很全实际上只会让后续的清洗和建模变得极其困难。数据采集的第一步不是“怎么采”而是“采什么”。我建议先回到业务目标问自己三个问题画像最终要服务什么场景是精细化运营、推荐系统、风险控制还是产品优化这些场景分别需要哪些维度的数据来支撑决策以电商为例如果目标是做商品推荐那么核心数据是用户浏览行为、搜索关键词、加购记录、收藏记录和购买历史如果目标是做用户生命周期管理那么需要叠加注册时间、首单时间、复购周期、客单价变化如果目标是做流失预警还需要接入客服交互记录、投诉记录、退换货记录等。我一般会把数据源分成三类来规划第一类是第一方行为数据来自自有产品包括页面浏览、点击、搜索、加购、下单、支付、评价等这类数据最能反映用户的真实意图和偏好。第二类是业务系统数据包括订单、会员、积分、优惠券、客服工单等结构化数据主要用于身份属性和交易特征的刻画。第三类是外部补充数据包括第三方征信、设备信息、社交公开信息等。这类数据采集时要特别注意合规性只取业务必需的部分能不用尽量不用。2.2 埋点规范和采集方案的常见坑数据采集最大也是最隐蔽的坑是埋点不规范导致的数据缺失或口径混乱。很多团队先上线再补埋点结果前期用户行为完全没有记录后面想分析“用户从哪个渠道进来、走了什么路径、卡在哪个环节”根本没有数据可看。即使后面补上了历史数据也不可逆。埋点规范必须在产品上线之前定好否则后面所有分析都是在残缺数据上做推断。我踩过的具体坑有三个第一是App升级后老版本埋点不兼容导致一段时间内新增数据全部丢失排查了很久才发现是埋点SDK版本不一致。第二是前端埋点和服务端日志各记一套前端记的页面名、后端记的接口路径两边命名风格完全对不上做行为轨迹还原时非常痛苦。第三是事件参数随意增删今天加一个参数明天改一个枚举值时间一长数据文档已经跟实际对不上了。我的做法是每个关键事件必须包含这几个标准字段用户唯一标识、会话ID、事件名、事件时间戳、页面路径、设备信息、App版本、扩展参数JSON格式。事件名统一用“名词_动词”的格式比如product_view、cart_add、order_submit。扩展参数里的字段必须维护一份数据字典谁要新增字段都需要过一遍评审防止重复和冲突。数据采集协议确定之后还有一个容易忽略的点实时采集和离线采集要分开规划。实时管道用来做触发式营销、在线推荐、异常监控对延迟要求高一般用消息队列加流处理框架离线管道用来做周期性分析、训练模型、构建宽表对吞吐量要求高一般走批量抽取。两条链路的数据口径要一致否则会出现实时标签和离线标签打架的情况。3. 第二步数据清洗与质量治理3.1 垃圾进垃圾出清洗标准不能省大数据领域流传着一句话对于大数据而言最基本、最重要的要求就是减少错误、保证质量。采集到的原始数据如果直接去做画像得到的结果基本不可用。我见过一个真实案例某内容平台做用户兴趣画像结果发现有一批用户被打上了“母婴”标签后来排查发现是爬虫流量和异常注册账号造成的跟真实用户行为完全无关。数据清洗要处理的问题主要包括四类缺失值、异常值、重复数据和格式不一致。缺失值不是简单删除就完事要看字段的重要性。用户性别缺失可以用实名认证信息、头像昵称特征或模型预测来补全设备型号缺失可以用User-Agent解析出来关键行为字段缺失通常要回溯源头数据和埋点日志确认是不是采集环节丢了。异常值识别要结合业务常识。深夜短时间内频繁下单、同IP不同账号大量注册、单用户一天点击上千次等都有可能是机器行为。处理方式不是粗暴剔除而是要打上“异常标记”让下游建模的人可以自行决定是否排除。手动剔除风险很大因为你不知道这个“异常值”是否承载真实用户需求。3.2 数据去重与ID统一是画像的地基用户画像最有挑战的部分之一是识别“同一个用户”。同一个用户可能有多个身份标识未登录状态下的设备ID、登录状态的手机号、不同平台的OpenID、订单里的联系人手机号。如果这些ID没有打通就会把一个人拆成好几个人画像也会失真。我做ID统一采用“实体解析”的思路先确定唯一的用户主键一般用注册手机号或用户ID然后把设备ID、CookieID、微信OpenID等关联标识通过“登录行为”和“设备指纹”关联起来。规则可以先用硬规则比如同一设备ID上登录过的所有账号会被认为属于同一用户再辅以软规则比如同IP、同收货地址、同联系人手机号用打分方式判断两个ID是否属于同一个人。实际项目中硬规则加软规则融合基本能把准确率做到95%以上。数据清洗阶段还要建立一套数据质量监控指标建议至少盯这几个日数据量环比波动率、主要字段的填充率、枚举值的分布变化、事件上报的延迟情况。任何一项异常都需要及时告警否则问题数据一旦进入标签体系后面的建模分析全会被带偏而且越晚发现修正成本越高。4. 第三步标签体系设计画像的灵魂4.1 好的标签体系是一棵会生长的树标签体系是用户画像的核心载体它决定了画像的表达能力和可解释性。我的经验是标签设计要遵循MECE原则相互独立、完全穷尽同时要兼顾动态生长。打个比方画像就像整理一个大型衣柜你要先把衣服按季节、类型、场合分好大类再在大类下面细分款式、颜色、价格档位。如果一个用户有新行为出现你也要能在原有标签体系里快速找到合适的位置挂上去。我习惯把标签分成三个层级事实标签、规则标签、模型标签。事实标签直接来自业务数据比如“近30天购买次数”“累计消费金额”“上次活跃时间”这类标签最客观业务方也最容易认同。规则标签是通过业务规则加工出来的比如“高价值用户”“沉睡用户”“流失预警用户”特点是计算逻辑清晰可解释性很强。模型标签则是通过机器学习算法产出的比如“用户偏好类目Top3”“潜在流失概率”“相似用户群”这类标签能挖掘隐性特征但需要模型解释和效果验证。三个层级之间不是替代关系而是递进关系。事实标签越多规则标签的准确率越高规则标签越精确模型标签的输入特征越干净。我见过很多团队在模型标签上投入过多精力结果基础的事实标签一塌糊涂用户性别是错的、城市是旧的模型输出自然也不可信。4.2 标签命名与口径管理决定了业务方信不信你标签命名不规范是内部协作效率低下的主要原因之一。同一个用户分群运营叫“活跃用户”数据团队叫“周活用户”产品团队叫“高粘性用户”说起来都是那批人但定义完全不同。标签管理必须先定好口径字典每个标签必须有明确的标签名称、标签编码、计算公式、数据来源、更新频率、负责人和生效时间。口径变更管理也特别重要。上线时定义“近30天成交用户”后来为了匹配财务口径改成“自然月成交用户”如果这两套口径同时存在且没有标注版本业务方拿到数据后八成会吵架。我建议所有标签都增加一个“口径版本”字段变更时新增版本不在原标签上直接改。标签设计还要控制数量。一个标签动辄几百上千个业务方根本用不过来。我的建议是核心标签不超过50个按用户基础属性、行为特征、消费偏好、价值分层、生命周期五类划分。每一类下挑选对业务最有指导意义的标签优先建设宁缺毋滥。5. 第四步画像建模与分数计算5.1 从标签到用户分层的加权计分法标签建好之后下一步是把标签聚合成用户分层或者各类偏好得分。最常用也最容易解释的是加权计分法。每个标签不仅要有“有没有”更要有“程度多少”。例如“高消费偏好”不是单纯根据消费金额超过某个阈值来判定而是综合消费频率、消费金额、消费类目多样性、价格带偏好等多个因子加权得出。以“用户价值分”为例可以直接套用电商领域经典的RFM模型。RRecency代表最近一次消费距今的时间间隔FFrequency代表消费频率MMonetary代表消费金额。先把三个维度的原始值分别做归一化处理然后按业务偏好分配权重。我常用权重安排是R占40%、F占30%、M占30%。理由很简单最近有过消费的用户后续转化率远高于长期沉默用户所以近度权重最高。计算方式可以这样理解假设某个用户的R值是7天经过归一化后R分数是0.8F是4次归一化后F分数是0.6M是800元归一化后M分数是0.7那么价值分就是0.4乘以0.8加0.3乘以0.6加0.3乘以0.7算出来是0.71。这个得分不是越高越好而是相对比较把全体用户得分排序后按百分位切成高、中、低、沉默四层。5.2 偏好类标签的权重调整与时间衰减用户偏好会随着时间变化而变化。半年前喜欢看母婴内容的用户现在不一定还有同样的兴趣。所以在计算偏好类标签时要给行为数据加上时间衰减因子。我常用的是指数衰减函数权重等于e的负lambda乘以距今的天数。lambda取值通常介于0.01到0.05之间取0.02时30天前的行为权重大概衰减到原有的一半90天前基本只剩不到五分之一。行为类型也要设置不同的权重。比如电商场景一次购买行为的权重远高于一次浏览行为因为购买是强意向表达。我给一个参考权重表购买记10分、加购记7分、收藏记5分、搜索记4分、详情页浏览记2分、列表页曝光记1分。这些值不是拍脑袋定的需要结合转化率漏斗和历史数据反复调优。评分的结果要能合理映射到分层和标签。得分60分以上的高价值用户运营动作可以侧重VIP维护和专属权益40到60分的中价值用户侧重交叉销售和向上销售20到40分的低价值用户侧重活跃激励20分以下的沉默用户优先做流失召回或低成本触达。注意这里的阈值没有绝对标准每个业务都要基于数据分布来定不要照搬其他行业的经验值。5.3 冷启动和新用户画像的应对策略新用户没有足够的历史行为数据这时候模型标签往往算不出来画像看起来是“空的”。应对思路是采用“群体画像替代个体画像”。新用户注册时先用渠道来源、设备信息、注册时间、首次落地页等有限信息匹配同类用户群体的特征比如“来自某内容平台投放的iOS用户落地页是A商品详情页”就可以初判这批用户内容偏好和消费档位的大致范围。等用户产生了足够的行为数据再逐步替换为个体标签。冷启动阶段还有一个实用技巧用“渐进式画像”替代“一步到位画像”。新用户第一天只有入口信息第三天补充浏览数据第七天补充搜索和加购数据第二周开始可以输出完整的偏好标签。画像的置信度要跟着数据量动态变化数据不足时标签要打上“待验证”的标记避免业务方误判。6. 第五步画像应用落地与效果评估6.1 画像应用场景怎么选先做容易见效的画像做得再好如果业务方用不起来价值就是零。我建议画像体系上线后先找最依赖个性化分发的高频场景切入。最常见的三个场景是个性化推荐、精准营销触达、差异化运营策略。以精准营销为例一套完整的画像标签可以直接支撑整个活动策划链路用RFM价值分层圈定目标用户人群用偏好类目标签决定推送什么商品用价格带标签决定使用什么档位的优惠券用活跃时段标签决定推送时间用渠道偏好标签决定触达渠道短信、Push、公众号、站内信。这种组合使用的效果远好于单纯按“最近购买时间”群发无差别优惠券。推荐场景中画像标签通常作为推荐算法的冷启动特征和候选集召回补充。比如新用户冷启动时没有行为数据协同过滤无法工作就可以直接用画像中的“渠道偏好”“内容类目偏好”等群体标签来做推荐。等用户行为数据积累到一定程度再慢慢迁移到基于行为的推荐模型。6.2 效果评估要盯增量而不是绝对值画像效果评估要回答的核心问题是用画像之前和用画像之后业务指标到底变好了多少。这里要做“增量评估”而不是看绝对指标。比如做了一次活动整体转化率提升到5%这5%里有多少是画像带来的有多少是活动本身的流量红利必须拆开看。我常用的评估方式是A/B测试加分层对比。人群随机分为对照组和实验组对照组用全量用户统一策略实验组用画像策略精准分发观察两组在转化率、客单价、复购率、ROI上的差异。实验进行前要注意样本量样本太小实验结果没有统计显著性一般每组至少需要数万级用户量。同时要注意A/B测试的时间窗口短周期实验比如一周适合看转化率长周期实验比如一个月才能看出复购和LTV的变化。除了一线业务指标我还要做“标签覆盖率”和“标签准确率”的监测。覆盖率是指当前活跃用户中有多少用户至少被打上了一个有效标签我一般要求日活用户覆盖率不低于90%。准确率则是随机抽样标注结果和标签结果的一致率人工抽检建议每周做一次准确率应该控制在85%以上如果低于这个水平说明有标签加工逻辑出了问题需要回溯修正。6.3 画像更新频率和时效性用户画像必须有时效性概念。不同标签的更新频率不一样基础属性标签比如性别、年龄段一个月更新一次就够了行为统计标签比如近7天活跃次数、近30天浏览量建议一天一个批次更新实时偏好标签比如当前会话意图、实时位置需要用流式计算做到分钟级更新。有些团队把所有标签都做成每天凌晨离线批量更新这样当天的实时行为无法被捕捉营销触达会慢半拍。比如用户刚把A商品加入购物车但是没下单这个时候是最佳的O2O推送时机如果标签到第二天才更新这个转化窗口就彻底错过了。所以画像体系在架构上要支持“离线批量计算实时流式计算”两条链路离线计算负责稳健的统计类标签实时计算负责高时效性的触发类标签。6.4 画像效果评估的北极星指标如何设定画像项目作为中台能力很难直接归因到单一业务线。我的经验是设定三级指标一级是北极星指标比如用户生命周期价值提升、整体转化率提升、营销费用效率提升二级是画像本身的指标比如标签覆盖率、准确率、调用量、业务方激活率三级是分场景过程指标比如推荐点击率、营销响应率、复购率、流失召回率。三层指标一起评估才能回答“画像到底值多少钱”这个所有人都会问的问题。在实际评估中我发现最容易被忽视的是“业务方激活率”。标签建了很多但很多业务团队根本不知道有哪些标签、怎么用、能解决什么问题。这个指标一旦偏低画像项目的整体价值就大打折扣。所以画像项目上线时一定要配套输出画像标签字典、适用场景说明、使用Demo和培训材料用运营的思维去推广数据产品而不是只交付一个数据表。7. 常见问题与排查技巧实录7.1 画像准确性验证怎么落地经常有人问怎么保证画像是对的。我实践中最有效的方式是“三方交叉验证”人工抽样、业务流程反馈、外部数据核对。人工抽样是随机抽取几百个用户对照其真实行为记录人工判断标签是否符合业务流程反馈是邀请一线运营人员对画像输出做主观评价运营天天跟用户打交道对用户的理解有时候比数据模型更准外部数据核对则是拿第三方的征信、设备信息做交叉比对。注意“准确”不等于“正确”画像本身就是对真实世界的一种概率化描述误差是不可避免的。我们目标是控制误差在可用范围内而不是消灭误差。与其追求100%准确不如在标签上增加置信度字段让下游使用时能感知到哪些标签是可靠判断哪些是概率推测。7.2 标签覆盖率和稀疏性问题的解法标签覆盖率不够通常有两个原因一是基础数据不足很多用户没有关键行为数据二是标签加工逻辑太严格比如要求用户至少浏览3次某类目才打偏好标签导致覆盖的用户数很少。我的解法是标签分级后按数据量自适应调整阈值数据充足的头部用户使用严格标签数据稀疏的长尾用户使用宽松标签。同时结合上一节说的群体标签做冷启动补充。如果标签体系本身做得太稀疏可以考虑调整画像粒度。比如兴趣偏好标签从“三级类目”升级为“一级类目”“喜欢数码产品中的手机配件”改成“喜欢数码产品”覆盖范围就大得多。这类调整通常要跟业务方提前沟通粒度变粗可能会牺牲一部分精准度但换来的是更高的覆盖和更简单的业务理解。7.3 实时标签和离线标签去重冲突怎么办这是线上跑画像最常见的系统级问题。离线批处理计算出的标签和实时计算出的标签很容易冲突比如离线计算的“近30天消费金额”是昨天更新前的值实时标签里用户刚下了一笔单两个系统数据不同步。我的做法是建立统一的标签存储层所有标签以“主存储”为基准实时计算结果先进入待生效队列等离线任务完成后统一覆盖避免下游同时读到两个不一致的结果。7.4 画像上线后业务方用不起来怎么办画像上线不是终点而是运营的起点。业务方不用画像通常是三个原因不知道有画像、不知道怎么用、觉得画像不准。第一点靠推广培训第二点靠场景化模板比如给运营团队提供现成的“高价值用户召回模板”他们只需要选择活动商品和优惠力度就能一键创建任务第三点靠快速反馈和迭代机制让业务方有渠道提交对某个标签的质疑数据团队定期复核修正。我在团队里最重视的指标是“标签调用覆盖率”即画像标签被业务方主动查询或调用的比例。一个标签如果三个月都没有被业务调用就应该考虑下线或改版不要留着占领存储资源。画像体系是一个不断收敛、不断逼近业务需求的过程而不是一次性交付的静态产品。8. 实操心得画像项目推进的三个底层认知做了这么多年的用户画像项目我最深的体会是技术方案只是其中一部分项目推进的认知和策略往往决定成败。第一点画像设计和业务场景必须同步推进。不要等到标签全部建完才考虑场景而是在标签设计阶段就邀请业务方一起参与评审。每设计一个标签就问自己这个标签在什么业务场景下会被用到运营拿到它之后要采取什么行动如果一个标签回答不了这两个问题说明这个标签建了也是废的。第二点画像质量要把关在源头。数据采集、清洗和打通环节不规范后面做得再精美的标签都是空中楼阁。我宁可花整个项目40%的时间在第一、第二步也不愿意后面花两个月在脏数据上打补丁。因为脏数据对画像的影响是全面的、系统性的某一个环节修正并不会解决所有问题。第三点画像的“准”和“全”之间存在取舍。标签粒度太细覆盖率必然下降粒度太粗业务指导意义就会削弱。最合理的策略是分层头部活跃用户用细粒度的高精度标签做精细化运营长尾用户用宽泛的群体标签做低成本覆盖。用一句话概括就是给最了解的用户最个性化的服务给不太了解的用户先推荐最主流的选择。最后分享一个实用小技巧画像上线后每个月固定做一次标签使用分析统计各类标签被调用的次数、场景分布和业务反馈。连续三个月没有被调用的标签直接标记为“低效标签”进入待优化清单。这个机制倒逼整个团队持续聚焦业务价值而不是无限扩展标签的“数据版图”。画像不是做得越多越好而是用得越准越好。
返回列表