DIN DIEN DSIN 简述

用户行为两大特性多样性Diversity一个用户今天买衣服明天买零食后天买电器兴趣非常广泛。、局部激活Local Activation虽然用户兴趣广泛但在预测下一件特定商品比如羽绒服时只有最近或强相关的历史行为比如买过羊毛大衣、围巾对预测有帮助而买过的杯子、吸尘器基本没用。技术实现逻辑强规则可以在模型外先做筛选比如只取最近7天的数据或只取同品类数据但这样做会丢失信息。Attention机制把筛选逻辑内置到模型中让模型自动学习“哪些历史商品对当前预测更重要”并赋予它们更高的权重。三个模型的详细拆解与举例Deep Interest Network (DIN)并非所有历史行为都对当前预测有帮助。引入 Attention 机制根据当前候选商品Target Item与每个历史商品的相关性动态计算权重。举例子用户过去一年购买了[大衣、水杯、鞋子、帽子、吸尘器]。现在要预测用户是否会点击一件 新款羽绒服。Attention 计算过程计算羽绒服 Embedding 与大衣 Embedding 的相似度强相关给权重 0.9。与鞋子 Embedding 的相似度中等相关给权重 0.5。与吸尘器 Embedding 的相似度基本无关给权重 0.01。加权求和最终的用户兴趣向量 0.9*大衣 0.5*鞋子 0.01*吸尘器 ...。模型主要根据大衣和鞋子的特征来判断用户是否会买羽绒服吸尘器几乎不影响判断。DIN 解决了**“用哪部分历史”的问题但不关心“兴趣随时间如何变化”。**Deep Interest Evolution Network (DIEN)用户的兴趣是会随着时间演变的。五年前的兴趣和现在完全不同。引入 GRU门控循环单元 来建模兴趣的演化过程并引入 AUGRU注意力更新门控循环单元 让演化路径与目标商品相关。举例子5年前学生时代关注性价比买的是 [平价T恤、帆布鞋]。3年前初入职场开始注重品质买的是 [优衣库基本款、小白鞋]。现在(职场白领):关注质感和品牌买的是 [轻奢风衣、真皮皮鞋]。如果要用这些行为预测现在的你是否会买一件高端风衣DIN 的做法把所有历史包括5年前的平价T恤一起加权。DIEN 的做法用 GRU 按时间序列从过去到现在读取你的购买序列形成一个连续的兴趣演化轨迹。预测风衣时模型发现“兴趣向量”已经演化到了“注重质感”的阶段因此早期平价商品的影响力变得很小近期高档商品的影响力变得很大。模型不仅做了加权还理解了你是如何一步步变成现在这样的。DIEN 解决了“兴趣如何随时间演变”的问题对长周期用户非常有效。Deep Session Interest Network (DSIN)用户的行为不是连续的单一序列而是由多个 Session会话/主题 组成的。一个 Session 内的行为是高度同质的比如都是买衣服不同 Session 之间则差异很大比如上个Session买完衣服下个Session买吃的。所以先把用户行为按时间切分成多个 Session然后用Transformer对每个 Session 内部进行建模最后再用Bi-LSTM捕捉 Session 之间的演变关系。举例子Session 1晚上 7点-8点[浏览连衣裙、浏览半身裙、购买高跟鞋]买女装主题。Session 2晚上 9点-10点[搜索电饭煲、对比微波炉、购买烤箱]买厨具主题。Session 3第二天早上[查看大衣、收藏羽绒服]买外套主题。如果只看整体序列模型很难区分“买裙子”和“买电饭煲”是两个截然不同的时期/意图。DSIN 的做法分 Session明确把序列切成三段强制模型识别出三个不同的主题。-Transformer 内部建模在“女装 Session”里让连衣裙、半身裙、高跟鞋互相做 Attention强化主题内部关系。跨 Session 演化用 Bi-LSTM 看三个 Session 之间如何推进。最终预测大衣时模型主要参考 Session 3 的信息并注意到用户兴趣已经从“裙子”升级到了“外套”。总结模型核心问题解决方案适合场景DIN哪些历史行为与当前预测相关Attention 机制根据候选商品动态加权历史行为较短或行为跨度不大DIEN用户兴趣如何随时间变化GRU AUGRU 建模兴趣演化路径。有长期用户历史需要捕捉兴趣演变DSIN用户行为如何按主题/会话分组分 Session Transformer 建模内部 LSTM 建模跨Session。用户行为跨度大且存在明显的主题切换。DIN帮你选对“哪几个历史商品”DIEN帮你理解“这几个商品是怎么发展到现在的”DSIN帮你分清“这几个商品是在哪段时期买的”。