推荐系统系列-行为序列建模

发表于 | 分类于 ， |

行为序列建模

目前主要的模型：

  • DIN的做法
    • 直觉：用户的兴趣的多样性；局部激活，影响当前点击的是部分历史序列
    • Attention:在候选的adv和历时的商品序列上, attention计算的时候将[querys(候选广告), keys(历史行为序列)， querys-keys, queryskeys]的*四元组上进行DNN操作。序列mask值得借鉴
    • Mini-batch Aware Regularization
    • 如何处理多值字段？
    • 行为序列建模直接进行的mean pooling,留给了DIEN
  • DIEN的做法
    • 直觉：捕获用户的潜在兴趣 latent interest 和用户兴趣的改变与多样
    • 借鉴点：设计兴趣的抽取层(使用下一个item来监督上一个学习的aux,使用的是正负样本)+设计兴趣的进化层(捕获兴趣的改变或者多样性)两层用来捕捉用户的兴趣
    • DIEN使用amazon的数据如何转化为CTR任务的？
    • 可视化进化过程？
    • DIEN的辅助loss和net的过程？
    • AUGRU的实现
  • DISN的做法
    • 直觉：用户的不同session的关注点不一样，兴趣点转移
    • 做法：
      • session切分层
      • 兴趣抽取层：transformer?位置的处理？Bias Encoding多了一个部分
      • 兴趣组合层: blstm?
      • 兴趣激活层：attention?bilinear的实现式子

  • BST

    • 直觉：用户的行为序列的依赖关系可以通过transformer进行捕捉
    • 借鉴点：位置的编码，模型参数为什么这么小？

  • SR-GNN AAAI 2019 Paper: [Session-based Recommendation with Graph Neural Networks](