FiBiNET

发表于 | 分类于 ， |

Background

  • 推荐和广告的核心技术是CTR预估技术；
  • CTR预估的核心在于如何构建有效的特征组合,FFM是构建特征组合的当前高效方法, FFM的参数量️巨大，值得去改进;

  • Attention机制在NLP、CV、推荐等许多领域取得成功，具有选择出有效信息，抑制无效信息，而特征组合也面临有效的和无效的特征组合；

  • SENET在图像识别领域取得ILSVRC 2017的冠军，同样具备类似的Attention作用；

Contribution

  • 如何在CTR领域，利用更少的参数使用，达到FFM的效果？
  • 如何使用SENET技术，进一步提高效果 ？
  • DeepCTR结构下，如何获得进一步的提升 ？

FiBiNET-Model

FiBiNET Architecture

image-20190523141754590

Core components: SENET

image-20190523141846195

Core components: Bilinear-Interaction Layer

image-20190523141956530

image-20190523142025589

Experiments

1.Over Performance

  • shallow model

    image-20190523142222815

  • Deep model

    image-20190523142321753

2.Bilinear-Interaction(Different Field Types)

image-20190523142405249

3.Bilinear-Interaction(Different Combinations)

image-20190523142520725

4.Ablation Study

image-20190523142646196