虚拟对抗训练

发表于 | 分类于 ， |

虚拟对抗训练(VAT): 全称为Virtual Adversarial Training,核心思想是在监督学习中对抗部分，采取的措施可以是加噪音增强鲁棒性、对抗具体的分布等，联合对抗部分loss一起训练。

1.Word Embedding Perturbation for Sentence Classification

在答案选择、关系分类、情感分类上，在word embedding上面实现对抗

code:https://github.com/zhangdongxu/word-embedding-perturbation

2.Adversarial Personalized Ranking for Recommendation

VAT是在对抗训练的基础上将监督学习模型扩展到半监督学习模型，同时模型在同向噪声鲁棒性提高到可以在异向噪声具有鲁棒性，在监督和半监督条件下都取得不错的实验结果。

3. Virtual Adversarial Training: a Regularization Method for Supervised and Semi-supervised Learning

利用对抗的思想，要求模型对一个样本在施加对抗性噪声前后给出尽可能相同的预测值，从而对模型施加 smooth regularization，以此利用无标注样本进行半监督学习。论文仅用 100 个标注 MNIST 样本取得 1.36% 的测试误差，仅用 4000 个标注 CIFAR 样本取得 13.15% 的测试误差。

Code

4.Adversarial Dropout for Supervised and Semi-supervised Learning

Virtual Adverarial Training的变种，原来在 input data 上加对抗干扰，本文在网络中间层进行对抗性 dropout，取得了与 VAT 接近的半监督训练效果，配合原始 VAT 一起在 CIFAR 和 SVHN 上取得 state-of-the-art 的半监督学习性能

5.Distributional Smoothing with Virtual Adversarial Training

局部分布性平滑(LDS) 的方法，这是统计模型的一个新的光滑概念，可以用作正则化术语来促进模型分布的平滑