ICLR 2020 ENERGY BASED MODEL 摘要速览

YOUR CLASSIFIER IS SECRETLY AN ENERGY BASED
MODEL AND YOU SHOULD TREAT IT LIKE ONE

https://openreview.net/group?id=ICLR.cc/2020/Conference#accept-talk

引言

discriminative分类器表示为 p(y|x)，可以基于能量型模型 把它
重新推导成 p(x, y) 则可以用 p(x) 和 p(x|y) 计算，
这样，标准的 discriminative 模型也能用 未标注数据 训练，
我们实验证实，基于能量的联合训练，可以提高正确率、鲁棒性，同时也能类似GAN一样生成数据，

本文贡献，提出一种新颖的框架来建模label和data，

基于能量的模型（EBM）

能量模型表示为
$p_θ(x) = exp(-E_θ(x)) / Z(θ)$
其中x是D维向量，E是能量方程 把D维向量映射到1维，
其中Z是归一化项，
$Z(θ) = ∫_x exp(−E_θ(x))$
EBM即一个把向量映射为一个数的模型，

分类器所隐藏的

分类器是吧D维向量映射为K维向量，即
$f_θ : R^D → R^K$
f的输出是logit，然后过softmax，

（这块推导挺不错，建议原文看看）

最后推导出引言里说的