VQ-VAE中一个很大的创新就是对离散的值进行求梯度，称为Straight-Through Estimator，这是引入变量离散化后的优化技巧。
比如 y = arg min f(x)，这个操作是没有梯度的，这样就不能更新前面的参数，因此引入Straight-Through Estimator可以巧妙解决这个问题。
VQ-VAE量子化自编码器介绍
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
VQ-VAE中一个很大的创新就是对离散的值进行求梯度，称为Straight-Through Estimator，这是引入变量离散化后的优化技巧。
比如 y = arg min f(x)，这个操作是没有梯度的，这样就不能更新前面的参数，因此引入Straight-Through Estimator可以巧妙解决这个问题。