VQ-VAE中一個很大的創新就是對離散的值進行求梯度，稱爲Straight-Through Estimator，這是引入變量離散化後的優化技巧。
比如 y = arg min f(x)，這個操作是沒有梯度的，這樣就不能更新前面的參數，因此引入Straight-Through Estimator可以巧妙解決這個問題。
VQ-VAE量子化自編碼器介紹
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
VQ-VAE中一個很大的創新就是對離散的值進行求梯度，稱爲Straight-Through Estimator，這是引入變量離散化後的優化技巧。
比如 y = arg min f(x)，這個操作是沒有梯度的，這樣就不能更新前面的參數，因此引入Straight-Through Estimator可以巧妙解決這個問題。