原创 線性規劃中的對偶(Duality in linear programs)

Introduction 對偶(duality)是優化中的一個重要概念,當原問題的最小值很難求解時,我們常常將其變爲對偶形式,通過求解對偶問題的最大值,從而得到原問題的最優解。我們從最簡單的線性規劃問題入手來介紹對偶的概念。 線性

原创 次梯度(Subgradients)

總目錄 一、 凸優化基礎(Convex Optimization basics) 凸優化基礎(Convex Optimization basics) 二、 一階梯度方法(First-order methods) 梯度下降(G

原创 KKT條件(Karush-Kuhn-Tucker Conditions)

Inttoduction 上一節我們提到了強對偶,即原問題的最優值與對偶問題的最優值相等。下面我們需要解決怎樣找到優化問題的最優解。而KKT條件就是最優解需要滿足的條件。 KKT條件 給定一個一般性的優化問題: min⁡xf(x)

原创 凸優化中的對偶(Duality in General Programs)

Intorduction 在上節中,我們討論了線性規劃中的對偶,引入了對偶的基本概念和對偶的兩種解釋。對偶相當於給當前的優化問題找到了一個下界,通過提升這個下界來找到原問題的最優解。本節將進一步介紹對偶在一般規劃問題中的推廣。 拉

原创 隨機梯度下降(Stochastic gradient descent)

總目錄 一、 凸優化基礎(Convex Optimization basics) 凸優化基礎(Convex Optimization basics) 二、 一階梯度方法(First-order methods) 梯度下降(G

原创 梯度下降(Gradient Descent)

梯度下降 考慮一個無約束的,平滑的凸優化問題 min⁡xf(x)\min_x f(x)xmin​f(x) 其中,fff是凸函數,且在定義域dom(f)=Rndom(f)=R^ndom(f)=Rn上是可微的。 算法 選擇一個初始點x

原创 凸優化基礎(Convex Optimization basics)

Introduction 一個凸優化問題具有以下基本形式: min⁡x∈Df(x)subject togi(x)≤0, i=1,...,mhj(x)=0, j=1,...,r \begin{aligned} \min_{x\in

原创 圖像平滑濾波

Introduction 濾波是一個信號處理領域的概念。信息通過波的形式傳遞,濾波就是通過提取相應的頻率成分,從而獲取有用的信息。圖像濾波也是如此。根據提取頻率的成分不同,可以將濾波操作分爲低通濾波、帶通濾波和高通濾波。在圖像處理

原创 論文筆記:Handheld Multi-Frame Super-Resolution

Introduction 這是google發表在SIGGRAPH2019上面的一篇超分辨的文章,也就是在自家手機Pixel3中使用的Super Res Zoom技術。在Google AI Blog中已經對該技術做了初步的介紹,而

原创 What's new in image denoising - 圖像去噪進展

What’s new in image denoising 最近看了不少論文,閒下來對這些文章做一個總結,把握一下這個領域發展的一些小趨勢吧。下面總結主要以去噪方法爲主,輔助介紹一些圖像復原任務中的通用方法。Let’s do it!

原创 論文筆記:Learning Denoising from Single Noisy Images

Introduction 上次看過文章Noise2Noise(簡稱爲N2N吧),其使用noisy-noisy image pairs對網絡進行訓練,可以達到使用noisy-clean image pairs的效果。但在N2N中,使用的

原创 VST in Denoising

Introduction 經典的圖像去噪方法都是將噪聲建模爲加性高斯白噪聲(AWGN),而真實圖像的噪聲並不嚴格服從AWGN。比如對於RAW圖像來說,其噪聲分佈服從Poisson-Gaussian分佈。因此,我們有兩種方法來應對這種差

原创 近端梯度法(Proximal Gradient Descent)

近端梯度法(Proximal Gradient Descent) 在凸優化問題中,對於可微分的目標函數,我們可以通過梯度下降法(gradient descent)迭代求解最優解,而對於不可微分的目標函數,通過引入次梯度(subgrad

原创 論文閱讀:FFDNet:Toward a Fast and Flexible Solution for CNN based Image Denoising

Introduction FFDNet是Zhang Kai的一篇承前啓後之作,從DnCNN到FFDNet再到CBDNet是一個網絡的泛化過程,處理的對象從均勻的高斯噪聲變成更加複雜的真實噪聲。DnCNN利用Batch Normali

原创 論文閱讀:Burst photography for high dynamic range and low-light imaging

Introduction Google HDR+ 技術曾使得Google pixel 2以其單鏡頭拍照質量超越了衆多雙攝手機,登頂手機拍照質量排行榜。這篇文章是HDR+初代版本的技術細節的介紹,與其他HDR技術論文相比,其更加註重工程實用