CFNet視頻目標跟蹤推導筆記

1. 論文信息

論文題目：End-to-end representation learning for Correlation Filter based tracking
論文出處：CVPR 2017
論文作者：Jack Valmadre，Luca Bertinetto等人
論文主頁：http://www.robots.ox.ac.uk/~luca/cfnet.html
源碼鏈接：https://github.com/bertinetto/cfnet

2. 濾波器求解——論文公式(7)推導過程

2.1 最優化求解

首先，定義最優化問題

argminw12n∥∥XTw−y∥∥2+λ2∥w∥2(1)$$\begin{array}{}\text{(1)}& \underset{\mathbf{w}}{\arg min}\frac{1}{2n}{\Vert {\mathbf{X}}^T\mathbf{w}-\mathbf{y}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\end{array}$$

其中，w$\mathbf{w}$ 表示待求解的濾波器，n$n$ 表示樣本數目，y$\mathbf{y}$ 表示樣本標籤。
現在，我們將公式(1)換一種方式進行表述，定義r=XTw−y$\mathbf{r}={\mathbf{X}}^T\mathbf{w}-\mathbf{y}$ ，那麼最優化問題爲

argminw,r12n∥r∥2+λ2∥w∥2s.t.r=XTw−y(2)$$\begin{array}{}\text{(2)}& \begin{array}{l}\underset{\mathbf{w},\mathbf{r}}{\arg min}\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\\ s.t.\mathbf{r}={\mathbf{X}}^T\mathbf{w}-\mathbf{y}\end{array}\end{array}$$

從公式(2)開始，利用拉格朗日乘子法進行優化，具體可以參考Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers一書中Chapter 2.1 Dual Ascent中的描述（PDF鏈接：https://web.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf），首先構建拉格朗日表達式：

L(w,r,v)=12n∥r∥2+λ2∥w∥2+vT(r−XTw+y)(3)$$\begin{array}{}\text{(3)}& L\left(\mathbf{w},\mathbf{r},\mathbf{v}\right)=\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2+{\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\end{array}$$

其中v$\mathbf{v}$ 是拉格朗日乘數，這樣，將損失函數進行梯度求解，首先對w$\mathbf{w}$ 求偏導數，得

∂L(w,r,v)∂w=∂(12n∥r∥2+λ2∥w∥2+vT(r−XTw+y))∂w=∂(12n∥r∥2)∂w+∂(λ2∥w∥2)∂w+∂(vT(r−XTw+y))∂w=∂(12n∥r∥2)∂w+∂(λ2∥w∥2)∂w+∂(vT(XTw))∂w=∂(12n∥r∥2)∂w+∂(λ2∥w∥2)∂w+∂(vTXTw)∂w=0+λw+vT(0−XT)=λw−(vTXT)T=λw−Xv(4)$$\begin{array}{}\text{(4)}& \begin{array}{rl}\frac{\mathrm{\partial }L\left(\mathbf{w},\mathbf{r},\mathbf{v}\right)}{\mathrm{\partial }\mathbf{w}}& =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2+{\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{w}}\\ & =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left(\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left({\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{w}}\\ & =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left(\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left({\mathbf{v}}^T\left({\mathbf{X}}^T\mathbf{w}\right)\right)}{\mathrm{\partial }\mathbf{w}}\\ & =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left(\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left({\mathbf{v}}^T{\mathbf{X}}^T\mathbf{w}\right)}{\mathrm{\partial }\mathbf{w}}\\ & =0+\lambda \mathbf{w}+{\mathbf{v}}^T\left(0-{\mathbf{X}}^T\right)\\ & =\lambda \mathbf{w}-{\left({\mathbf{v}}^T{\mathbf{X}}^T\right)}^T\\ & =\lambda \mathbf{w}-\mathbf{X}\mathbf{v}\end{array}\end{array}$$

現在對r$\mathbf{r}$ 求偏導數，得

∂L(w,r,v)∂r=∂(12n∥r∥2+λ2∥w∥2+vT(r−XTw+y))∂r=∂(12n∥r∥2)∂r+∂(λ2∥w∥2)∂r+∂(vT(r−XTw+y))∂r=12n⋅2r+0+(vT)T(1−0+0)=1nr+v(5)$$\begin{array}{}\text{(5)}& \begin{array}{rl}\frac{\mathrm{\partial }L\left(\mathbf{w},\mathbf{r},\mathbf{v}\right)}{\mathrm{\partial }\mathbf{r}}& =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2+{\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{r}}\\ & =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2\right)}{\mathrm{\partial }\mathbf{r}}+\frac{\mathrm{\partial }\left(\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\right)}{\mathrm{\partial }\mathbf{r}}+\frac{\mathrm{\partial }\left({\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{r}}\\ & =\frac{1}{2n}\cdot 2\mathbf{r}+0+{\left({\mathbf{v}}^T\right)}^T\left(1-0+0\right)\\ & =\frac{1}{n}\mathbf{r}+\mathbf{v}\end{array}\end{array}$$

最後對v$\mathbf{v}$ 求偏導數，得

∂L(w,r,v)∂v=∂(12n∥r∥2+λ2∥w∥2+vT(r−XTw+y))∂v=∂(12n∥r∥2)∂v+∂(λ2∥w∥2)∂v+∂(vT(r−XTw+y))∂v=0+0+(r−XTw+y)=r−XTw+y(6)$$\begin{array}{}\text{(6)}& \begin{array}{rl}\frac{\mathrm{\partial }L\left(\mathbf{w},\mathbf{r},\mathbf{v}\right)}{\mathrm{\partial }\mathbf{v}}& =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2+{\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{v}}\\ & =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2\right)}{\mathrm{\partial }\mathbf{v}}+\frac{\mathrm{\partial }\left(\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\right)}{\mathrm{\partial }\mathbf{v}}+\frac{\mathrm{\partial }\left({\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{v}}\\ & =0+0+\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\\ & =\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\end{array}\end{array}$$

現在，分別令上述三個偏導數爲0，得

⎧⎩⎨⎪⎪λw−Xv=01nr+v=0r−XTw+y=0(7)$$\begin{array}{}\text{(7)}& \{\begin{array}{l}\lambda \mathbf{w}-\mathbf{X}\mathbf{v}=0\\ \frac{1}{n}\mathbf{r}+\mathbf{v}=0\\ \mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}=0\end{array}\end{array}$$

根據方程(7)，首先求解 ，可以得到

w=1λXv(8)$$\begin{array}{}\text{(8)}& \mathbf{w}=\frac{1}{\lambda }\mathbf{X}\mathbf{v}\end{array}$$

接下來求解v$\mathbf{v}$ ，有

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪w=1λXv1nr+v=0r=XTw−y⇒1n(XTw−y)+v=0⇒1n(XT1λXv−y)+v=0⇒1n⋅1λXTXv−1ny+v=0⇒1n⋅1λXTXv+v=1ny⇒1n⋅1λXTXv+v=1ny⇒1n⋅1λXTXv+v=1ny⇒1λXTXv+nv=y⇒(1λXTX+nI)v=y⇒(XTX+λnI)v=λy⇒v=λyXTX+λnI⇒v=λn(1nXTX+λI)y⇒v=λn(1nXTX+λI)−1y(9)$$\begin{array}{}\text{(9)}& \begin{array}{c}\{\begin{array}{c}\mathbf{w}=\frac{\text{1}}{\lambda }\mathbf{X}\mathbf{v}\\ \frac{\text{1}}{n}\mathbf{r}+\mathbf{v}=0\\ \mathbf{r}={\mathbf{X}}^T\mathbf{w}-\mathbf{y}\end{array}\\ \Rightarrow \frac{\text{1}}{n}\left({\mathbf{X}}^T\mathbf{w}-\mathbf{y}\right)+\mathbf{v}=0\\ \Rightarrow \frac{\text{1}}{n}\left({\mathbf{X}}^T\frac{\text{1}}{\lambda }\mathbf{X}\mathbf{v}-\mathbf{y}\right)+\mathbf{v}=0\\ \Rightarrow \frac{\text{1}}{n}\cdot \frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}\mathbf{v}-\frac{\text{1}}{n}\mathbf{y}+\mathbf{v}=0\\ \Rightarrow \frac{\text{1}}{n}\cdot \frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}\mathbf{v}+\mathbf{v}=\frac{\text{1}}{n}\mathbf{y}\\ \Rightarrow \frac{\text{1}}{n}\cdot \frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}\mathbf{v}+\mathbf{v}=\frac{\text{1}}{n}\mathbf{y}\\ \Rightarrow \frac{\text{1}}{n}\cdot \frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}\mathbf{v}+\mathbf{v}=\frac{\text{1}}{n}\mathbf{y}\\ \Rightarrow \frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}\mathbf{v}+n\mathbf{v}=\mathbf{y}\\ \Rightarrow \left(\frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}+n\mathbf{I}\right)\mathbf{v}=\mathbf{y}\\ \Rightarrow \left({\mathbf{X}}^T\mathbf{X}+\lambda n\mathbf{I}\right)\mathbf{v}=\lambda \mathbf{y}\\ \Rightarrow \mathbf{v}=\frac{\lambda \mathbf{y}}{{\mathbf{X}}^T\mathbf{X}+\lambda n\mathbf{I}}\\ \Rightarrow \mathbf{v}=\frac{\lambda }{n\left(\frac{1}{n}{\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}\right)}\mathbf{y}\\ \Rightarrow \mathbf{v}=\frac{\lambda }{n}{\left(\frac{1}{n}{\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}\right)}^{-1}\mathbf{y}\end{array}\end{array}$$

最終，得到的解爲

⎧⎩⎨⎪⎪⎪⎪⎪⎪w=1λXvv=λn(1nXTX+λI)−1y=v=λnK−1y(10)$$\begin{array}{}\text{(10)}& \{\begin{array}{c}\mathbf{w}=\frac{1}{\lambda }\mathbf{X}\mathbf{v}\\ \mathbf{v}=\frac{\lambda }{n}{\left(\frac{1}{n}{\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}\right)}^{-1}\mathbf{y}=\mathbf{v}=\frac{\lambda }{n}{\mathbf{K}}^{-1}\mathbf{y}\end{array}\end{array}$$

其中，K=1nXTX+λI$\mathbf{K}=\frac{1}{n}{\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}$ 是正則化核矩陣。通常情況下，我們會引入一個scaled dual變量α=1λv=1nK−1y$\alpha =\frac{1}{\lambda }\mathbf{v}=\frac{1}{n}{\mathbf{K}}^{-1}\mathbf{y}$ ，利用變量α$\alpha$ ，可以將w$\mathbf{w}$ 表示爲某種加權組合

w=Xα=∑i=1nαixi(11)$$\begin{array}{}\text{(11)}& \mathbf{w}=\mathbf{X}\alpha =\sum _{i=1}^n{\alpha }_i{x}_i\end{array}$$

2.2 相關濾波引入

根據相關濾波跟蹤方法的特性，這裏我們將上述變量X$\mathbf{X}$ 定義爲循環矩陣，滿足X[u,t]=X[u+tmodm]$\mathbf{X}\left[u,t\right]=\mathbf{X}\left[u+tmodm\right]$ ，由於此時矩陣X$\mathbf{X}$ 是對稱矩陣，所以模板w$\mathbf{w}$ 是通過互相關的方式獲取的

w=Xα=α⋆x(12)$$\begin{array}{}\text{(12)}& \mathbf{w}=\mathbf{X}\alpha =\alpha \star \mathbf{x}\end{array}$$

注： ∗$\ast$ 表示循環卷積操作，⋆$\star$ 表示循環互相關操作， ⊙$\odot$ 表示矩陣元素級乘法

關於正則化核矩陣K=1nXTX+λI$\mathbf{K}=\frac{1}{n}{\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}$ ，關於它的線性映射等價於與base信號k$\mathbf{k}$ 的卷積

Kz=k∗z(13)$$\begin{array}{}\text{(13)}& \mathbf{K}\mathbf{z}=\mathbf{k}\ast \mathbf{z}\end{array}$$

其中k=1nx⋆x+λδ$\mathbf{k}=\frac{1}{n}\mathbf{x}\star \mathbf{x}+\lambda \delta$ ，由於

∀z:FXTXz=F((z⋆x)⋆x)=z^⊙x^∗⊙x^=F(z∗(x⋆x))(14)$$\begin{array}{}\text{(14)}& \begin{array}{rl}\mathrm{\forall }\mathbf{z}:\mathbf{F}{\mathbf{X}}^T\mathbf{X}\mathbf{z}& =\mathcal{F}\left(\left(\mathbf{z}\star \mathbf{x}\right)\star \mathbf{x}\right)\\ & =\hat{\mathbf{z}}\odot {\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}\\ & =\mathcal{F}\left(\mathbf{z}\ast \left(\mathbf{x}\star \mathbf{x}\right)\right)\end{array}\end{array}$$

於是，有

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪k=1nx⋆x+λδk∗α=k∗1nK−1y=1nk∗K−1y=1nKK−1y=1nyw=α⋆x(15)$$\begin{array}{}\text{(15)}& \{\begin{array}{c}\mathbf{k}=\frac{1}{n}\mathbf{x}\star \mathbf{x}+\lambda \delta \\ \mathbf{k}\ast \alpha =\mathbf{k}\ast \frac{1}{n}{\mathbf{K}}^{-1}\mathbf{y}=\frac{1}{n}\mathbf{k}\ast {\mathbf{K}}^{-1}\mathbf{y}=\frac{1}{n}\mathbf{K}{\mathbf{K}}^{-1}\mathbf{y}=\frac{1}{n}\mathbf{y}\\ \mathbf{w}=\alpha \star \mathbf{x}\end{array}\end{array}$$

放到傅里葉域中，其解爲

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪k^=1n(x^∗⊙x^)+λIα^=1nk^−1⊙y^w^=α^∗⊙x^(16)$$\begin{array}{}\text{(16)}& \{\begin{array}{c}\hat{\mathbf{k}}=\frac{1}{n}\left({\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}\right)+\lambda \mathbb{I}\\ \hat{\alpha }=\frac{1}{n}{\hat{\mathbf{k}}}^{-1}\odot \hat{\mathbf{y}}\\ \hat{\mathbf{w}}={\hat{\alpha }}^{\ast }\odot \hat{\mathbf{x}}\end{array}\end{array}$$

公式(16)即爲論文中的公式(7)，這樣，相關濾波的求解表達式就完成了。

注：公式中的互相關，在傅里葉域中會帶上一個共軛符號，其中一種出處：
不管如何，與直接卷積相差一個負號。這時，看清楚了，相關函數在頻域也不完全是乘積，是一個信號的共軛再與原信號乘積，這就是與“時域卷積頻域相乘不同的地方”。
所以，請記住這個有用的結論：兩個信號的互相關函數的頻域等於X信號頻域的共軛乘以Y信號的頻域。
https://blog.csdn.net/xiahouzuoxin/article/details/19286077

3. 反向傳播公式推導過程

3.1 計算微分

由於論文將相關濾波器作爲深度神經網絡中的一層，因此在定義網絡結構時，有必要確定網絡的反向傳播表達式。

首先，根據公式(15)，求解微分

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪dk=1n(dx⋆x+x⋆dx)dk∗α+k∗dα=1ndydw=dα⋆x+α⋆dx(17)$$\begin{array}{}\text{(17)}& \{\begin{array}{c}d\mathbf{k}=\frac{1}{n}\left(d\mathbf{x}\star \mathbf{x}+\mathbf{x}\star d\mathbf{x}\right)\\ d\mathbf{k}\ast \alpha +\mathbf{k}\ast d\alpha =\frac{1}{n}d\mathbf{y}\\ d\mathbf{w}=d\alpha \star \mathbf{x}+\alpha \star d\mathbf{x}\end{array}\end{array}$$

將公式(17)轉換到傅里葉域，有

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪dkˆ=1n(dxˆ∗⊙x^+x^∗⊙dxˆ)dαˆ=k^−1⊙(1ndyˆ−dkˆ⊙α^)dwˆ=dαˆ∗⊙x^+α^∗⊙dxˆ(18)$$\begin{array}{}\text{(18)}& \{\begin{array}{c}\widehat{d\mathbf{k}}=\frac{1}{n}\left({\widehat{d\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+{\hat{\mathbf{x}}}^{\ast }\odot \widehat{d\mathbf{x}}\right)\\ \widehat{d\alpha }={\hat{\mathbf{k}}}^{-1}\odot \left(\frac{1}{n}\widehat{d\mathbf{y}}-\widehat{d\mathbf{k}}\odot \hat{\alpha }\right)\\ \widehat{d\mathbf{w}}={\widehat{d\alpha }}^{\ast }\odot \hat{\mathbf{x}}+{\hat{\alpha }}^{\ast }\odot \widehat{d\mathbf{x}}\end{array}\end{array}$$

3.2 計算反向傳播

用J1$J_1$ 表示映射dx↦dk$d\mathbf{x}\mapsto d\mathbf{k}$ （這個映射就是公式(17)，如果放到傅里葉域就是公式(18)），首先計算內積

⟨F(dk),F(J1(dx))⟩=⟨dkˆ,1n(dxˆ∗⊙x^+x^∗⊙dxˆ)⟩=1n⟨dkˆ,dxˆ∗⊙x^⟩+1n⟨dkˆ,x^∗⊙dxˆ⟩=1n⟨dxˆ,dkˆ∗⊙x^⟩+1n⟨dxˆ,x^∗⊙dkˆ⟩=1n⟨dxˆ,dkˆ∗⊙x^⟩+1n⟨dxˆ,dkˆ⊙x^∗⟩=1n⟨dxˆ,dkˆ∗⊙x^+dkˆ⊙x^∗⟩=1n⟨dxˆ,dkˆ∗⊙x^+dkˆ⊙x^∗⟩=1n⟨dxˆ,2Re{dkˆ∗⊙x^}⟩=⟨dxˆ,2nRe{dkˆ∗⊙x^}⟩=⟨dxˆ,2nRe{dkˆ∗}⊙x^⟩(19)$$\begin{array}{}\text{(19)}& \begin{array}{rl}⟨\mathcal{F}\left(\mathrm{d}\mathbf{k}\right),\mathcal{F}\left(J_1\left(\mathrm{d}\mathbf{x}\right)\right)⟩& =⟨\widehat{\mathrm{d}\mathbf{k}},\frac{1}{n}\left({\widehat{\mathrm{d}\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+{\hat{\mathbf{x}}}^{\ast }\odot \widehat{\mathrm{d}\mathbf{x}}\right)⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{k}},{\widehat{\mathrm{d}\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}⟩+\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{k}},{\hat{\mathbf{x}}}^{\ast }\odot \widehat{\mathrm{d}\mathbf{x}}⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}⟩+\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},{\hat{\mathbf{x}}}^{\ast }\odot \widehat{\mathrm{d}\mathbf{k}}⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}⟩+\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},\widehat{\mathrm{d}\mathbf{k}}\odot {\hat{\mathbf{x}}}^{\ast }⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}+\widehat{\mathrm{d}\mathbf{k}}\odot {\hat{\mathbf{x}}}^{\ast }⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}+\widehat{\mathrm{d}\mathbf{k}}\odot {\hat{\mathbf{x}}}^{\ast }⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},2\mathrm{Re}\left\{{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}\right\}⟩\\ & =⟨\widehat{\mathrm{d}\mathbf{x}},\frac{2}{n}\mathrm{Re}\left\{{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}\right\}⟩\\ & =⟨\widehat{\mathrm{d}\mathbf{x}},\frac{2}{n}\mathrm{Re}\left\{{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\right\}\odot \hat{\mathbf{x}}⟩\end{array}\end{array}$$

根據公式(19)，計算反向傳播映射

∇xℓˆ=2nx^⊙Re{∇kℓˆ}(20)$$\begin{array}{}\text{(20)}& \widehat{{\mathrm{\nabla }}_{\mathbf{x}}\ell }=\frac{2}{n}\hat{\mathbf{x}}\odot \mathrm{Re}\left\{\widehat{{\mathrm{\nabla }}_{\mathbf{k}}\ell }\right\}\end{array}$$

類似地，現在計算內積

⟨F(dα),F(J2(dk,dy))⟩=⟨dαˆ,k^−1⊙(1ndyˆ−dkˆ⊙α^)⟩=⟨dαˆ,k^−1⊙(1ndyˆ)⟩−⟨dαˆ,k^−1⊙(dkˆ⊙α^)⟩=⟨1nk^−1⊙dαˆ,dyˆ⟩+⟨−dαˆ,k^−1⊙(dkˆ⊙α^)⟩=⟨1nk^−1⊙dαˆ,dyˆ⟩+⟨−k^−1⊙α^⊙dαˆ,dkˆ⟩=⟨1nk^−∗⊙dαˆ,dyˆ⟩+⟨−k^−∗⊙α^∗⊙dαˆ,dkˆ⟩(21)$$\begin{array}{}\text{(21)}& \begin{array}{rl}⟨\mathcal{F}\left(d\alpha \right),\mathcal{F}\left(J_2\left(d\mathbf{k},d\mathbf{y}\right)\right)⟩& =⟨\widehat{d\alpha },{\hat{\mathbf{k}}}^{-1}\odot \left(\frac{1}{n}\widehat{d\mathbf{y}}-\widehat{d\mathbf{k}}\odot \hat{\alpha }\right)⟩\\ & =⟨\widehat{d\alpha },{\hat{\mathbf{k}}}^{-1}\odot \left(\frac{1}{n}\widehat{d\mathbf{y}}\right)⟩-⟨\widehat{d\alpha },{\hat{\mathbf{k}}}^{-1}\odot \left(\widehat{d\mathbf{k}}\odot \hat{\alpha }\right)⟩\\ & =⟨\frac{1}{n}{\hat{\mathbf{k}}}^{-1}\odot \widehat{d\alpha },\widehat{d\mathbf{y}}⟩+⟨-\widehat{d\alpha },{\hat{\mathbf{k}}}^{-1}\odot \left(\widehat{d\mathbf{k}}\odot \hat{\alpha }\right)⟩\\ & =⟨\frac{1}{n}{\hat{\mathbf{k}}}^{-1}\odot \widehat{d\alpha },\widehat{d\mathbf{y}}⟩+⟨-{\hat{\mathbf{k}}}^{-1}\odot \hat{\alpha }\odot \widehat{d\alpha },\widehat{d\mathbf{k}}⟩\\ & =⟨\frac{1}{n}{\hat{\mathbf{k}}}^{-\ast }\odot \widehat{d\alpha },\widehat{d\mathbf{y}}⟩+⟨-{\hat{\mathbf{k}}}^{-\ast }\odot {\hat{\alpha }}^{\ast }\odot \widehat{d\alpha },\widehat{d\mathbf{k}}⟩\end{array}\end{array}$$

得到反向傳播映射

⎧⎩⎨⎪⎪∇yℓˆ=1nk^−∗⊙∇αℓˆ∇kℓˆ=−k^−∗⊙α^∗⊙∇αℓˆ(22)$$\begin{array}{}\text{(22)}& \{\begin{array}{c}\widehat{{\mathrm{\nabla }}_{\mathbf{y}}\ell }=\frac{1}{n}{\hat{\mathbf{k}}}^{-\ast }\odot \widehat{{\mathrm{\nabla }}_{\alpha }\ell }\\ \widehat{{\mathrm{\nabla }}_{\mathbf{k}}\ell }=-{\hat{\mathbf{k}}}^{-\ast }\odot {\hat{\alpha }}^{\ast }\odot \widehat{{\mathrm{\nabla }}_{\alpha }\ell }\end{array}\end{array}$$

類似地，計算內積

⟨F(dw),F(J3(dα,dx))⟩=⟨dwˆ,dαˆ∗⊙x^+α^∗⊙dxˆ⟩=⟨dwˆ,dαˆ∗⊙x^⟩+⟨dwˆ,α^∗⊙dxˆ⟩=⟨dαˆ∗,dwˆ⊙x^⟩+⟨dxˆ,α^∗⊙dwˆ⟩=⟨dαˆ,dwˆ∗⊙x^⟩+⟨dxˆ,α^∗⊙dwˆ⟩(23)$$\begin{array}{}\text{(23)}& \begin{array}{rl}⟨\mathcal{F}\left(d\mathbf{w}\right),\mathcal{F}\left(J_3\left(d\alpha ,d\mathbf{x}\right)\right)⟩& =⟨\widehat{d\mathbf{w}},{\widehat{d\alpha }}^{\ast }\odot \hat{\mathbf{x}}+{\hat{\alpha }}^{\ast }\odot \widehat{d\mathbf{x}}⟩\\ & =⟨\widehat{d\mathbf{w}},{\widehat{d\alpha }}^{\ast }\odot \hat{\mathbf{x}}⟩+⟨\widehat{d\mathbf{w}},{\hat{\alpha }}^{\ast }\odot \widehat{d\mathbf{x}}⟩\\ & =⟨{\widehat{d\alpha }}^{\ast },\widehat{d\mathbf{w}}\odot \hat{\mathbf{x}}⟩+⟨\widehat{d\mathbf{x}},{\hat{\alpha }}^{\ast }\odot \widehat{d\mathbf{w}}⟩\\ & =⟨\widehat{d\alpha },{\widehat{d\mathbf{w}}}^{\ast }\odot \hat{\mathbf{x}}⟩+⟨\widehat{d\mathbf{x}},{\hat{\alpha }}^{\ast }\odot \widehat{d\mathbf{w}}⟩\end{array}\end{array}$$

也可以得到反向傳播映射

{∇αℓˆ=x^⊙∇wℓˆ∗∇xℓˆ=α^∗⊙∇wℓˆ(24)$$\begin{array}{}\text{(24)}& \{\begin{array}{c}\widehat{{\mathrm{\nabla }}_{\alpha }\ell }=\hat{\mathbf{x}}\odot {\widehat{{\mathrm{\nabla }}_{\mathbf{w}}\ell }}^{\ast }\\ \widehat{{\mathrm{\nabla }}_{\mathbf{x}}\ell }={\hat{\alpha }}^{\ast }\odot \widehat{{\mathrm{\nabla }}_{\mathbf{w}}\ell }\end{array}\end{array}$$

最後，綜合上述公式(20)、(22)和(24)，可以得到CFNet最終的反向傳播映射

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∇αℓˆ=x^⊙∇wℓˆ∗∇yℓˆ=1nk^−∗⊙∇αℓˆ∇kℓˆ=−k^−∗⊙α^∗⊙∇αℓˆ∇xℓˆ=2nx^⊙Re{∇kℓˆ}+α^∗⊙∇wℓˆ(25)$$\begin{array}{}\text{(25)}& \{\begin{array}{c}\widehat{{\mathrm{\nabla }}_{\alpha }\ell }=\hat{\mathbf{x}}\odot {\widehat{{\mathrm{\nabla }}_{\mathbf{w}}\ell }}^{\ast }\\ \widehat{{\mathrm{\nabla }}_{\mathbf{y}}\ell }=\frac{1}{n}{\hat{\mathbf{k}}}^{-\ast }\odot \widehat{{\mathrm{\nabla }}_{\alpha }\ell }\\ \widehat{{\mathrm{\nabla }}_{\mathbf{k}}\ell }=-{\hat{\mathbf{k}}}^{-\ast }\odot {\hat{\alpha }}^{\ast }\odot \widehat{{\mathrm{\nabla }}_{\alpha }\ell }\\ \widehat{{\mathrm{\nabla }}_{\mathbf{x}}\ell }=\frac{2}{n}\hat{\mathbf{x}}\odot \mathrm{Re}\left\{\widehat{{\mathrm{\nabla }}_{\mathbf{k}}\ell }\right\}+{\hat{\alpha }}^{\ast }\odot \widehat{{\mathrm{\nabla }}_{\mathbf{w}}\ell }\end{array}\end{array}$$

最後，本推導筆記離不開富民同學的耐心幫助和CSDN博主的xiahouzuoxin的啓發，在此一併表示感謝！

---

更多內容，歡迎掃碼關注“視覺邊疆”微信訂閱號