CFNet视频目标跟踪推导笔记

1. 论文信息

论文题目：End-to-end representation learning for Correlation Filter based tracking
论文出处：CVPR 2017
论文作者：Jack Valmadre，Luca Bertinetto等人
论文主页：http://www.robots.ox.ac.uk/~luca/cfnet.html
源码链接：https://github.com/bertinetto/cfnet

2. 滤波器求解——论文公式(7)推导过程

2.1 最优化求解

首先，定义最优化问题

argminw12n∥∥XTw−y∥∥2+λ2∥w∥2(1)$$\begin{array}{}\text{(1)}& \underset{\mathbf{w}}{\arg min}\frac{1}{2n}{\Vert {\mathbf{X}}^T\mathbf{w}-\mathbf{y}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\end{array}$$

其中，w$\mathbf{w}$ 表示待求解的滤波器，n$n$ 表示样本数目，y$\mathbf{y}$ 表示样本标签。
现在，我们将公式(1)换一种方式进行表述，定义r=XTw−y$\mathbf{r}={\mathbf{X}}^T\mathbf{w}-\mathbf{y}$ ，那么最优化问题为

argminw,r12n∥r∥2+λ2∥w∥2s.t.r=XTw−y(2)$$\begin{array}{}\text{(2)}& \begin{array}{l}\underset{\mathbf{w},\mathbf{r}}{\arg min}\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\\ s.t.\mathbf{r}={\mathbf{X}}^T\mathbf{w}-\mathbf{y}\end{array}\end{array}$$

从公式(2)开始，利用拉格朗日乘子法进行优化，具体可以参考Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers一书中Chapter 2.1 Dual Ascent中的描述（PDF链接：https://web.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf），首先构建拉格朗日表达式：

L(w,r,v)=12n∥r∥2+λ2∥w∥2+vT(r−XTw+y)(3)$$\begin{array}{}\text{(3)}& L\left(\mathbf{w},\mathbf{r},\mathbf{v}\right)=\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2+{\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\end{array}$$

其中v$\mathbf{v}$ 是拉格朗日乘数，这样，将损失函数进行梯度求解，首先对w$\mathbf{w}$ 求偏导数，得

∂L(w,r,v)∂w=∂(12n∥r∥2+λ2∥w∥2+vT(r−XTw+y))∂w=∂(12n∥r∥2)∂w+∂(λ2∥w∥2)∂w+∂(vT(r−XTw+y))∂w=∂(12n∥r∥2)∂w+∂(λ2∥w∥2)∂w+∂(vT(XTw))∂w=∂(12n∥r∥2)∂w+∂(λ2∥w∥2)∂w+∂(vTXTw)∂w=0+λw+vT(0−XT)=λw−(vTXT)T=λw−Xv(4)$$\begin{array}{}\text{(4)}& \begin{array}{rl}\frac{\mathrm{\partial }L\left(\mathbf{w},\mathbf{r},\mathbf{v}\right)}{\mathrm{\partial }\mathbf{w}}& =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2+{\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{w}}\\ & =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left(\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left({\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{w}}\\ & =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left(\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left({\mathbf{v}}^T\left({\mathbf{X}}^T\mathbf{w}\right)\right)}{\mathrm{\partial }\mathbf{w}}\\ & =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left(\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\right)}{\mathrm{\partial }\mathbf{w}}+\frac{\mathrm{\partial }\left({\mathbf{v}}^T{\mathbf{X}}^T\mathbf{w}\right)}{\mathrm{\partial }\mathbf{w}}\\ & =0+\lambda \mathbf{w}+{\mathbf{v}}^T\left(0-{\mathbf{X}}^T\right)\\ & =\lambda \mathbf{w}-{\left({\mathbf{v}}^T{\mathbf{X}}^T\right)}^T\\ & =\lambda \mathbf{w}-\mathbf{X}\mathbf{v}\end{array}\end{array}$$

现在对r$\mathbf{r}$ 求偏导数，得

∂L(w,r,v)∂r=∂(12n∥r∥2+λ2∥w∥2+vT(r−XTw+y))∂r=∂(12n∥r∥2)∂r+∂(λ2∥w∥2)∂r+∂(vT(r−XTw+y))∂r=12n⋅2r+0+(vT)T(1−0+0)=1nr+v(5)$$\begin{array}{}\text{(5)}& \begin{array}{rl}\frac{\mathrm{\partial }L\left(\mathbf{w},\mathbf{r},\mathbf{v}\right)}{\mathrm{\partial }\mathbf{r}}& =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2+{\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{r}}\\ & =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2\right)}{\mathrm{\partial }\mathbf{r}}+\frac{\mathrm{\partial }\left(\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\right)}{\mathrm{\partial }\mathbf{r}}+\frac{\mathrm{\partial }\left({\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{r}}\\ & =\frac{1}{2n}\cdot 2\mathbf{r}+0+{\left({\mathbf{v}}^T\right)}^T\left(1-0+0\right)\\ & =\frac{1}{n}\mathbf{r}+\mathbf{v}\end{array}\end{array}$$

最后对v$\mathbf{v}$ 求偏导数，得

∂L(w,r,v)∂v=∂(12n∥r∥2+λ2∥w∥2+vT(r−XTw+y))∂v=∂(12n∥r∥2)∂v+∂(λ2∥w∥2)∂v+∂(vT(r−XTw+y))∂v=0+0+(r−XTw+y)=r−XTw+y(6)$$\begin{array}{}\text{(6)}& \begin{array}{rl}\frac{\mathrm{\partial }L\left(\mathbf{w},\mathbf{r},\mathbf{v}\right)}{\mathrm{\partial }\mathbf{v}}& =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2+\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2+{\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{v}}\\ & =\frac{\mathrm{\partial }\left(\frac{1}{2n}{\Vert \mathbf{r}\Vert }^2\right)}{\mathrm{\partial }\mathbf{v}}+\frac{\mathrm{\partial }\left(\frac{\lambda }{2}{\Vert \mathbf{w}\Vert }^2\right)}{\mathrm{\partial }\mathbf{v}}+\frac{\mathrm{\partial }\left({\mathbf{v}}^T\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\right)}{\mathrm{\partial }\mathbf{v}}\\ & =0+0+\left(\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\right)\\ & =\mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}\end{array}\end{array}$$

现在，分别令上述三个偏导数为0，得

⎧⎩⎨⎪⎪λw−Xv=01nr+v=0r−XTw+y=0(7)$$\begin{array}{}\text{(7)}& \{\begin{array}{l}\lambda \mathbf{w}-\mathbf{X}\mathbf{v}=0\\ \frac{1}{n}\mathbf{r}+\mathbf{v}=0\\ \mathbf{r}-{\mathbf{X}}^T\mathbf{w}+\mathbf{y}=0\end{array}\end{array}$$

根据方程(7)，首先求解 ，可以得到

w=1λXv(8)$$\begin{array}{}\text{(8)}& \mathbf{w}=\frac{1}{\lambda }\mathbf{X}\mathbf{v}\end{array}$$

接下来求解v$\mathbf{v}$ ，有

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪w=1λXv1nr+v=0r=XTw−y⇒1n(XTw−y)+v=0⇒1n(XT1λXv−y)+v=0⇒1n⋅1λXTXv−1ny+v=0⇒1n⋅1λXTXv+v=1ny⇒1n⋅1λXTXv+v=1ny⇒1n⋅1λXTXv+v=1ny⇒1λXTXv+nv=y⇒(1λXTX+nI)v=y⇒(XTX+λnI)v=λy⇒v=λyXTX+λnI⇒v=λn(1nXTX+λI)y⇒v=λn(1nXTX+λI)−1y(9)$$\begin{array}{}\text{(9)}& \begin{array}{c}\{\begin{array}{c}\mathbf{w}=\frac{\text{1}}{\lambda }\mathbf{X}\mathbf{v}\\ \frac{\text{1}}{n}\mathbf{r}+\mathbf{v}=0\\ \mathbf{r}={\mathbf{X}}^T\mathbf{w}-\mathbf{y}\end{array}\\ \Rightarrow \frac{\text{1}}{n}\left({\mathbf{X}}^T\mathbf{w}-\mathbf{y}\right)+\mathbf{v}=0\\ \Rightarrow \frac{\text{1}}{n}\left({\mathbf{X}}^T\frac{\text{1}}{\lambda }\mathbf{X}\mathbf{v}-\mathbf{y}\right)+\mathbf{v}=0\\ \Rightarrow \frac{\text{1}}{n}\cdot \frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}\mathbf{v}-\frac{\text{1}}{n}\mathbf{y}+\mathbf{v}=0\\ \Rightarrow \frac{\text{1}}{n}\cdot \frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}\mathbf{v}+\mathbf{v}=\frac{\text{1}}{n}\mathbf{y}\\ \Rightarrow \frac{\text{1}}{n}\cdot \frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}\mathbf{v}+\mathbf{v}=\frac{\text{1}}{n}\mathbf{y}\\ \Rightarrow \frac{\text{1}}{n}\cdot \frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}\mathbf{v}+\mathbf{v}=\frac{\text{1}}{n}\mathbf{y}\\ \Rightarrow \frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}\mathbf{v}+n\mathbf{v}=\mathbf{y}\\ \Rightarrow \left(\frac{\text{1}}{\lambda }{\mathbf{X}}^T\mathbf{X}+n\mathbf{I}\right)\mathbf{v}=\mathbf{y}\\ \Rightarrow \left({\mathbf{X}}^T\mathbf{X}+\lambda n\mathbf{I}\right)\mathbf{v}=\lambda \mathbf{y}\\ \Rightarrow \mathbf{v}=\frac{\lambda \mathbf{y}}{{\mathbf{X}}^T\mathbf{X}+\lambda n\mathbf{I}}\\ \Rightarrow \mathbf{v}=\frac{\lambda }{n\left(\frac{1}{n}{\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}\right)}\mathbf{y}\\ \Rightarrow \mathbf{v}=\frac{\lambda }{n}{\left(\frac{1}{n}{\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}\right)}^{-1}\mathbf{y}\end{array}\end{array}$$

最终，得到的解为

⎧⎩⎨⎪⎪⎪⎪⎪⎪w=1λXvv=λn(1nXTX+λI)−1y=v=λnK−1y(10)$$\begin{array}{}\text{(10)}& \{\begin{array}{c}\mathbf{w}=\frac{1}{\lambda }\mathbf{X}\mathbf{v}\\ \mathbf{v}=\frac{\lambda }{n}{\left(\frac{1}{n}{\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}\right)}^{-1}\mathbf{y}=\mathbf{v}=\frac{\lambda }{n}{\mathbf{K}}^{-1}\mathbf{y}\end{array}\end{array}$$

其中，K=1nXTX+λI$\mathbf{K}=\frac{1}{n}{\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}$ 是正则化核矩阵。通常情况下，我们会引入一个scaled dual变量α=1λv=1nK−1y$\alpha =\frac{1}{\lambda }\mathbf{v}=\frac{1}{n}{\mathbf{K}}^{-1}\mathbf{y}$ ，利用变量α$\alpha$ ，可以将w$\mathbf{w}$ 表示为某种加权组合

w=Xα=∑i=1nαixi(11)$$\begin{array}{}\text{(11)}& \mathbf{w}=\mathbf{X}\alpha =\sum _{i=1}^n{\alpha }_i{x}_i\end{array}$$

2.2 相关滤波引入

根据相关滤波跟踪方法的特性，这里我们将上述变量X$\mathbf{X}$ 定义为循环矩阵，满足X[u,t]=X[u+tmodm]$\mathbf{X}\left[u,t\right]=\mathbf{X}\left[u+tmodm\right]$ ，由于此时矩阵X$\mathbf{X}$ 是对称矩阵，所以模板w$\mathbf{w}$ 是通过互相关的方式获取的

w=Xα=α⋆x(12)$$\begin{array}{}\text{(12)}& \mathbf{w}=\mathbf{X}\alpha =\alpha \star \mathbf{x}\end{array}$$

注： ∗$\ast$ 表示循环卷积操作，⋆$\star$ 表示循环互相关操作， ⊙$\odot$ 表示矩阵元素级乘法

关于正则化核矩阵K=1nXTX+λI$\mathbf{K}=\frac{1}{n}{\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}$ ，关于它的线性映射等价于与base信号k$\mathbf{k}$ 的卷积

Kz=k∗z(13)$$\begin{array}{}\text{(13)}& \mathbf{K}\mathbf{z}=\mathbf{k}\ast \mathbf{z}\end{array}$$

其中k=1nx⋆x+λδ$\mathbf{k}=\frac{1}{n}\mathbf{x}\star \mathbf{x}+\lambda \delta$ ，由于

∀z:FXTXz=F((z⋆x)⋆x)=z^⊙x^∗⊙x^=F(z∗(x⋆x))(14)$$\begin{array}{}\text{(14)}& \begin{array}{rl}\mathrm{\forall }\mathbf{z}:\mathbf{F}{\mathbf{X}}^T\mathbf{X}\mathbf{z}& =\mathcal{F}\left(\left(\mathbf{z}\star \mathbf{x}\right)\star \mathbf{x}\right)\\ & =\hat{\mathbf{z}}\odot {\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}\\ & =\mathcal{F}\left(\mathbf{z}\ast \left(\mathbf{x}\star \mathbf{x}\right)\right)\end{array}\end{array}$$

于是，有

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪k=1nx⋆x+λδk∗α=k∗1nK−1y=1nk∗K−1y=1nKK−1y=1nyw=α⋆x(15)$$\begin{array}{}\text{(15)}& \{\begin{array}{c}\mathbf{k}=\frac{1}{n}\mathbf{x}\star \mathbf{x}+\lambda \delta \\ \mathbf{k}\ast \alpha =\mathbf{k}\ast \frac{1}{n}{\mathbf{K}}^{-1}\mathbf{y}=\frac{1}{n}\mathbf{k}\ast {\mathbf{K}}^{-1}\mathbf{y}=\frac{1}{n}\mathbf{K}{\mathbf{K}}^{-1}\mathbf{y}=\frac{1}{n}\mathbf{y}\\ \mathbf{w}=\alpha \star \mathbf{x}\end{array}\end{array}$$

放到傅里叶域中，其解为

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪k^=1n(x^∗⊙x^)+λIα^=1nk^−1⊙y^w^=α^∗⊙x^(16)$$\begin{array}{}\text{(16)}& \{\begin{array}{c}\hat{\mathbf{k}}=\frac{1}{n}\left({\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}\right)+\lambda \mathbb{I}\\ \hat{\alpha }=\frac{1}{n}{\hat{\mathbf{k}}}^{-1}\odot \hat{\mathbf{y}}\\ \hat{\mathbf{w}}={\hat{\alpha }}^{\ast }\odot \hat{\mathbf{x}}\end{array}\end{array}$$

公式(16)即为论文中的公式(7)，这样，相关滤波的求解表达式就完成了。

注：公式中的互相关，在傅里叶域中会带上一个共轭符号，其中一种出处：
不管如何，与直接卷积相差一个负号。这时，看清楚了，相关函数在频域也不完全是乘积，是一个信号的共轭再与原信号乘积，这就是与“时域卷积频域相乘不同的地方”。
所以，请记住这个有用的结论：两个信号的互相关函数的频域等于X信号频域的共轭乘以Y信号的频域。
https://blog.csdn.net/xiahouzuoxin/article/details/19286077

3. 反向传播公式推导过程

3.1 计算微分

由于论文将相关滤波器作为深度神经网络中的一层，因此在定义网络结构时，有必要确定网络的反向传播表达式。

首先，根据公式(15)，求解微分

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪dk=1n(dx⋆x+x⋆dx)dk∗α+k∗dα=1ndydw=dα⋆x+α⋆dx(17)$$\begin{array}{}\text{(17)}& \{\begin{array}{c}d\mathbf{k}=\frac{1}{n}\left(d\mathbf{x}\star \mathbf{x}+\mathbf{x}\star d\mathbf{x}\right)\\ d\mathbf{k}\ast \alpha +\mathbf{k}\ast d\alpha =\frac{1}{n}d\mathbf{y}\\ d\mathbf{w}=d\alpha \star \mathbf{x}+\alpha \star d\mathbf{x}\end{array}\end{array}$$

将公式(17)转换到傅里叶域，有

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪dkˆ=1n(dxˆ∗⊙x^+x^∗⊙dxˆ)dαˆ=k^−1⊙(1ndyˆ−dkˆ⊙α^)dwˆ=dαˆ∗⊙x^+α^∗⊙dxˆ(18)$$\begin{array}{}\text{(18)}& \{\begin{array}{c}\widehat{d\mathbf{k}}=\frac{1}{n}\left({\widehat{d\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+{\hat{\mathbf{x}}}^{\ast }\odot \widehat{d\mathbf{x}}\right)\\ \widehat{d\alpha }={\hat{\mathbf{k}}}^{-1}\odot \left(\frac{1}{n}\widehat{d\mathbf{y}}-\widehat{d\mathbf{k}}\odot \hat{\alpha }\right)\\ \widehat{d\mathbf{w}}={\widehat{d\alpha }}^{\ast }\odot \hat{\mathbf{x}}+{\hat{\alpha }}^{\ast }\odot \widehat{d\mathbf{x}}\end{array}\end{array}$$

3.2 计算反向传播

用J1$J_1$ 表示映射dx↦dk$d\mathbf{x}\mapsto d\mathbf{k}$ （这个映射就是公式(17)，如果放到傅里叶域就是公式(18)），首先计算内积

⟨F(dk),F(J1(dx))⟩=⟨dkˆ,1n(dxˆ∗⊙x^+x^∗⊙dxˆ)⟩=1n⟨dkˆ,dxˆ∗⊙x^⟩+1n⟨dkˆ,x^∗⊙dxˆ⟩=1n⟨dxˆ,dkˆ∗⊙x^⟩+1n⟨dxˆ,x^∗⊙dkˆ⟩=1n⟨dxˆ,dkˆ∗⊙x^⟩+1n⟨dxˆ,dkˆ⊙x^∗⟩=1n⟨dxˆ,dkˆ∗⊙x^+dkˆ⊙x^∗⟩=1n⟨dxˆ,dkˆ∗⊙x^+dkˆ⊙x^∗⟩=1n⟨dxˆ,2Re{dkˆ∗⊙x^}⟩=⟨dxˆ,2nRe{dkˆ∗⊙x^}⟩=⟨dxˆ,2nRe{dkˆ∗}⊙x^⟩(19)$$\begin{array}{}\text{(19)}& \begin{array}{rl}⟨\mathcal{F}\left(\mathrm{d}\mathbf{k}\right),\mathcal{F}\left(J_1\left(\mathrm{d}\mathbf{x}\right)\right)⟩& =⟨\widehat{\mathrm{d}\mathbf{k}},\frac{1}{n}\left({\widehat{\mathrm{d}\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+{\hat{\mathbf{x}}}^{\ast }\odot \widehat{\mathrm{d}\mathbf{x}}\right)⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{k}},{\widehat{\mathrm{d}\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}⟩+\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{k}},{\hat{\mathbf{x}}}^{\ast }\odot \widehat{\mathrm{d}\mathbf{x}}⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}⟩+\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},{\hat{\mathbf{x}}}^{\ast }\odot \widehat{\mathrm{d}\mathbf{k}}⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}⟩+\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},\widehat{\mathrm{d}\mathbf{k}}\odot {\hat{\mathbf{x}}}^{\ast }⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}+\widehat{\mathrm{d}\mathbf{k}}\odot {\hat{\mathbf{x}}}^{\ast }⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}+\widehat{\mathrm{d}\mathbf{k}}\odot {\hat{\mathbf{x}}}^{\ast }⟩\\ & =\frac{1}{n}⟨\widehat{\mathrm{d}\mathbf{x}},2\mathrm{Re}\left\{{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}\right\}⟩\\ & =⟨\widehat{\mathrm{d}\mathbf{x}},\frac{2}{n}\mathrm{Re}\left\{{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\odot \hat{\mathbf{x}}\right\}⟩\\ & =⟨\widehat{\mathrm{d}\mathbf{x}},\frac{2}{n}\mathrm{Re}\left\{{\widehat{\mathrm{d}\mathbf{k}}}^{\ast }\right\}\odot \hat{\mathbf{x}}⟩\end{array}\end{array}$$

根据公式(19)，计算反向传播映射

∇xℓˆ=2nx^⊙Re{∇kℓˆ}(20)$$\begin{array}{}\text{(20)}& \widehat{{\mathrm{\nabla }}_{\mathbf{x}}\ell }=\frac{2}{n}\hat{\mathbf{x}}\odot \mathrm{Re}\left\{\widehat{{\mathrm{\nabla }}_{\mathbf{k}}\ell }\right\}\end{array}$$

类似地，现在计算内积

⟨F(dα),F(J2(dk,dy))⟩=⟨dαˆ,k^−1⊙(1ndyˆ−dkˆ⊙α^)⟩=⟨dαˆ,k^−1⊙(1ndyˆ)⟩−⟨dαˆ,k^−1⊙(dkˆ⊙α^)⟩=⟨1nk^−1⊙dαˆ,dyˆ⟩+⟨−dαˆ,k^−1⊙(dkˆ⊙α^)⟩=⟨1nk^−1⊙dαˆ,dyˆ⟩+⟨−k^−1⊙α^⊙dαˆ,dkˆ⟩=⟨1nk^−∗⊙dαˆ,dyˆ⟩+⟨−k^−∗⊙α^∗⊙dαˆ,dkˆ⟩(21)$$\begin{array}{}\text{(21)}& \begin{array}{rl}⟨\mathcal{F}\left(d\alpha \right),\mathcal{F}\left(J_2\left(d\mathbf{k},d\mathbf{y}\right)\right)⟩& =⟨\widehat{d\alpha },{\hat{\mathbf{k}}}^{-1}\odot \left(\frac{1}{n}\widehat{d\mathbf{y}}-\widehat{d\mathbf{k}}\odot \hat{\alpha }\right)⟩\\ & =⟨\widehat{d\alpha },{\hat{\mathbf{k}}}^{-1}\odot \left(\frac{1}{n}\widehat{d\mathbf{y}}\right)⟩-⟨\widehat{d\alpha },{\hat{\mathbf{k}}}^{-1}\odot \left(\widehat{d\mathbf{k}}\odot \hat{\alpha }\right)⟩\\ & =⟨\frac{1}{n}{\hat{\mathbf{k}}}^{-1}\odot \widehat{d\alpha },\widehat{d\mathbf{y}}⟩+⟨-\widehat{d\alpha },{\hat{\mathbf{k}}}^{-1}\odot \left(\widehat{d\mathbf{k}}\odot \hat{\alpha }\right)⟩\\ & =⟨\frac{1}{n}{\hat{\mathbf{k}}}^{-1}\odot \widehat{d\alpha },\widehat{d\mathbf{y}}⟩+⟨-{\hat{\mathbf{k}}}^{-1}\odot \hat{\alpha }\odot \widehat{d\alpha },\widehat{d\mathbf{k}}⟩\\ & =⟨\frac{1}{n}{\hat{\mathbf{k}}}^{-\ast }\odot \widehat{d\alpha },\widehat{d\mathbf{y}}⟩+⟨-{\hat{\mathbf{k}}}^{-\ast }\odot {\hat{\alpha }}^{\ast }\odot \widehat{d\alpha },\widehat{d\mathbf{k}}⟩\end{array}\end{array}$$

得到反向传播映射

⎧⎩⎨⎪⎪∇yℓˆ=1nk^−∗⊙∇αℓˆ∇kℓˆ=−k^−∗⊙α^∗⊙∇αℓˆ(22)$$\begin{array}{}\text{(22)}& \{\begin{array}{c}\widehat{{\mathrm{\nabla }}_{\mathbf{y}}\ell }=\frac{1}{n}{\hat{\mathbf{k}}}^{-\ast }\odot \widehat{{\mathrm{\nabla }}_{\alpha }\ell }\\ \widehat{{\mathrm{\nabla }}_{\mathbf{k}}\ell }=-{\hat{\mathbf{k}}}^{-\ast }\odot {\hat{\alpha }}^{\ast }\odot \widehat{{\mathrm{\nabla }}_{\alpha }\ell }\end{array}\end{array}$$

类似地，计算内积

⟨F(dw),F(J3(dα,dx))⟩=⟨dwˆ,dαˆ∗⊙x^+α^∗⊙dxˆ⟩=⟨dwˆ,dαˆ∗⊙x^⟩+⟨dwˆ,α^∗⊙dxˆ⟩=⟨dαˆ∗,dwˆ⊙x^⟩+⟨dxˆ,α^∗⊙dwˆ⟩=⟨dαˆ,dwˆ∗⊙x^⟩+⟨dxˆ,α^∗⊙dwˆ⟩(23)$$\begin{array}{}\text{(23)}& \begin{array}{rl}⟨\mathcal{F}\left(d\mathbf{w}\right),\mathcal{F}\left(J_3\left(d\alpha ,d\mathbf{x}\right)\right)⟩& =⟨\widehat{d\mathbf{w}},{\widehat{d\alpha }}^{\ast }\odot \hat{\mathbf{x}}+{\hat{\alpha }}^{\ast }\odot \widehat{d\mathbf{x}}⟩\\ & =⟨\widehat{d\mathbf{w}},{\widehat{d\alpha }}^{\ast }\odot \hat{\mathbf{x}}⟩+⟨\widehat{d\mathbf{w}},{\hat{\alpha }}^{\ast }\odot \widehat{d\mathbf{x}}⟩\\ & =⟨{\widehat{d\alpha }}^{\ast },\widehat{d\mathbf{w}}\odot \hat{\mathbf{x}}⟩+⟨\widehat{d\mathbf{x}},{\hat{\alpha }}^{\ast }\odot \widehat{d\mathbf{w}}⟩\\ & =⟨\widehat{d\alpha },{\widehat{d\mathbf{w}}}^{\ast }\odot \hat{\mathbf{x}}⟩+⟨\widehat{d\mathbf{x}},{\hat{\alpha }}^{\ast }\odot \widehat{d\mathbf{w}}⟩\end{array}\end{array}$$

也可以得到反向传播映射

{∇αℓˆ=x^⊙∇wℓˆ∗∇xℓˆ=α^∗⊙∇wℓˆ(24)$$\begin{array}{}\text{(24)}& \{\begin{array}{c}\widehat{{\mathrm{\nabla }}_{\alpha }\ell }=\hat{\mathbf{x}}\odot {\widehat{{\mathrm{\nabla }}_{\mathbf{w}}\ell }}^{\ast }\\ \widehat{{\mathrm{\nabla }}_{\mathbf{x}}\ell }={\hat{\alpha }}^{\ast }\odot \widehat{{\mathrm{\nabla }}_{\mathbf{w}}\ell }\end{array}\end{array}$$

最后，综合上述公式(20)、(22)和(24)，可以得到CFNet最终的反向传播映射

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∇αℓˆ=x^⊙∇wℓˆ∗∇yℓˆ=1nk^−∗⊙∇αℓˆ∇kℓˆ=−k^−∗⊙α^∗⊙∇αℓˆ∇xℓˆ=2nx^⊙Re{∇kℓˆ}+α^∗⊙∇wℓˆ(25)$$\begin{array}{}\text{(25)}& \{\begin{array}{c}\widehat{{\mathrm{\nabla }}_{\alpha }\ell }=\hat{\mathbf{x}}\odot {\widehat{{\mathrm{\nabla }}_{\mathbf{w}}\ell }}^{\ast }\\ \widehat{{\mathrm{\nabla }}_{\mathbf{y}}\ell }=\frac{1}{n}{\hat{\mathbf{k}}}^{-\ast }\odot \widehat{{\mathrm{\nabla }}_{\alpha }\ell }\\ \widehat{{\mathrm{\nabla }}_{\mathbf{k}}\ell }=-{\hat{\mathbf{k}}}^{-\ast }\odot {\hat{\alpha }}^{\ast }\odot \widehat{{\mathrm{\nabla }}_{\alpha }\ell }\\ \widehat{{\mathrm{\nabla }}_{\mathbf{x}}\ell }=\frac{2}{n}\hat{\mathbf{x}}\odot \mathrm{Re}\left\{\widehat{{\mathrm{\nabla }}_{\mathbf{k}}\ell }\right\}+{\hat{\alpha }}^{\ast }\odot \widehat{{\mathrm{\nabla }}_{\mathbf{w}}\ell }\end{array}\end{array}$$

最后，本推导笔记离不开富民同学的耐心帮助和CSDN博主的xiahouzuoxin的启发，在此一并表示感谢！

---

更多内容，欢迎扫码关注“视觉边疆”微信订阅号