paper note-learnig recommender systems with adaptive regularization

簡介

在推薦系統中最常用的模型是分解模型（factorization model），爲了防止模型的過擬合，一般需要在損失函數中添加正則項。分解模型在測試集或者實際應用中的表現很大程度上依賴正則項參數（Regularization values的)，而這個參數一般被視爲超參數，即在每次實驗開始前已經確定的參數。在實驗過程中一般是準備多個候選值，分別進行實驗，然後選取效果最好的。這樣是比較耗時的。

這篇論文提出了一個新的觀點，將正則化參數視爲一個可以通過學習得到的參數，在學習的過程中自動的調整這個參數，從而避免耗時的調參工作。提出的算法具有以下幾個特點：

• 列表內容將正則化參數集成到模型參數的學習算法中
• 算法的時間複雜度和梯度下降一樣
• 不在需要手動的調試正則化參數，並且正則化參數的可選範圍從有限變成的無限。

分解機

S$S$ ：數據集

λ$\lambda$ ：正則化係數

Θ$\mathrm{\Theta }$ ：假設空間

θ$\theta$ ：模型參數

y$y$ ：真實值

y^$\hat{y}$ ：預測值

l$l$ ：損失函數

模型公式

由於SVD++、MF等模型可以視爲分解機（Factorization Machine）的特例，所以本文采用的模型爲分解機。

y^(x)=w0+∑l=1pwlxl+∑l1=1p∑l2>l1p<vl1,vl2>xl1xl2$$\hat{y}(\mathbf{\text{x}})=w_0+\sum _{l=1}^p{w}_l{x}_l+\sum _{l_1=1}^p\sum _{l_2>l_1}^p<{\mathbf{\text{v}}}_{l_1},{\mathbf{\text{v}}}_{l_2}>x_{l_1}{x}_{l_2}$$

公式（1）的時間複雜度爲O(kn2)$O(k{n}^2)$

通過對（1）的變形，可以將其時間複雜度降低到O(kn)$O(kn)$

y^(x)=w0+∑l=1pwlxl+12∑f=1k((∑l=1pvl,fxl)2−∑l=1pv2l,fx2l)$$\hat{y}(\mathbf{\text{x}})=w_0+\sum _{l=1}^p{w}_l{x}_l+\frac{1}{2}\sum _{f=1}^k((\sum _{l=1}^p{v}_{l,f}{x}_l{)}^2-\sum _{l=1}^p{v}_{l,f}^2{x}_l^2)$$

目標函數

一般用損失函數來量化預測評分y^$\hat{y}$ 和真實值y$y$ 之間的誤差，常用的損失函數有一下兩種

lLS(y1,y2):=(y1−y2)2$$l^{LS}(y_1,y_2):=(y_1-y_2{)}^2$$

lC(y1,y2):=−lnσ(y1y2)$$l^C(y_1,y_2):=-ln\sigma (y_1{y}_2)$$

則優化目標函數爲

OPTREG(S,λ):=argminΘ(∑(x,y)∈Sl(y^(x|Θ),y)+∑θ∈Θλθθ2)$$OPTREG(S,\lambda ):=\underset{\mathrm{\Theta }}{argmin}(\sum _{(\mathbf{\text{x}},y)\in S}l(\hat{y}(\mathbf{\text{x}}|\mathrm{\Theta }),y)+\sum _{\theta \in \mathrm{\Theta }}{\lambda }_{\theta }{\theta }^2)$$

其中λθ∈R+${\lambda }_{\theta }\in {\mathbb{R}}_{+}$ 爲對應模型參數的正則係數，本文采用的是L2$L_2$ 正則。實際上，分解機模型的表現很大程度上依賴λ$\lambda$ 的選擇。如果λ$\lambda$ 過大，則模型不能很好的擬合訓練集，也就是訓練效果不明顯；如果λ$\lambda$ 過小，則模型在訓練集上可能會過擬合，雖然在訓練集上的表現很好，但是缺乏泛化能力，即在驗證集或者實際應用中的表現很差。

優化算法

對於上述目標函數，通常採用梯度下降（Gradient Descent）進行優化

θt+1=θt−α(∂∂θtl(y^(x|Θ),y)+2λθt)$${\theta }^{t+1}={\theta }^t-\alpha (\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }^t}l(\hat{y}(\mathbf{\text{x}}|\mathrm{\Theta }),y)+2\lambda {\theta }^t)$$

優化正則化係數

這是本文提出的重要概念，即在訓練過程中自適應的優化正則化係數。

問題描述

爲了學習正則化參數λθ${\lambda }_{\theta }$ ，首先將數據集分爲互斥的兩部分：SV$S_V$ 和ST$S_T$ 。在ST$S_T$ 上，對於給定的λθ${\lambda }_{\theta }$ ，通過公式（5）來優化模型參數。在SV$S_V$ 上，評估模型的效果。我們需要求出λ∗${\lambda }^{\ast }$ 使目標函數在SV$S_V$ 上的誤差最小。

λ∗:=argminλ∈Rc+∑(x,y)∈SVl(y^(x|OPTREG(ST,λ)),y)$${\lambda }^{\ast }:=\underset{\lambda \in {\mathbb{R}}_{+}^c}{argmin}\sum _{(\mathbf{\text{x}},y)\in S_V}l(\hat{y}(\mathbf{\text{x}}|OPTREG(S_T,\lambda )),y)$$

這是一個嵌套優化問題，最外層是通過在SV$S_V$ 上最小化目標函數來求出最優的λ∗${\lambda }^{\ast }$ 。由公式可以看出，目標函數的最小化與λ$\lambda$ 無關，而是取決於y^$\hat{y}$ 的計算，由公式（1）可以知道y^$\hat{y}$ 的計算僅僅取決於模型參數，也就是當模型參數固定時，有以下的求導關係。

λ∗:=argminλ∈Rc+∑(x,y)∈SVl(y^(x|Θ),y)$${\lambda }^{\ast }:=\underset{\lambda \in {\mathbb{R}}_{+}^c}{argmin}\sum _{(\mathbf{\text{x}},y)\in S_V}l(\hat{y}(\mathbf{\text{x}}|\mathrm{\Theta }),y)$$

∂∂λL(SV,Θt)=∂∂λ∑(x,y)∈SVl(y^(x|Θt),y)=0$$\frac{\mathrm{\partial }}{\mathrm{\partial }\lambda }L(S_V,{\mathrm{\Theta }}^t)=\frac{\mathrm{\partial }}{\mathrm{\partial }\lambda }\sum _{(\mathbf{\text{x}},y)\in S_V}l(\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^t),y)=0$$

也就是說無法通過（8）求出λ$\lambda$ ，原因在於，公式（8）中並未顯示的出現λ$\lambda$ 。

但是在（6）中，Θ$\mathrm{\Theta }$ 的更新公式中，顯示的出現了λ$\lambda$ 。於是可以換個思路，考慮優化問題：求出使Θ$\mathrm{\Theta }$

的下一次更新後在驗證集上損失函數最小的λ$\lambda$

λ∗:=argminλ∈Rc+∑(x,y)∈SVl(y^(x|Θt+1),y)$${\lambda }^{\ast }:=\underset{\lambda \in {\mathbb{R}}_{+}^c}{argmin}\sum _{(\mathbf{\text{x}},y)\in S_V}l(\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1}),y)$$

梯度計算

λt+1=λt+α∂∂λl(y^(x|Θt+1),y)$${\lambda }^{t+1}={\lambda }^t+\alpha \frac{\mathrm{\partial }}{\mathrm{\partial }\lambda }l(\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1}),y)$$

對於lLS$l^{LS}$ :

∂∂λ(y^(x|Θt+1)−y)2=2(y^(x|Θt+1)−y)∂∂λ(y^(x|Θt+1)$$\frac{\mathrm{\partial }}{\mathrm{\partial }\lambda }(\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1})-y{)}^2=2(\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1})-y)\frac{\mathrm{\partial }}{\mathrm{\partial }\lambda }(\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1})$$

對於lC$l^C$

∂∂λ−lnσ(y^(x|Θt+1)y)=σ(y^(x|Θt+1)y−1)y∂∂λ(y^(x|Θt+1)$$\frac{\mathrm{\partial }}{\mathrm{\partial }\lambda }-ln\sigma (\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1})y)=\sigma (\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1})y-1)y\frac{\mathrm{\partial }}{\mathrm{\partial }\lambda }(\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1})$$

正則化係數一共有k+2$k+2$ 個，

λ0(w0)${\lambda }_0(w_0)$ ，

λw(w1,w2,...,wp)${\lambda }_w(w_1,w_2,...,w_p)$ ，

λf(v∗f),f=1,2,...k${\lambda }_f({\mathbf{\text{v}}}_{\ast f}),f=1,2,...k$

∂∂λ0y^(x|Θt+1)=−2αwt0$$\frac{\mathrm{\partial }}{\mathrm{\partial }{\lambda }_0}\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1})=-2\alpha w_0^t$$

∂∂λwy^(x|Θt+1)=−2α∑i=1pwtixi$$\frac{\mathrm{\partial }}{\mathrm{\partial }{\lambda }_w}\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1})=-2\alpha \sum _{i=1}^p{w}_i^t{x}_i$$

∂∂λfy^(x|Θt+1)=−2α[∑i=1xivt+1i,f∑j=1xjvtj,f−∑j=1x2jvt+1j,fvtj,f]$$\frac{\mathrm{\partial }}{\mathrm{\partial }{\lambda }_f}\hat{y}(\mathbf{\text{x}}|{\mathrm{\Theta }}^{t+1})=-2\alpha [\sum _{i=1}{x}_i{v}_{i,f}^{t+1}\sum _{j=1}{x}_j{v}_{j,f}^t-\sum _{j=1}{x}_j^2{v}_{j,f}^{t+1}{v}_{j,f}^t]$$

算法描述

結論

由於正則化係數個數的增加，且其取值空間從有限變爲無限，引入了自適應調整正則項係數後的模型效果更好。並且由於省去了調參的過程，更省時間。