範數的數學意義

L0，L1，L2範數的數學意義

（如有不當，敬請斧正）

Tips：

範數所表示的一些數學意義：衆數，中位數，均值

• $\mathcal{A:}$ L0範數：求L0範數最小時，表示的是數據中的衆數modes（假設$0^0=0$的條件下）。其中$\mathcal{Y}:\{{y_1,y_2,...,y_k}\}$是數據集樣本，$\beta$是目標。現目前主流公認較多的均是$0^0=1$，但是此刻$0^0=0$假設會對下列數學表示非常簡便，並且能很好體現統一性。
  $L0=\|\mathcal{Y-\beta}\|_0=\frac{1}{k}\sum_{i=1}^{k}{(y_i - \beta)^0}$
  特別地，在機器學習中一般並沒有使用L0範數，因爲一般需要遍歷整個數據，開銷較大；還有一點就是L0範數能夠讓0變得多，所以一般用於稀疏。此刻很明顯地，當$y_i$和$\beta$不相等的時候，值總是爲1，只有當$\beta$是數據集$\mathcal{Y}$的衆數時候，才能保證L0範數的值最小。

• $\mathcal{B:}$ L1範數：即是絕對值距離；求L1範數最小時，表示的是數據中的中值（中位數medians）。其中$\mathcal{Y}$和$\beta$表示的意義不變。很好理解就是目標$\beta$要儘可能離數據集$\mathcal{Y}$更近，表示出L1範數形式如下：
  $L1=\|\mathcal{Y}-\beta\|_1=\frac{1}{k}\sum_{i=1}^{k}{|y_i - \beta|}$
  要找出使L1範數最小的$\beta$的值，那麼即對它求偏導：
  $\frac{\partial L1}{\partial \beta}=-\frac{1}{k}\sum_{i=1}^{k}{ sgn( y_i - \beta)}$
  其中$sgn(.)$是符號函數（值爲+1或者-1），當$\frac{\partial L1}{\partial \beta}$爲0的時候，即$\beta$應該是$\mathcal{Y}$數據集的中值（保證$y_i$大於$\beta$和小於$\beta$的部分是相同的，才能確保得到的符號函數正負1的值一樣來相互抵消，從而偏導爲0，得到絕對值距離最值）。

• $\mathcal{C:}$ L2範數：即是平方差（歐式）距離（一般都不用開根號，直接用平方的形式）；求L2範數最小的時候，表示的是數據中的均值means。其中$\mathcal{Y}$和$\beta$表示的意義不變。表示出L2範數形式如下：
  $L2=\|\mathcal{Y}-\beta\|_2^2=\frac{1}{k}\sum_{i=1}^{k}{(y_i - \beta)^2}$
  同樣求偏導，當$\frac{\partial L2}{\partial \beta}$爲0的時候，即$\beta$應該是均值。
  $\frac{\partial L2}{\partial \beta}=-\frac{2}{k}\sum_{i=1}^{k}{( y_i - \beta)}$
  $\frac{\partial L2}{\partial \beta}=0 \rightarrow \beta=\frac{1}{k}\sum_{i=1}^{k}{y_i}$

參考

http://www.johnmyleswhite.com/notebook/2013/03/22/modes-medians-and-means-an-unifying-perspective/