[林軒田]12-非線性變換

二次方程的hypothesis

對於非線性的數據分類，如果我們使用線性模型，就會使得Ein很大，分得不好。

對稱中心在原點的二次方程

現在我們考慮如何用二次方程（圓的方式）來進行separate: 我們可以使用半徑平方爲0.6的圓可以將它分開 。

這裏我們進行非線性的變換，實現座標系的變換。從x空間變到z空間。在x系裏面圓圈可分的情況在z系裏面變得線性可分了。在x系裏面可以用圓分開則在z系裏面一定可以線性可分。

但是在z空間裏面可以用直線分開的情形，在x空間裏面就可能是圓、橢圓、雙曲線等情況，所以說在z空間裏面的直線在x空間裏面對應的是特殊二次曲線(圓心在座標原點)，三個參數。

一般情形的二次式

把所有的二次項、所有的一次項和常數項都要包含進來，這樣在Z空間裏面的直線對應x空間的二次hypothesis
這個權值W需要6個參數

所以我們如果能夠在z空間裏面找到好的線性分割，就能在x空間裏找到好的二次曲線分割。

非線性變換

空間變換

1. 首先把原始在x空間的數據變換到z空間的數據。
2. 在z空間中得到好的線性感知機。
3. 在z空間對得到的模型g進行反變換得到x空間應該有的二次曲線模型。

而實際上第三步並不是取逆變換，而是考察一個點在x空間的分類的時候，把這個點先轉換到z空間，然後看它是哪個分類，我們就知道它在x空間裏面應該是哪個分類了。

非線性變換的代價

之前從原始特徵用領域知識變換到具體特徵就是這樣。

z空間的維度

從d維度特徵的二次x空間轉化爲一次z空間是多少個維度。

z空間的計算和存儲代價

d維Q次特徵空間轉化到1次空間時的特徵維度是

CdQ+d

證明：d維Q次特徵空間轉化到1次空間時的特徵維度是

CdQ+d

可以把問題轉化爲求d個變量組成的Q次多線程裏面，各種子項總共有多少個。轉化爲相同的問題就是：
把k個相同的物體分給d個人，不一定每個人都分到，也不一定分完，問有多少種分法？
那麼這個問題是比較複雜的，我們高中的時候學的問題是下面這個類型的：

問題1. 把k個相同物體分給d個人，每人最少1個，要求分完，那麼有幾種分法？
設第i個人分得

xi

個物體，則

0<xi<k

用我們熟悉的插板法，在k-1個間隙裏面插入d-1個板（分成d份），分法有

C(d−1)(k−1)

問題2. 把k個相同的物體分給d個人，不一定每個人都分到，但物體必須分完，問有多少種分法？
設第i個人分得

xi

個物體，則

0⩽xi⩽k

，我們可以把它轉化一下

x1+x2+...+xd=k⇌(x1+1)+(x2+1)+(x3+1)+...+(xd+1)=k+d

0⩽xi⩽k⇌1⩽xi+1⩽k+1

可以認爲把k+d個物體分給d個人，使用插板法 結果爲

Cd−1k+d−1

到這裏我們就可以把我們的問題轉化爲這裏面相同的問題了，不分完可以理解爲還有一個潛在的第k+1個人，把最後剩下的物體分給它。所以這個問題就轉化爲 把k個物體分給d+1個人，不一定每個人都分到，但物體必須分完。也轉化爲把k+d+1個物體分給d+1個人，每人必須分到，物體必須分完，所以結果爲

Cdk+d

應該選擇怎樣的模型。

模型越複雜

Ein

越小,如果你選擇的模型的維度比較高，會使得

Ein

會使得

Eout/Ein

差別會很遠