機器學習筆記-Blending and Bagging

集成學習系列：

• Blending and Bagging
• Adaptive Boosting
• Decision Tree
• Random Forest
• Gradient Boosted Decision Tree

Blending and Bagging

1 - 爲什麼要用aggregation

如果我們已經有了一些模型hypothesis$hypothesis$ ，或者已經有了一些feature$feature$ ，這些hypothesis$hypothesis$ 可以幫助我們做預測，我們怎麼樣將這些已有的hypothesis$hypothesis$ 或者是有有預測性的feature$feature$ 結合起來，讓它們在一起的時候可以work的更好。這樣的模型我們稱之爲aggregation model$aggregationmodel$，也就是融合起來的模型。本篇介紹在aggregation$aggregation$ 中非常典型的兩個做法，blending$blending$ 和 bagging$bagging$ 。

那麼爲什麼要用aggregation$aggregation$ 呢？

1.1 - 一個關於aggregation的故事

假如你有15個朋友，這15個朋友都告訴你明天股市的漲跌預測，那麼你在聽取了這15個朋友的預測之後，如何決定呢？

• select from usual performance$selectfromusualperformance$
  從他們的平常的表現中選擇最厲害的那個人，聽取他的意見作爲最後的決策依據，這也就是我們以前學過的validation$validation$ 的方法，
• mix uniformly$mixuniformly$
  但是如果只聽一個人的，白白浪費了其餘人的判斷力，浪費了資源。所以另一種方式是以每人一票的方式，讓這15個朋友進行投票，綜合他們的判斷做出最後的結果，
• mix non$mixnon$ -uniformly$uniformly$
  但是考慮到可能每一個人的能力確實不盡相同，所以可以選擇另外一種投票的方式：可以信賴的人給多一點的票數，不是那麼可以信賴的人的票數可以少一點。
• combine conditionally$combineconditionally$
  又或者是可以根據具體的情況來進行選擇， 例如這些朋友中有些人擅長分析科技類的股票，有些人擅長傳統產業的股票，那麼在不同的情況下，就選擇聽取不同的人的意見。
• ⋯$\cdots$

我們想要將這15個人的意見融合起來的事情， 就是aggregation$aggregation$ 想要做的事情，將每個人的預測結果融合起來以達到最好的結果。

我們將上述的這個問題用數學的形式表示出來：每一個朋友就代表每一個hypothesis$hypothesis$ ：g1,g2,⋯,gT$g_1,g_2,\cdots ,g_T$ ，也就是說這樣就一共有15個預測模型。

• select from usual performance$selectfromusualperformance$
  
  G(x)=gt∗ with t∗=argmint∈1,2,⋯,T Eval(g−t)$$G(x)=g_{t_{\ast }}with{t}_{\ast }=argmi{n}_{t\in 1,2,\cdots ,T}{E}_{val}(g_t^{-})$$
• mix uniformly$mixuniformly$
  
  G(x)=sign(∑t=1T1⋅gt(x))$$G(x)=sign(\sum _{t=1}^{T}1\cdot g_t(x))$$
• mix non$mixnon$ -uniformly$uniformly$
  
  G(x)=sign(∑t=1T αt⋅gt(x)) with αt≥0$$G(x)=sign(\sum _{t=1}^T{\alpha }_t\cdot g_t(x))with{\alpha }_t\ge 0$$
  
  通過參數α$\alpha$ 給每一個gt$g_t$ 不同的權重。這種情況是包括前兩種情況的：
  
  • 當αt=|[Eval(gt) smallest]|${\alpha }_t=|[E_{val}(g_t)smallest]|$ 的時候，是第一種情況。（其中1=|[◯]|,if ◯$1=|[◯]|,if◯$ 成立；0=|[◯]|,if ◯$0=|[◯]|,if◯$ 不成立）
  • 當αt=1${\alpha }_t=1$ 的時候，是第二種情況。
• combine conditionally$combineconditionally$
  
  G(x)=sign(∑t=1Tqt(x)⋅gt(x)) with qt(x)≥0$$G(x)=sign(\sum _{t=1}^T{q}_t(x)\cdot g_t(x))with{q}_t(x)\ge 0$$
  
  權重的參數不再是α$\alpha$ ，而是變成了和輸入特徵x$x$ 相關的函數qt(x)$q_t(x)$ 。
  
  • 當qt(x)=αt$q_t(x)={\alpha }_t$ 的時候，就是以上的第三種情形。

1.2 - Selection by Validation

G(x)=gt∗ with t∗=argmint∈1,2,⋯,T Eval(g−t)$$G(x)=g_{t_{\ast }}with{t}_{\ast }=\underset{t\in 1,2,\cdots ,T}{argmin}{E}_{val}(g_t^{-})$$

考慮上述提出的最簡單的第一種情形，利用Validation$Validation$ 來選擇最好的gt$g_t$ 。這個方法的優點是簡單。但是該方法中有一個重要的假設，如果最終想要得到一個比較好的gt∗$g_{t_{\ast }}$ ，那麼首先在得到的一堆g−t$g_t^{-}$ 中至少要有一個不錯的， 或者說是strong$strong$ 的。如果你的所有的朋友都對股市其實只是一知半解，那麼你最終得到的最好的那一個人的意見也不見得會好到那裏去。
而這裏我們重點要談論的aggregation$aggregation$ 不是這樣的。aggregation$aggregation$ 擅長做的事情是，在沒有一個很強的hypothesis$hypothesis$ 的時候，或者說有一堆比較弱弱的但是還勉強的hypothesis$hypothesis$ 的時候，把他們融合起來，通過集體的智慧，可以使得他們變的很強。這篇會講解具體的不同的aggregation$aggregation$ 的做法。

1.3 - 爲什麼Aggregation可以work的很好呢

爲什麼aggregation$aggregation$ 可以很好的work$work$ 呢，討論如下的一個二分類的問題，假設我們只可以使用垂直的線和水平的線對上述的data$data$ 進行分類(這樣的話模型的複雜度很低)，那麼只用一條分割線無論如何都是不能完全劃分的。但是如果可以將不同的垂直的線和水平的線結合起來對數據進行劃分呢(這裏垂直的線和水平的線就是不同的hypothesis$hypothesis$ )，可能就可以得到比較好的結果。如下是結合了三條線對數據進行了劃分。

從以上的結果可以看出來，如果只有一些弱弱的hypothsis$hypothsis$ ，即那些只能是垂直或者是水平的線，但是如果將他們通過一定的方式合併起來的話，可能就會得到比較好的結果， 這裏例子中就是得到了一個比較複雜的分類邊界。這可能說明aggregation$aggregation$ 拓展了model$model$ 的複雜度，這樣看來aggregation$aggregation$ 的作用就好像是feature transform$featuretransform$ 一樣。

另一個對aggregation$aggregation$ 可以work$work$ 的不錯的解釋是，當使用PLA$PLA$ 算法對如下的data$data$ 進行劃分的時候，會得到不同的分割線，其中的每一個都能將數據完美的分開，但是我們知道如果通過SVM$SVM$ 的話，可以得到有large$large$ -margin$margin$ 的分隔超平面。而使用PLA$PLA$ 得到的可能就是圖中灰色的任意一條，但是通過aggregation$aggregation$ ，或者說所有的這些灰色的線投票之後，就會得到一條比較largin margin$larginmargin$ 的線，在這種情況下aggregation$aggregation$ 就會有large margin$largemargin$ 的類似於regularization$regularization$ 的效果。

以前我們的認識是，feature transform$featuretransform$ 和regularization$regularization$ 是在做相反的事情，前者就像在踩油門，後者像是在踩剎車。而在做aggregation$aggregation$ 的時候，好像同時在做這兩件事情：可能是feature transform$featuretransform$ ，使得model$model$ 更加的powerful$powerful$ ；也可能是regularization$regularization$ ，在幫助模型做一個比較適中的選擇。 所以如果可以把aggregation$aggregation$ 做好的話，可能就同時將feature transform$featuretransform$ 和regularization$regularization$ 做好了。

2 - Uniform Blending

上面比較直觀的講解了aggregation$aggregation$ 的好處，接下來我們開始講解應該怎麼樣來做aggregation$aggregation$ ，即怎麼樣把這些hypothesis$hypothesis$ 融合起來。
我們可以使用blending$blending$ 的方法來做aggregation$aggregation$ ，blending$blending$ 這種方法主要用在我們已經收集到了一堆hypothesis$hypothesis$ ，即已經有了一些已知的模型，需要對它們進行融合的情形。

如果對所有的hypothesis$hypothesis$ 一視同仁，即給每一個g(x)$g(x)$ 相同的權重來進行組合的話，這種方式成爲uniform blending。$uniformblending。$

2.1 - Uniform Blending用於分類

對於二元分類binary classification$binaryclassification$ 來說，uniform blending$uniformblending$ 給每一個hypothesis$hypothesis$ 相同的權重（所以叫uniform$uniform$ ）來進行融合。根據融合的結果給出最終的判斷，如下：

G(x)=sign(∑t=1T 1⋅gt(x))$$G(x)=sign(\sum _{t=1}^{T}1\cdot g_t(x))$$

• 如果所有已知的g(x)$g(x)$ 是相同的，那麼aggregation$aggregation$ 是沒有效果的
• 如果所有已知的g(x)$g(x)$ 差距很大，多數的意見會糾正少數的意見。例如在以下的問題中，共有三個g(x)$g(x)$ ：兩個垂直線，一個水平線。對於數據點1和2來說，有兩條線說它們是 ∘$\circ$ （左邊的垂直線和水平線），一條線（右邊的的垂直線）說它們是 ×$\times$ ，所以它們被劃分爲 ∘$\circ$ 。對於其他的數據點來說也是使用這樣的規則來進行劃分的。
  
• 如果是多分類問題：那麼我們就需要統計數據點在每一個類別上的“得票數”，將得票數最多的爲該數據點的類別。
  G(x)=argmax1≤k≤K∑t=1T|[gt(x)=k]|$$G(x)=\underset{1\le k\le K}{argmax}\sum _{t=1}^T|[g_t(x)=k]|$$

2.2 - Uniform Blending用於迴歸

uniform blending$uniformblending$ 將所有迴歸的值取平均：

G(x)=1T∑t=1Tgt(x)$$G(x)=\frac{1}{T}\sum _{t=1}^T{g}_t(x)$$

• 如果所有已知的g(x)$g(x)$ 是相同的，那麼aggregation$aggregation$ 是沒有效果的
• 如果所有已知的g(x)$g(x)$ 差距很大，那麼對於一個數據點來說，有些g(x)$g(x)$ 可能低估了， 有些g(x)$g(x)$ 可能高估了，這樣的話，它們的平均值就可能會估計的更準確一下。

小結： 如果aggregation$aggregation$ 這樣的方法想要work$work$ 的很好的話，有一個很重要的前提是g(x)$g(x)$ 要有一定的多樣性diverse$diverse$ 。當g(x)$g(x)$ 有一定的多樣性的時候，即使只是做很簡單的融合的操作，例如說uniform blending$uniformblending$ ，也會有很好的結果。

2.3 - Uniform Blending的理論分析

針對uniform blending$uniformblending$ 用於regression$regression$ ，我們可以做簡單的理論分析來解釋爲什麼通過這樣的aggregation$aggregation$ 的方式可以得到比單個的hypothesis$hypothesis$ 更好的結果。
uniform blending$uniformblending$ 用於regression$regression$ 的一般方式是：

G(x)=1T∑t=1Tgt(x)$$G(x)=\frac{1}{T}\sum _{t=1}^T{g}_t(x)$$

如果只是針對特定的x$x$ ，那麼上式可以寫作：

G=1T∑t=1Tgt$$G=\frac{1}{T}\sum _{t=1}^T{g}_t$$

接下來我們想要分析的問題是：1T∑((gt−f)2)=avg(gt−f)2$\frac{1}{T}\sum ((g_t-f{)}^2)=avg(g_t-f{)}^2$ 和 (G−f)2$(G-f{)}^2$ 的大小關係，前者表示的是所有g$g$ 在x$x$ 上的平均錯誤，也可以理解爲任選一個g$g$ 在x$x$ 上的平均錯誤；後者是經過aggregation$aggregation$ 得到的G$G$ 在x$x$ 上的平均錯誤。
即比較g$g$ 的平均錯誤（因爲取到哪個都是不一定的）和G$G$ 的錯誤的大小關係。

avg ((gt−f)2)=avg(g2t−2gtf+f2)=avg(g2t)−2Gf+f2=avg(g2t)−G2+(G−f)2=avg(g2t)−2G2+G2+(G−f)2=avg(g2t−2gtG+G2)+(G−f)2=avg((gt−G)2)+(G−f)2(7)(8)(9)(10)(11)(12)$$\begin{array}{}\text{(7)}& avg((g_t-f{)}^2)& =avg(g_t^2-2g_{t}f+f^2)\text{(8)}& & =avg(g_t^2)-2Gf+f^2\text{(9)}& & =avg(g_t^2)-G^2+(G-f{)}^2\text{(10)}& & =avg(g_t^2)-2G^2+G^2+(G-f{)}^2\text{(11)}& & =avg(g_t^2-2g_{t}G+G^2)+(G-f{)}^2\text{(12)}& & =avg((g_t-G{)}^2)+(G-f{)}^2\end{array}$$

當對所有的x$x$ 進行計算的時候，可以得到如下的等式：

avg(Eout(gt))=avg(ε(gt−G)2)+Eout(G)$$avg(E_{out}(g_t))=avg(\epsilon (g_t-G{)}^2)+E_{out}(G)$$

所以可以得到的是：

avg(Eout(gt))≥Eout(G)$$avg(E_{out}(g_t))\ge E_{out}(G)$$

也就是說在使用uniform blending$uniformblending$ 這樣的aggregation$aggregation$ 做regression$regression$ 的時候，得到的結果G$G$ 確實要比所有g$g$ 的平均表現好。儘管不知道是不是比最好的那個g$g$ 表現好。

2.4 - variance，bias

偏差bias$bias$ 度量了學習算法的期望預測和真實結果之間的偏離程度，即刻畫了學習算法本身的擬合能力；
方差variance$variance$ 度量了同樣大小的訓練集的變動所導致的學習性能的變化，刻畫了數據的擾動所造成的影響。

假設在每一輪的學習中，由N筆資料訓練得到gt$g_t$ ，共進行T輪的學習，每一輪使用來自同一分佈的不同的資料。假設T可以取到無窮多，則得到：

g¯=limT→∞G=limT→∞1T∑t=1Tgt=εD A(D)$$\overline{g}=\underset{T\to \mathrm{\infty }}{lim}G=\underset{T\to \mathrm{\infty }}{lim}\frac{1}{T}\sum _{t=1}^T{g}_t=\underset{D}{\epsilon }\mathcal{A}(D)$$

avg(Eout(gt))=avg(ε(gt−g¯)2)+Eout(g¯)$$avg(E_{out}(g_t))=avg(\epsilon (g_t-\overline{g}{)}^2)+E_{out}(\overline{g})$$

avg(Eout(gt))$avg(E_{out}(g_t))$ 代表的是學習算法A$\mathcal{A}$ 表現的期望；Eout$E_{out}$ 稱爲bias$bias$ ，也就是學習算法的期望預測和真實結果之間的偏離程度；avg(ε(gt−g¯)2)$avg(\epsilon (g_t-\overline{g}{)}^2)$ 稱爲方差variance$variance$ ，不知道爲什麼要寫一個ε$\epsilon$ ，西瓜書上是沒有的。
所以一個學習算法的表現可以拆分爲兩項，這個學習算法產生的共識和每一個gt$g_t$ 和這個共識的差異。

這塊和西瓜書上寫的有點不符合：日後補充
E(f,D)=bias2(x)+var(x)+ε2$E(f,D)=bia{s}^2(x)+var(x)+{\epsilon }^2$ (西瓜書)

所以通過這樣的aggregation$aggregation$ 的方式，可以看到降低了variance$variance$ ，使得最終的學習算法的表現變好。

3 - Linear and Any Blending

linear blending$linearblending$ 是要給每一個gt$g_t$ 不同的權重（票數）αt${\alpha }_t$ ，模型如下所示：

G(x)=sign(∑t=1Tαt⋅gt(x)) with αt≥0$$G(x)=sign(\sum _{t=1}^T{\alpha }_t\cdot g_t(x))with{\alpha }_t\ge 0$$

那麼現在的問題就是要求解這些參數αt${\alpha }_t$ ，求解的方法就是最小化Ein$E_{in}$ 。
如果我們現在要做的是Regression$Regression$問題的話，我們求解α$\alpha$ 的策略當然就是最小化square error$squareerror$ 。

Linear blending for regression

minαt≥0Ein(α)=minαt≥01N∑n=1N(yn−∑t=1Tαtgt(xn))2$$\underset{{\alpha }_t\ge 0}{min}{E}_{in}(\alpha )=\underset{{\alpha }_t\ge 0}{min}\frac{1}{N}\sum _{n=1}^N(y_n-\sum _{t=1}^T{\alpha }_t{g}_t(x_n){)}^2$$

如果將(g1,g2,⋯,gT)$(g_1,g_2,\cdots ,g_T)$ 看做是xn$x_n$ 的特徵轉化 Φ$\mathrm{\Phi }$ ，那麼以上的問題就可以變爲我們熟悉的帶有特徵轉換的線性模型，如下（1）所示，只不過是多了一個條件。並且這個過程和probability SVM$probabilitySVM$ 中的two level learning$twolevellearning$ 的方法很相像：第一步將SVM$SVM$ 用作一個特徵的轉換，然後使用logReg$logReg$ 做微調。

linear regression + transformation

minwi≥01N∑n=1N(yn−∑i=1d~wiϕi(xn))(1)$$\begin{array}{}\text{(1)}& \underset{w_i\ge 0}{min}\frac{1}{N}\sum _{n=1}^N(y_n-\sum _{i=1}^{\tilde{d}}{w}_i{\varphi }_i(x_n))\end{array}$$

所以我們可以說：linear blending$linearblending$ 就等於一個將許多的hypothesis$hypothesis$ 當成一個特徵轉化的線性模型，外加一個限制條件。即：
linear blending=linar model+hypothesis as transform+constraints。$linearblending=linarmodel+hypothesisastransform+constraints。$

minαi≥01N∑n=1Nerr(yn，∑t=1Tαtgt(xn))$$\underset{{\alpha }_i\ge 0}{min}\frac{1}{N}\sum _{n=1}^{N}err(y_n，\sum _{t=1}^T{\alpha }_t{g}_t(x_n))$$

這個問題的求解不同於以往的僅僅是多了個constraints$constraints$ 。對於binary classification$binaryclassification$ 問題來說，如果在求解之後發現αt<0${\alpha }_t<0$ ，那麼說明學習算法覺得這個αt${\alpha }_t$ 對應的gt$g_t$ 反過來用能更好的fitting$fitting$ 數據。所以在實際操作中通常都不考慮αt>0${\alpha }_t>0$ 這個條件限制。

所以linear blending$linearblending$ 的解法就是加了feature transform$featuretransform$ 的linear model$linearmodel$ 的解法，其中的linear model$linearmodel$ 可以是線性迴歸，或者是邏輯斯蒂迴歸。

現在我們來關注一下一個基本的問題：那些gt$g_t$ 是怎麼產生的？通常這些gt$g_t$ 是在各自不同的model$model$ 下最小化Ein$E_{in}$ 得到的。
所以如果在做selection$selection$ （見本篇第一節，aggregation$aggregation$ 的第一種方式）的時候，如果是根據Ein$E_{in}$ 來做選擇的話，模型的複雜度就會更大（是不是可以理解爲越複雜的模型越容易被選到，因爲它可以擬合的很好，做到Ein$E_{in}$ 很小），所以我們通常會用Evalidation$E_{validation}$ 來做選擇。
同樣的，如果我們使用Ein$E_{in}$ 作爲最小化的目標來做linear aggregation$linearaggregation$ ，會導致更大的模型的複雜度，更加容易導致過擬合。也就是說，在實際應用中通常不使用Ein$E_{in}$ 來學習α$\alpha$ ，因爲這樣很容易overfitting$overfitting$ ，而是在Dval$D_{val}$ 上訓練 α$\alpha$ 使得Eval$E_{val}$ 最小。並且在Dtrain$D_{train}$ 上得到一些g−$g^{-}$ ，

3.1 - Linear Blending

Linear Blending$LinearBlending$

1. 將數據分爲train data$traindata$ 和validation data$validationdata$
2. 從Dtrain$D_{train}$得到g−1,g−2,⋯,g−T$g_1^{-},g_2^{-},\cdots ,g_T^{-}$
3. 將Dval$D_{val}$中的數據(xn,yn)$(x_n,y_n)$ 利用g−1,g−2,⋯,g−T$g_1^{-},g_2^{-},\cdots ,g_T^{-}$ 這些“特徵轉換”變換爲(zn=Φ−(xn),yn)$(z_n={\mathrm{\Phi }}^{-}(x_n),y_n)$ ，其中Φ−(x)=(g−1(x),⋯,g−T(x))${\mathrm{\Phi }}^{-}(x)=(g_1^{-}(x),\cdots ,g_T^{-}(x))$
4. 利用線性模型求解資料{(zn,yn)}$\{(z_n,y_n)\}$ 上的α$\alpha$ ，α=Lin({(zn,yn)})$\alpha =Lin(\{(z_n,y_n)\})$
5. 返回最後的結果GLinB(x)=Lin(innerprob(α,Φ(x)))$G_{LinB}(x)=Lin(innerprob(\alpha ,\mathrm{\Phi }(x)))$ ，

需要注意的是，Φ(x)=(g1(x),⋯,gT(x))$\mathrm{\Phi }(x)=(g_1(x),\cdots ,g_T(x))$

3.2 - Any Blending

在第4步中，我們也可以考慮不使用線性模型，而是使用非線性的模型(nonlinear SVM)$(nonlinearSVM)$ ，這樣的方式稱爲Any Blending或者Stacking。

Any Blending$AnyBlending$

1. 將數據分爲train data$traindata$ 和validation data$validationdata$
2. 從Dtrain$D_{train}$ 得到g−1,g−2,⋯,g−T$g_1^{-},g_2^{-},\cdots ,g_T^{-}$
3. 將Dval$D_{val}$ 中的數據(xn,yn)$(x_n,y_n)$ 利用g−1,g−2,⋯,g−T$g_1^{-},g_2^{-},\cdots ,g_T^{-}$ 這些“特徵轉換”變換爲(zn=Φ−(xn),yn)$(z_n={\mathrm{\Phi }}^{-}(x_n),y_n)$ ，其中Φ−(x)=(g−1(x),⋯,g−T(x))${\mathrm{\Phi }}^{-}(x)=(g_1^{-}(x),\cdots ,g_T^{-}(x))$
4. g=Any({(zn,yn)})$g=Any(\{(z_n,y_n)\})$
5. 返回GanyB=g(Φ(x))$G_{anyB}=g(\mathrm{\Phi }(x))$

這樣模型會更加的powerful$powerful$ ，但是同時也更加容易overfitting$overfitting$ 。所以any blending$anyblending$ 要非常的小心， 要加regularization$regularization$ 等等。

4 - Bagging (Bootstrap Aggregation)

如果已經通過某些方法得到了很多的g$g$ ，我們可以通過blending$blending$ 的方式將它們融合起來，使得最後的分類器表現的很好。如果每一個g$g$ 的權重（票數）是相同的， 那麼可以得到uniform blending$uniformblending$ 的aggregation$aggregation$ 方式；如果權重不是相同的， 那麼就得到了linear blending$linearblending$ ；如果想要得到更爲複雜的模型，在考慮在不同的模型下使用不同的權重的話，可以使用stacking$stacking$ 來做。

這裏有有一個很關鍵和很基礎的問題是，這些g$g$ 是怎麼來的呢，我們是不是可以一邊學習g$g$ ，一邊對它們進行融合。這是我們接下來要談論的問題。因爲aggregation$aggregation$ 在g$g$ 非常的diverse$diverse$ 的時候會做的很好，所以我們就考慮怎麼樣可以得到不一樣的g$g$ 呢？

• 不同的模型可能會得到不同的g$g$
• 對於用一個模型，不同的參數可能會得到不同的模型：例如對於GD$GD$ 算法來說，當η=0.001,0.01,0.1⋯10$\eta =0.001,0.01,0.1\cdots 10$ 的時候會得到不同的模型。
• 不同的初始值可能會得到不同的模型，例如PLA$PLA$ 算法
• 資料的不同可以得到不同的模型，例如當在做cross validation$crossvalidation$ 的時候，不用的幾份數據可能會得到不同的g$g$ 。

接下來我們使用的方式是使用同一份資料來製作不用的g$g$ （不同於cross validation$crossvalidation$ 只能得到不同的g−$g^{-}$ ），利用的工具稱爲bootstrapping$bootstrapping$ ，它的作用是從手上已有的資料來模擬一些不一樣的資料。

4.1 - Bootstrapping Aggregation

bootstrapping：從原有的N$N$ 筆資料中做N$N$ 次有放回的採樣（sampling with replacement$samplingwithreplacement$ ）。既然是有放回的，那麼就可能存在原資料中的某一筆被採樣到了多次，或者一次都沒有被採樣到的情形。通過bootstrapping$bootstrapping$ 這樣的方式得到的資料記爲D~t${\tilde{D}}_t$ 。

bagging（bootstrap aggregation）$bagging（bootstrapaggregation）$

1. 通過bootstrapping$bootstrapping$ 的方式抽取大小爲N′$N^{\prime }$ 的資料D~t${\tilde{D}}_t$
2. 從資料D~t${\tilde{D}}_t$ 利用算法A$\mathcal{A}$ 中得到不同的gt$g_t$
3. 對gt$g_t$ 做融合 G(x)=Uniform({gt})$G(x)=Uniform(\{g_t\})$

這樣的方法我們稱爲bootstrap aggregation$bootstrapaggregation$ ， 一般我們稱之爲BAGging$BAGging$ 。我們把底層的算法A$\mathcal{A}$ 稱爲base algorithm$basealgorithm$ ，建築在其上的演算法稱爲meta algorithm$metaalgorithm$ 。

Bagging$Bagging$ 通過利用bootstrap$bootstrap$ 這樣的機制生出一系列的g$g$ ， 然後使用uniform$uniform$ 的方式進行aggregation$aggregation$ 。

4.2 - Bagging Pocket的表現

由於pocket$pocket$ 算法對於不同的資料表現會有很不同，如下圖中的灰色的線是使用pocket$pocket$ 算法在利用boostrap$boostrap$ 機制得到的25組不同的資料上得到的25條不同的線。通過將這些線進行融合得到了一個非線性的邊界，如圖中黑色的線所示。

如果算法base algorithm$basealgorithm$ A$\mathcal{A}$ 對於數據的隨機性越敏感，那麼就會得到越多樣性的g$g$ ，這樣通過aggregation$aggregation$ 的方式融合起來就會得到更好表現。

5 - 總結

這篇主要是aggregation$aggregation$ 的基礎概念和方法的介紹。提到了blending$blending$ 和bagging$bagging$ ，它們都屬於aggregation$aggregation$ 的方法。aggregation$aggregation$ 就是要把一堆的g$g$ 通過一定的方式進行融合變成一個G$G$ ， 這個G$G$ 可能更復雜，或者可能更“中庸”,這樣就可能達到了feature transform$featuretransform$ 或者是regularization$regularization$ 的效果。 其中有一些基本的方式，例如uniform blending$uniformblending$ ；或者稍微複雜的linear blending$linearblending$ 和any blending（stacking）$anyblending（stacking）$ ，這些可以通過two level learning$twolevellearning$ 的求解其中的權重。 最後我們介紹了怎麼通過bootstrapping$bootstrapping$ 的機制得到不同的g$g$ 來對它們進行融合。