在進行特徵選擇時，一般有三種方式： 1.正則化L1/L2 2.降維(PCA/LDA)
優化模型的兩種策略： 1.1 基於殘差的方法 殘差其實就是真實值和預測值之間的差值，在學習的過程中，首先學習一顆迴歸樹，然後將“真實值-預測值”得到殘差，再把殘差作爲一個學習目標，學習下一棵迴歸樹，依次類推，直到殘差小於某個
GBDT：GBDT有基於殘差和基於梯度兩個版本 殘差： 梯度：
