分享幾篇集成學習的文章,不一定是最優的文章,但一定是使我有所收穫的文章
- 集成學習是一個寬泛的概念,泛指通過組合幾個若的學習器,得到一個強的學習器。
- 集成學習是商用(商業應用考慮的因素更多,可控、穩定、性能好)和競賽上被常用並且效果極佳的方案。
- 集成學習通常分爲bagging和boosting兩種策略,通常boosting方法只能串行訓練,訓練速度比較慢,但是XGboost是一個性能優異的boosting集成學習方法,較好的克服了boosting的缺陷
集成學習
Bagging與Boosting的概念與區別
隨機森林算法RT
xgboost的原理沒你想像的那麼難
GBDT算法
Boosting學習筆記(Adboost、GBDT、Xgboost)
STACKing數據挖掘
關於ML的優質文章
對Tensorflow/Theano/CNTK的高級封裝庫keras
最優化常用方法,幾種常用最優化方法
對神經網絡的訓練過程就是一個求最優化問題,所以最優化方法是深度學習的核心,常見的梯度下降法,隨機梯度下降法SGD,小批量梯度下降法,動量法等,標題兩篇文章圖文並茂的解釋了這些方法的優缺點,適用範圍。
LSTM時間序列分類(Sequence classification with LSTM)
時間序列分類的情形如:阿里雲天池惡意軟件檢測比賽中的數據,是程序調用接口的日誌記錄,以此爲輸入數據對程序惡意類別進行多分類。和NLP中的文本主題分類是類似/情感識別的問題。這篇英文文章從原理到實踐講了LSTM序列多分類方法,英語不好的我也能讀懂。
RNN
CNN
ResNet 殘差網絡,讓CNN網絡更深
LSTM
Gated Recurrent Unit (GRU)