一隻小狐狸帶你解鎖煉丹術&NLP 祕籍

在非深度學習的機器學習模型中，基於GBDT算法的XGBoost、LightGBM等有着非常優秀的性能，校招算法崗面試中“出鏡率”非常高。這些經典的機器學習算法不僅是數據科學競賽神器，在工業界中也被廣泛地使用。Microstrong最近就負責使用GBDT、XGBoost等集成模型做推薦系統的點擊率預估（CTR），如果讓我當面試官面試自己，那我會由淺入深依次考察：

GBDT的原理（理論基礎）
決策樹節點分裂時如何選擇特徵，寫出Gini index和Information Gain的公式並舉例說明（理論基礎）
分類樹和迴歸樹的區別是什麼？（理論基礎）
與Random Forest作比較，並以此介紹什麼是模型的Bias和Variance（理論基礎）
GBDT裏面的決策樹都是利用迴歸樹解決分類和迴歸問題，請問GBDT中利用迴歸樹是怎麼做到分類的？目標（損失）函數是什麼形式？（理論基礎）
XGBoost的原理（理論基礎）
XGBoost的參數調優有哪些經驗（工程能力）
XGBoost的正則化是如何實現的（工程能力）
XGBoost的並行化部分是如何實現的（工程能力）
爲什麼GBDT預測點擊率一般都會出現嚴重的過擬合現象（業務理解）
如果選用一種其他的模型替代XGBoost，你會選用什麼？（業務理解和知識面）

我們通過上面的幾個問題，考察了面試者理論基礎、工程能力以及對業務的理解，檢測面試者是否真的對GBDT、XGBoost有比較深入的理解。如果大家對上面的問題還一知半解，貼心的Microstrong同學爲大家整理了自己從迴歸樹到GBDT、XGBoost再到LightGBM、CatBoost的原創算法解析文章：

當然，深度學習也是人工智能算法工程師必備的基礎技能。入行算法工程師後，怎樣提升我們的掘金能力呢？最核心的還是：技術硬，懂產品。

在目前鑽研的領域持續加碼，保持深耕，不斷學習和挖掘自身潛力。我們在科學煉丹的時候，都會用到Dropout或Batch Normalization（BN）等基本的深度神經網絡優化方法。但是，深度學習技術並非一成不變，努力提升技術水平要成爲一種習慣。最高水準當然是追逐最先進的技術，比如，ELMo、Transformer、BERT和XLNet等明星模型。

如果讓我當面試官去判斷一個面試者的深度學習水平，那我會由淺入深依次考察：

Dropout部分

講Dropout的基本原理；（理論基礎）
Dropout訓練過程和預測過程分別如何保證一致性；（工程能力）
Dropout本質上的Bagging的思想；（理論基礎）
Bagging思想和Boosting思想分別怎麼解決模型的偏差和方差問題；（理論基礎）
偏差和方差在模型的評估表現代表了什麼；（理論基礎）

BN部分

什麼是BN？
BN核心公式是什麼？
BN中均值、方差通過哪些維度計算得到？
訓練與推理時BN中的均值、方差分別是什麼？
Batch Normalization的優點？
BN與Layer Normalization、Weight Normalization、Cosine Normalization、Instance Normalization、Group Normalization、Cross-Iteration Batch Normalization、Filter Response Normalization區別？

當然，ELMo、Transformer、BERT和XLNet等較新的模型也會問一下，考察面試者是否有Follow深度學習中最新的研究工作。同樣地，貼心的Microstrong同學爲大家整理了自己關於上面問題的學習筆記：

總之，一篇文章總結不完關於機器學習、深度學習、自然語言處理和推薦系統相關的所有面試題，Microstrong號主花了點時間分類整理了一下自己公衆號裏的精華文章，歡迎大家關注和閱讀：

【面試必備】奉上最通俗易懂的XGBoost、LightGBM、BERT、XLNet原理解析

Dropout部分

BN部分

歷史精品文章

機器學習

深度學習

成長之路

Python學習