2020春秋招聘 人工智能方向 各大廠面試常見題整理二（附答案）（阿里騰訊華爲字節）

SVM的損失函數

hinge loss。$loss = max(0,1-\hat{y}*f(x))$

邏輯迴歸不能解決什麼問題

邏輯迴歸雖然用到了sigmoid函數，看起來是非線性的，但是其實還是一個線性分類器。所以解決問題的時候要求自變量和因變量之間存在線性關係。

LR損失函數是什麼，LR的梯度是如何表示的

• LR是logistic regression
• 損失函數是cross entropy
• $Loss=-\sum^{n}_{i=1}{((\hat{y}_i)*ln(\sigma(z_i))+(1-\hat{y}_i)*ln(1-\sigma(z_i)))}$
• 梯度就求個導數就行了，結果和Linear regression的均方差的梯度完全一樣！第一次算到這裏的時候才真正意識到，迴歸問題的均方差就是分類問題的交叉熵。
  

LR爲什麼用log損失而不是均方誤差損失（最小二乘）

算一下就知道原因了，梯度會在不該等於0的時候等於0

L1範數會產生什麼問題

L1範數是向量中各元素絕對值的和。傾向於讓特徵權重爲0，實現稀疏；

L2範數會產生什麼問題

L2範數是向量中各個元素的平方和的平方根。雖然也會減小特徵權重的值，但是並不會爲0，而是保持在一個比較小的數值。L2可以緩解特徵之間的多重共線性。

爲什麼不用L0

L0是非零參數的個數，不可導，會變成NP難題。可以使用L1來代替。