1、梯度下降的優缺點；主要問最優化方面的知識，梯度下降法的原理以及各個變種（批量梯度下降，隨機梯度下降法， mini 梯度下降法），以及這幾個方法會不會有局部最優問題，牛頓法原理和適用場景，有什麼缺點，如何改進（擬牛頓法）
2、常用優化算法：1.梯度下降法：又有隨機梯度下降和負梯度下降，2.牛頓法 主要是問了各自的優缺點，速度，能不能得到全局最優解，牛頓法的二次收斂等
3、問你如果有若干個極小值點，如何避免陷入局部最優解。
1、以多組不同參數值初始化多個神經網絡，按標準方法訓練後，取其中誤差最小的解作爲最終參數，這相當於從多個不同的初始化點開始搜索，從而可能尋找全局最優。
2、使用模擬退火技術，模擬退火在每一步都以一定的概率接受比當前解更差的結果，從而有助於“跳出”局部極小。在每步迭代過程中，接受“次優解”的概率隨着時間的推移而逐漸降低，從而保證算法的穩定。
3、使用隨機梯度下降，與標準的梯度下降法精確計算梯度不同，隨機梯度下降法在計算梯度時加入了隨機的因素。於是，即便陷入局部極小點，它計算出的梯度時加入了隨機因素，於是，即便陷入局部極小點，它計算出的梯度可能不爲0，這樣就有機會跳出局部極小繼續搜索。
4、它們間的牛頓學習法、SGD如何訓練，
5、如何判斷函數凸或非凸？
6、線性迴歸的梯度下降和牛頓法求解公式的推導
7、最速下降法和共軛梯度法 wolfe條件 最速下降法和共軛梯度法的收斂速度如何判斷
8、深刻理解常用的優化方法：梯度下降、牛頓法、各種隨機搜索算法（基因、蟻羣等等），深刻理解的意思是你要知道梯度下降是用平面來逼近局部，牛頓法是用曲面逼近局部等等。