機器學習&深度學習的一些知識點

優化函數
SGD是隨機梯度下降，每一次迭代計算數據集的mini-batch的梯度，然後對參數進行更新
momentum參考了物理中動量的概念，前幾次梯度也會參與到當前的計算中去，但是前幾輪的梯度疊加會在當前一輪有一定的衰減
adagard在訓練的過程中可以自動的變更學習的速率，設置一個全局的學習率，而實際的學習率與以往的參數模和的開方成反比
adam利用梯度的一階矩和二階距動態調整每個參數的學習率，在經過偏置的矯正後，每一次迭代後的學習率都有過固定的範圍，使得參數較爲平穩。
L1不可導的時候應該怎麼辦
損失函數不可導，那麼梯度下降就不在有效，可以使用座標軸下降法，梯度下降是沿着當前點的負梯度方向進行參數更新，座標抽下降法是沿着座標軸的方向。假設有m個特徵個數。梯度下降進行參數更新的時候，要首先固定m-1個參數然後再求另外一個的局部最優解，從而避免函數不可導的問題，使用Proximal Algorithm對L1進行求解，此方法是優化損失函數上界的結果。
最大似然估計與最大後驗概率的區別
最大似然提供了一種給定觀察數據來評估模型參數的方法，而最大似然估計中採樣滿足所有采樣都是獨立同分布的假設，最大後驗概率是根據經驗數據獲得難以觀察的店估計，與最大似然估計最大的不同是最大後驗概率融入了要估計量的先驗分佈在其中，素有最大後驗概率可以看做規則化的最大似然估計。
sift特徵提取和匹配的具體步驟
生成高斯差分金字塔
尺度空間構造
空間極值點檢測
穩定關鍵點的精確定位
穩定關鍵點的方向信息分配
關鍵點描述
特徵點匹配