增量學習 和 在線學習 的不同是:
在線學習是一個一個新增樣本,增量是一批
嗯,因爲CV在線學習一般來不及處理,應用場合不多
你先把一般的步驟搞好再說吧,接口弄好了,訓練不是很簡單的事情
今天重新看 騰訊課堂 27節 梯度與梯度下降
最後說到 SGD 會導致 模型在 損失函數 的路線是 折返走彎路 的 (注意去看那圖體會),需要迭代的次數是比較多才能
到達 谷底。(可以去搜索一下 有沒有相關 論文解決這種 增量學習 SGD和 mSGD 的平衡 )
而 批量梯度下降 能避免這種 折返,路線比較穩定的 跌落 谷底。