大規模機器學習
large scale machine learning
在機器學習中，決定因素往往不是算法最優，而是誰的訓練數據最多。
得到一個高性能的機器學習系統的最佳途徑，如果你採用低偏差的學習算法，並進行大量的數據進行訓練
高性能計算方法
- 第一個是“隨機梯度下降法”。
- 第二個是“Mini-Batch梯度下降法”。
隨機梯度下降法
大規模機器學習需要處理大量的數據，故而需要改進一般的梯度下降，採用“隨機梯度下降法”。這將使我們的算法能應用於更大的訓練集中。隨機：隨機打亂所有數據且遍歷所有的訓練樣本。
Mini-Batch梯度下降算法
- “批量”梯度下降算法每次迭代，都要用到所有的m個樣本。
- “隨機”梯度下降算法每次迭代，只使用一個樣本。
- Mini-Batch梯度下降算法，則介於兩者之間。
在線學習機制
online learning setting,
可以模型化問題,從大批的涌入又離開網站的用戶身上進行學習用戶的偏好,進而優化網站的決策。
