BFGS收斂速度很快。
工程上由於特徵很多，並且各個特徵情況不同，工程問題經常是病態的，難以短時間內用普通的一階梯度法找到最優解。
在這種情況下，只能用二階導的方法（Hession陣），要求Hession是正定的。
BFGS就是儘量保證Hession的正定性。
L-BFGS 解決BFGS在空間複雜度上存在的問題，所以在工程上對邏輯迴歸（最大熵）使用L-BFGS是必然的方法。
ADMM在分佈式環境下加速 batch learning的方法。通過增加迭代的複雜度，從而減少迭代次數。
ADMM如何和邏輯迴歸結合