1.形式
2.投影法
通常迭代形如：
2.1當有約束時，這類算法迭代出的點很可能不滿足約束，可以使用投影形式，然點投影到約束內，u,l爲約束範圍：
這樣對上面的迭代形式進行改進，然每次迭代後的點保持在約束內：
2.2投影梯度法
3.線性約束優化的投影
3.1 投影算子P
線性約束時，投影算子是正交投影矩陣P:
存在約束時，負梯度方向並不一定就是可行方向，因此可以藉助投影矩陣P，得到迭代形式：
3.2投影時的極小點條件
原先無約束時是梯度爲0：
4.拉格朗日法
4.1 僅含等式約束時，拉格朗日法迭代更新：
4.2 含不等式約束時，拉格朗日法迭代更新：
5.罰函數法
1）對於約束問題，轉化爲無約束問題，其中會加一個懲罰項，懲罰大小與超出約束正相關。
2）定義
3）絕對值罰函數
4）分析
