平時我看起來很堅強，
可是遇到你，我會變成另一個模樣。
我不想考慮太多，
因爲追隨內心，你已經走進我的心牆。
我想讓你知道，
我從未想過放手，
只願陪你到永遠。
——暢寶寶的傻逼哥哥
如果一個算法滿足這樣的性質：任意的初始點x0∈X 都會產生一個收斂的點序列{xk}∞k=0 ，那麼稱該算法是全局收斂的。實際上，如果某些條件不滿足，甚至非常有效的算法都會失效。例如算法可能產生不收斂的序列或者收斂的點不是所求的解，存在一些導致算法失敗的因素，但是如果我們很清楚的瞭解他們，那麼我們就能採取某些避免失敗的措施，所以全局收斂成爲理論學者與實踐者共同的興趣。
大部分全局收斂理論處理的是保證全局收斂的環境與條件，其中一個重要的理論如下：
定理1： 令A表示X上的算法並假設初始點x0 將產生一個無窮序列{xk}∞k=0 ，其中
xk+1∈A(xk)
如果該算法的解集S與下降函數D(xk) 存在，使得
- 所有點xk 包含在X的緊子集中
- D(xk) 滿足下降函數的定義且
- A的映射對S外的所有點都封閉
那麼任何收斂序列{xk}∞k=0 的極限都是解。
證明： 這個定理的證明分兩部分。對a部分，我們假設x̂ 是任何序列{xk}∞k=0 子序列{xk}k∈I 的極限，其中I是整數的一個集合，並且說明D(xk) 對無限序列{xk}∞k=0 收斂。對b部分，我們說明x̂ 是集合S的解。
證明的第二部分非常依賴於魏爾斯特拉斯定理，如果W是緊集，那麼序列{xk}∞k=0 的極限點在W中，其中xk∈W 。如果集合W是閉的，那麼它也就緊集。如果W邊界上的所有點都屬於W，那麼W是閉集。如果W能被一個有限半徑的超球包圍，那麼W是有界集。魏爾斯特拉斯定理的一個結論是{xk}∞k=0 的任何子序列{xk}k∈I 的極限位於集合W¯={xk:k∈I} 中，因爲W¯ 是W的子集，所以它也是緊集。
(a)因爲D(xk) 在X上是連續的且x̂ 是序列{xk}k∈I 的極限，所以存在正數與整數K使得當k≥K 時
D(xk)−D(x̂ )<ε
其中k∈I ，因此D(xk) 對子序列{xk}k∈I 收斂。然而我們還必須證明D(xk) 對無限序列{xk}∞k=0 收斂。
對於任意k≥K ，我們有
D(xk)−D(x̂ )=[D(xk)−D(xK)]+[D(xK)−D(x̂ )]
如果k=K ，那麼
D(xK)−D(x̂ )<ε
如果k≥K ，那麼D(xk)≤D(xK) ，因此
D(xk)−D(xK)≤0
由此可得對任意k≥K
D(xk)−D(x̂ )<ε
因此
limk→∞D(xk)=D(x̂ )
即當xk→x̂ 時D(xk) 相對於無限序列收斂。
(b)假設x̂ 不在解集中，因爲子序列{xk+1}k∈I 的元素屬於屬於緊集，根據魏爾斯特拉斯定理可知存在緊子集{xk+1:k∈I¯⊂I} 使得xk+1 收斂到極限x¯ 。根據部分(a)，我們說明了
limk→∞D(xk+1)=D(x¯)
因此
D(x¯)=D(x̂ )
另一方面
xk→x̂ xk+1→x¯for k∈I¯for xk+1∈A(x)
根據假設x̂ ∉S ，並且A對S外的點是閉的，我們有
x¯∈A(x̂ )
因此
D(x¯)<D(x̂ )
得出矛盾，因爲{xk}∞k=0 的任何收斂子序列的極限是解。
對於簡單的情況，上面的定理說明，如果
- 算法生成的點在有限的En 空間中
- 可以找到滿足要求的下降函數
- 算法在解鄰域的外邊是封閉的
那麼算法是全局收斂的。進一步，我們可以在有限次迭代下得到近似解，因爲{xk}∞k=0 的任何有限子序列的極限都是解。
定理1的推論同樣非常重要：
推論1： 如果定理1的條件成立，解集S由一個點x̂ 組成，那麼序列{xk}∞k=0 收斂到x̂ 。
證明： 如果我們假設有一個子序列{xk}k∈I 不收斂到x̂ ，那麼對於所有的k∈I,ε>0 ，
∥xk−x̂ ∥>ε
集合{xk∈I′⊂I} 是緊集，{xk}
