分佈式優化算法學習（一）

分佈式優化算法學習（一）

分佈式優化簡介

分佈式協同優化與傳統集中式優化相比較具有如下特點:

• 與優化問題相關的信息分佈存儲在每個智能體中, 因此更隱私;
• 每個智能體不需要將數據傳輸到中心節點, 只需要與鄰居智能體進行信息交互, 因此更加節約通信成本;
• 不存在單點故障問題, 極大地提高了系統的魯棒性;
• 不依賴於中心節點, 增強了網絡的可擴展性.
  
  分佈式協同優化的基本結構，如上圖所示，每個智能體（節點）都有一個局部目標函數，全局目標函數是這些局部目標函數的和，每個節點通過與鄰居節點進行信息交互，最終協同實現全局優化的目標。
  $\text{min}_{x \in \bm{R}^n}\sum\limits_{i=1}^{N} f_i(x)$
  即每個智能體的自身狀態收斂到全局最優解。

凸分析

對於函數$f:R^n \rightarrow R$，如果對任意$x,y \in R^n$和 $0\leq \theta \leq 1$
$f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta)f(y)$
則稱函數$f$爲凸函數。
對於連續可微函數$f:R^n \rightarrow R$，如果存在常數$\mu > 0$使得下式對任意$x,y \in R^n$成立
$(\bigtriangledown f(y) - \bigtriangledown f(x))^{\text{T}}(y-x) \geq \mu ||y-x||^2$
則函數$f$爲強凸函數。
對於連續可微函數$f:R^n \rightarrow R$，如果存在常數$\mu > 0$使得下式對任意$y \in R^n$成立
$(\bigtriangledown f(y) - \bigtriangledown f(x))^{\text{T}}(y-x) \geq \mu ||y-x||^2$
則函數$f$關於$x$是有限強凸的。
對於連續可微函數$f:R^n \rightarrow R$，如果存在常數$L > 0$使得下式對任意$x,y \in R^n$成立
$||\bigtriangledown f(y) - \bigtriangledown f(x)|| \leq L ||y-x||$
則函數稱$f$爲L_光滑或簡稱光滑