分布式优化算法学习（一）

分布式优化算法学习（一）

分布式优化简介

分布式协同优化与传统集中式优化相比较具有如下特点:

• 与优化问题相关的信息分布存储在每个智能体中, 因此更隐私;
• 每个智能体不需要将数据传输到中心节点, 只需要与邻居智能体进行信息交互, 因此更加节约通信成本;
• 不存在单点故障问题, 极大地提高了系统的鲁棒性;
• 不依赖于中心节点, 增强了网络的可扩展性.
  
  分布式协同优化的基本结构，如上图所示，每个智能体（节点）都有一个局部目标函数，全局目标函数是这些局部目标函数的和，每个节点通过与邻居节点进行信息交互，最终协同实现全局优化的目标。
  $\text{min}_{x \in \bm{R}^n}\sum\limits_{i=1}^{N} f_i(x)$
  即每个智能体的自身状态收敛到全局最优解。

凸分析

对于函数$f:R^n \rightarrow R$，如果对任意$x,y \in R^n$和 $0\leq \theta \leq 1$
$f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta)f(y)$
则称函数$f$为凸函数。
对于连续可微函数$f:R^n \rightarrow R$，如果存在常数$\mu > 0$使得下式对任意$x,y \in R^n$成立
$(\bigtriangledown f(y) - \bigtriangledown f(x))^{\text{T}}(y-x) \geq \mu ||y-x||^2$
则函数$f$为强凸函数。
对于连续可微函数$f:R^n \rightarrow R$，如果存在常数$\mu > 0$使得下式对任意$y \in R^n$成立
$(\bigtriangledown f(y) - \bigtriangledown f(x))^{\text{T}}(y-x) \geq \mu ||y-x||^2$
则函数$f$关于$x$是有限强凸的。
对于连续可微函数$f:R^n \rightarrow R$，如果存在常数$L > 0$使得下式对任意$x,y \in R^n$成立
$||\bigtriangledown f(y) - \bigtriangledown f(x)|| \leq L ||y-x||$
则函数称$f$为L_光滑或简称光滑