Azuma不等式和Hoeffding不等式

Hoeffding不等式證明見Hoeffding不等式證
鞅的定義：
一個隨機過程$\{Z_n,n\ge 1\}$,若對一切$n$有
$\mathbb{E}[|Z_n|] \lt \infty$
且
$\mathbb{E}[Z_{n+1} |Z_1,\cdots,Z_n] = Z_n$
鞅是公平博弈的廣義版本。若我們將$Z_n$解釋爲一個賭徒經過$n$輪公平博弈後得到的財產爲$Z_n$，則下一次賭博得到的財產$Z_{n+1}$期望等於$Z_n$而不管前面發生了什麼

例子：$X_i$是均值爲0的獨立同分布變量,$S_{n}=\sum_{i=1}^n X_i$爲一個鞅
在介紹Azuma不等式前，先介紹一個引理

引理1：隨機變量$X$有$\mathbb{E}[X]=0$且$P\{-\alpha \le X \le \beta\} = 1$則對任意凸函數有
$\mathbb{E}[f(X)] \le \frac{\beta}{\alpha + \beta}f(-\alpha) + \frac{\alpha}{\alpha + \beta}f(\beta)$
證明：由凸函數的定義,$\forall \gamma\in [0,1]$,$x,y$爲定義域中的點,有
$f(\gamma x + (1-\gamma)y) \le \gamma f(x) + (1-\gamma) f(y)$
即可得到

引理2 對$0\le \theta \le 1$有
$\theta e^{(1-\theta)x} +(1-\theta)e^{-\theta x} \le e^{x^2/8}$
證明：令$\theta = (1+\alpha) / 2,x=2\beta$，則相當於證明對$-1\le \alpha\le1$有
$(1+\alpha) e^{\beta (1-\alpha)} + (1-\alpha) e^{-\beta(1+\alpha)} \le 2 e^{\beta^2/2}$
等價於
$e^\beta + e^{-\beta} + \alpha(e^\beta - e^{-\beta}) \le 2 \exp\{\alpha\beta + \beta^2 /2\}$
當$\alpha=\pm 1$或者$\beta$足夠大，比如$\beta \ge100$時，不等式顯然成立
所以如果不等式不成立，則函數
$f(\alpha,\beta)=e^\beta +e^{-\beta} +\alpha(e^\beta - e^{-\beta}) -2\exp\{ \alpha \beta + \beta^2 /2\}$
在區域$R=\{(\alpha,\beta) | |\alpha| <1,|\beta| < 100 \}$存在一個正的最大值。這時候梯度爲0，令$f$的偏導爲0，得到
$\begin{aligned} &e^\beta - e^{-\beta} + \alpha( e^\beta + e^{-\beta})=2（\alpha+\beta）\exp\{\alpha\beta+\beta^2/2\}\\ &e^\beta - e^{-\beta}=2\beta \exp\{\alpha\beta+\beta^2/2\} \end{aligned}$
如果存在一個解$\beta \ne 0$,則上面兩式相除得
$1+\alpha \frac{e^\beta + e^{-\beta}}{e^\beta - e^{-\beta}}=1+\frac{\alpha}{\beta}$
當$\alpha=0$
$e^\beta - e^{-\beta}=2\beta \exp\{\beta^2/2\}$
這個沒有非零解，因爲如果有解，則解$\beta>0$，否則左邊小於0
而函數
$f(x) =2xe^{2^2/2} + e^{-x} -e^x >0,\forall x>0$
它蘊含於不等式(求導，然後省略項)
$e^{x^2/2}> \frac{e^x+e^{-x}}{2}$
這個可以用泰勒展開證明（其他方式證明見江大橋的證明）
$e^{x^2/2} = 1+\sum_{k=1}^\infty \frac{x^{2k}}{2^k(k!)}$
$\frac{e^x+e^{-x}}{2}=1+\sum_{k=1}^\infty \frac{x^{2k}}{(2k)!}$
顯然左邊大於右邊
所以不存在$\alpha=0,\beta\ne 0$的解

如果$\alpha \ne 0$,化簡得
$\beta(e^\beta + e^{-\beta}) = e^\beta - e^{-\beta}$
我們可以證明上面等式除了$\beta=0$沒有解

因爲相當於證明
$(1-\beta)e^{2\beta} - (1+\beta) =0$
沒有非0解。 如果上面有其他解，則首先解$\beta \in (-1,1)$，而函數$(1-x)e^{2x} - (1+x)$在$x\in (-1,1)$嚴格遞減(由$1+x \le e^x$可得)，故至多一個解，顯然矛盾。
所以$f(\alpha,\beta)$在$f(\alpha,0)=0$取得最大值，產生了矛盾，即沒有正解，原不等式恆成立。

Azuma不等式
令$Z_n$爲一個均值爲$\mu$的鞅，令$Z_0=\mu$且假設對非負參數$\alpha_i,\beta_i$有
$-\alpha_i \le Z_i - Z_{i-1} \le \beta_i$，對任意$n>0,a>0$,有
$P\{Z_n - \mu \ge a\} \le \exp \left\{ -2a^2\bigg /\sum_{i=1}^n (\alpha_i+\beta_i)^2 \right\}$
$P\{Z_n - \mu \le -a\} \le \exp \left\{ -2a^2\bigg /\sum_{i=1}^n (\alpha_i+\beta_i)^2 \right\}$
證明：先假設$\mu=0$，對任意$c>0$有
$\begin{aligned} P(Z_n \ge a) &= P(\exp\{cZ_n\} \ge \exp^{ca}) \\ &\le \mathbb{E}[\exp\{cZ_n\}]e^{-ca} \quad(Markov\, inequality P(|X| \ge a) \le \mathbb{E}[|X|]/a) *** \end{aligned}$
爲了得到$\mathbb{E}[\exp\{cZ_n\}]$的上界，令$W_n=\exp\{cZ_n\}$
注意到$W_0 =1,且W_n=\exp\{cZ_{n-1}\}\exp\{c(Z_n - Z_{n-1})\}$
所以
$\begin{aligned} E[W_n| Z_{n-1}] &= \exp\{cZ_{n-1}\} \mathbb{E}[\exp\{c(Z_n - Z_{n-1})\} |Z_{n-1}]\\ &\le W_{n-1}\left(\beta_n \exp^{-c\alpha_n} + \alpha_n \exp^{c\beta_n}\right) /(\alpha_n + \beta_n) \end{aligned}$
最後一步由上面引理1得到

$f(x) = e^{cx}是凸函數$
$-\alpha_n\le Z_n - Z_{n-1}\le \beta_n$
$\mathbb{E}[Z_{n} - Z_{n-1}|Z_{n-1}] = \mathbb{E}[Z_{n}|Z_{n-1}]-\mathbb{E}[Z_{n-1}|Z_{n-1}] = 0$

對上邊兩邊取期望(對$Z_{n-1}$)，得到
$\mathbb{E}[W_n]\le\mathbb{E}[W_{n-1}]\left(\beta_n \exp^{-c\alpha_n} + \alpha_n \exp^{c\beta_n}\right) /(\alpha_n + \beta_n)$
連續使用上面的不等式，由$\mathbb{E}[W_0]=1$遞推得到
$\mathbb{E}[W_n] \le \prod_{i=1}^n\{\left(\beta_i \exp^{-c\alpha_i} + \alpha_i \exp^{c\beta_i}\right) /(\alpha_i + \beta_i) \}$

由上面***式和引理2，得到
$\begin{aligned} P\{Z_n \ge a\} &\le e^{-ca} \prod_{i=1}^n\{\left(\beta_i \exp^{-c\alpha_i} + \alpha_i \exp^{c\beta_i}\right) /(\alpha_i + \beta_i) \} \\ &\le e^{-ca} \prod_{i=1}^n \exp\{c^2(\alpha_i+\beta_i)^2/8\} \end{aligned}$
上面不等式是在上面取$\theta=\alpha_i/(\alpha_i+\beta_i),x = c(\alpha_i + \beta_i)$應用引理2得到，對任意$c>0$，得到
$P\{Z_n \ge a\} \le \exp\{-ca + c^2\sum_{i=1}^n(\alpha_i + \beta_i)^2/8\}$

由於對任意$c$都有上面不等式成立，我們可以通過取合適的$c$最小化上面右端，得$c=4a/\sum_{i=1}^n(\alpha_i+\beta_i)^2$
代回去得到
$P\{Z_n \ge a\} \le \exp\{-2a^2 / \sum_{i=1}^n (\alpha_i+\beta_i)^2\}$
上面證明了$\mu=0$時，不等式(1)成立，對於$\mu \ne 0$的情況，取鞅$\{Sn = Z_n - \mu\}$和$\{Sn=\mu-Z_n\}$就分別得到一般情況的(1)和(2)

Hoeffding不等式

上面不等式知道，在滿足Hoeffding條件下，$\{S_{n}=\sum_{i=1}^n (X_i - \mu_i)\}$是一個均值爲0的鞅，$P(X_i\in [\alpha_i,\beta_i])=1$
對鞅$\{S_n\}$應用Azuma不等式就得到Hoeffding不等式