大津法（OTSU 最大类间方差法）详细数学推导（公式繁杂，欢迎讨论）

大家新年快乐哇, 武汉加油，我的家乡温州也加油，中国加油！向前线人员致敬！

---

最近在家里做迁移学习，受限于笔记本的限制，深度方向做不了，开始看师兄的论文，发现论文里提到最大方差法，但是没有具体说明出处，去查找相应的出处，也就看到了大津算法，但很奇怪的是，好多人都是很简略地说了思想，到底怎么出来的，还是没明白，因此自己找呗~

将进行一个阈值即两类的推导，让思想动起来！

---

大津算法提出了两个方差(若有人知道更早的出处欢迎留言指出)。
1.within-class variance 类内方差
2.between-class variance 类间方差

提前指出结论

1.大津法的目标就是最大化类间方差
2.实现最大化类间方差同时就实现了类内方差最小化，因为二者的平方和为定值
3.最优阈值点一定存在

具体程序就麻烦小伙伴自己找找啦。

~~ 进入正题 ~~

现在有一张灰度图含有背景图像和目标图像($C_0, C_1$)，我们要找到一个阈值将像素值分为两块使两者最好的区分。

图来源于网络，右图类间差异大，区分明显。所以最大化类间差异

现在再来看看公式推导

将图片的像素值分为 [1, 2, …, L] 个水平，用$n_i$表示各个水平像素值的像素个数，那么很容易得到总像素个数为

$N = n_1 + n_2 + ... + n_L$

我们利用像素值对应个数与总数的商作为某个像素值出现的概率，定义$p_i$

$p_i = n_i / N_i, p_i \ge0, \sum_{i=1}^L p_i=1$

定义两个量$w_0, w_1$为$C_0, C_1$的局部概率之和，并且得到二者的关系

$w_0 = Pr(C_0) = \sum_{i=1}^k p_i = w(k)$

$w_1 = Pr(C_1) = \sum_{i=k+1}^L p_i = 1-w(k)$

由此我们得到总的数学期望和$C_0, C_1$各自的数学期望并指出三者的关系，式中$i$代表像素值，除于各自概率的和用于进行归一。

$u_T = u(L) = \sum_{i=1}^L i*p_i$

$u_0 = \sum_{i=1}^k i*Pr(i|C_0)=\sum_{i=1}^k i*p_i/w_0 = \dfrac{u(k)}{w(k)}$

$u_1 = \sum_{i=k+1}^L i*Pr(i|C_1)=\sum_{i=k+1}^L i*p_i/w_1 = \dfrac{u_T - u(k)}{1-w(k)}$

并指出以上公式之间的关系：

$w_0u_0+w_1u_1 = u_T \space \space \space \space \space \space \space w_0+w_1 = 1$

除了数学期望，计算各自局部方差和总方差

$\sigma_T^2=\sum_{i=1}^L (i-u_T)^2p_i$

$\sigma_0^2=\sum_{i=1}^k (i-u_0)^2Pr(i|C_0)=\sum_{i=1}^k (i-u_0)^2p_i/w_0$

$\sigma_0^1=\sum_{i=k+1}^L (i-u_1)^2Pr(i|C_1)=\sum_{i=k+1}^L (i-u_1)^2p_i/w_0$

基础打完，为了大家翻遍查阅，列一个表格方便查阅

变量/公式	相关含义
$p_i$	某个像素值可能出现的概率
$w_0/w(k), w_1$	$C_0, C_1$ 对应的概率和
$u_T, u_0, u_1$	整个图像，$C_0$，$C_1$，像素的数学期望
$\sigma_T,\sigma_0,\sigma_1$	整个图像，$C_0$，$C_1$，像素的方差
$\sum i*p_i$	数学期望的求解公式
$\sum (i-u)^2*p_i$	方差的求解公式

定义完以上变量，作者提出
within_class variance 类内差异

$\sigma_w^2=w_0\sigma_0^2+w_1\sigma_1^2$

between_class variance 类间差异

$\sigma_b^2=w_0(u_0-u_T)^2+w_1(u_1-u_T)^2$

之前指出，作者要求最大化类间差异，我们可以从图中明白这个道理，那么为什么最大化类间差异就是最小化类内差异？

有意思的来了， 因为二者的和为定值

$\sigma_w^2 + \sigma_b^2 = \sigma_T^2$

以下为推导公式

我们取$\sigma_w^2$，$\sigma_b^2$中的$w_0\sigma_0^2$和$w_0(u_0-u_T)^2$两项，先将$w_0\sigma_0^2$展开

$\space =w_0[\frac1w_0*\sum_{i=0}^k(i-u_0)^2p_i]=w_0[\frac1w_0*\sum_{i=0}^k((i-u_T)+(u_T-u_0))^2p_i]$

$\space =w_0[\frac1w_0*\sum_{i=0}^k((i-u_T)^2+2(i-u_T)(u_T-u_0)+(u_T-u_0)^2)p_i]$

$\space =\sum_{i=0}^k(i-u_T)^2 *p_i$

$+\sum_{i=0}^k2(i-u_T)(u_T-u_0)*p_i$

$+(u_T-u_0)^2*\sum_{i=0}^kp_i$

展开$\sum_{i=0}^k2(i-u_T)(u_T-u_0)*p_i$

$=2(u_T-u_0)\sum_{i=0}^k(i-u_T)p_i$

$\space =2(u_T-u_0)[\sum_{i=0}^kip_i+u_T\sum_{i=0}^kp_i]$

根据数学期望和局部概率和的定义得到

$\sum_{i=0}^k2(i-u_T)(u_T-u_0)*p_i = 2(u_T-u_0)w_0(u_0-u_T)=-2w_0(u_T-u_0)^2$

得$w_0\sigma_0^2$化简为

$\space =\sum_{i=0}^k(i-u_T)^2 *p_i-w_0(u_T-u_0)^2$

从$\sigma_b^2$的第一项可以发现，二者的和恰为
$\sum_{i=0}^k(i-u_T)^2 *p_i$

同理推得第二项，则

$\sigma_b^2+\sigma_w^2 = \sum_{i=0}^k(i-u_T)^2 p_i + \sum_{i=k+1}^L(i-u_T)^2 p_i=\sum_{i=0}^L(i-u_T)^2 p_i = \sigma_T^2$

因此类内差异与类间差异的和为总的方差，为一定值

那么为什么最优阈值一定存在呢？

从$\sigma_b^2$的定义出发
已知

$w_0u_0+w_1u_1 = u_T$

因此

$\sigma_b^2=w_0(u_0-u_T)^2+w_1(u_1-u_T)^2$

$\space =w_0(u_0-(w_0u_0+w_1u_1))^2+w_1(u_1-(w_0u_0+w_1u_1))^2$

$\space =w_0w_1(u_1-u_0)^2$

再根据

$u_0 = \dfrac{u(k)}{w(k)} \space \space \space \space u_1=\dfrac{u_T - u(k)}{1-w(k)}$

得

$\sigma_b^2=\dfrac{[u_Tw(k)-u(k)]^2}{w(k)[1-w(k)]}$

求解最大类间差异可写作

$\sigma_b^2(k^*)=\max_{1\le k<L}\sigma_b^2(k^)$

由上述$\sigma_b^2$的分母可以发现，$w(k)$可以取到1也可以取到0，因此在边界上$\sigma_b^2$可以无穷大，而在开集$(0,1)$则类间方差有限，因此在定义域

$S^* = {k:w_0w_1=w(k)[1-w(k)]>0}$

总存在最优解。

完成三条结论的推导

---

等等~

会不会有小伙伴在想
$\max_{1\le k<L}\sigma_b^2(k^)$

这个问题怎么解哇！

哈哈，我也不会，目前就是一个点一个点的代入哇，找到最大值即可。但是我最近在学凸优化这门课，相信自己学完是能解决这个的！

一起加油！

元宵快乐，芝麻汤圆最好吃了！

---

• [1] Otsu, N. (1979) A threshold selection method from gray-level histogram. IEEE Transactions on Systems, Man and Cybernetics, 9, 62-66.