数字图像处理(第三版，Rafeal C. Gonzalez, Richard E. Woods)--基础

图像处理	图像分析	计算机视觉
低级	中级	高级
降噪 对比度增强 锐化	分割，边缘，标志等	人工智能 视觉认知
图像 = f(图像)	特征 = f(图像)	认知 = f(特征)

人的直觉和分析在选择技工具术时起到核心作用，这种选择通常基于主观的视觉判断！


亮度适应与辨别

人眼的 $主观(感知)亮度 = log{入眼光强}$
$[log{0.001},log{0.1}] 即 [-3,-1] mL$ 为暗视觉到亮视觉过渡区
视觉系统能够适应10⁶的光强度级，原因在于动态调整灵敏度，即亮度适应
同时辨别强度范围只占适应范围很小一部分
当前灵敏度级别称为亮度适应级别(会随着“背景”强度变化而变化)

人眼辨别能力的实验：A区域(相对漫反射区很小)使用增强光闪烁照射，人眼评判能否被识别

韦伯比 = $\frac{\Delta I_C}{I}=\frac{\Delta I\times \%50}{I}$ 其中$\Delta I$为测试对象100%能够区分区域A时的值

眼睛在扫视时背景的平均值在变化，适应级发生变化，人眼能够辨别更宽的范围

相关效应 ：马赫带

相关效应 ：同时对比

没有颜色的光称为单色光(monochromatic or achromatic light)
单色光唯一的属性是他的强度(intensity)，使用 灰度级(gray level) 表示，即
取值区间内可取灰度值的个数，出于存储和量化硬件考虑，灰度级数典型取2^k
电磁波并不是成像的唯一方法，声波、电子束都可以。

单色值$f(x,y)=i(x,y)r(x,y)$，$i(x,y)$为场景入射分量$(0,\infty)$，$r(x,y)$为场景反射分量$(0,1)$
$L_{min} = i_{min}r_{min}\leq f(x,y)\leq L_{max}=i_{max}r_{max}$
$[L_{min},L_{max}]$称为 灰度级
通常使用$[0,L-1]$表示[黑色,白色]

图像取样和量化
取样=座标离散
量化=幅值离散

$图像系统动态范围=\frac{最大可测\red{强度}(maximum\;measurable\;intensity)}{最小可检\red{强度}(minimum\;detectable\;intensity)}$上限取决于饱和度，下限取决于噪声

空间分辨率：每单位距离线对数(显示器是黑白线交错排列)和每单位距离点数(像素数，dpi)
灰度分辨率：灰度级中可分辨的最小变化,使用量化的位数bit描述

内插：使用已知数据估计未知位置的数值(一种重取样)

方法	原理	特点
最近邻内插	最近邻灰度赋予临近像素	直线边缘的严重失真
双线性内插	$v(x,y)=ax+by+cxy+d$ 相邻4个点得到4个方程	xy=>本质非线性的 计算量增加 低通滤波
双三次内插	$v(x,y)=\sum_0^3\sum_0^3 a_{ij}x^iy^j$ 相邻16个点得到16个方程 将距离带入$\frac{sin(x)}{x}$的三次插值函数得到权值	效果更好 计算量更大

矩形上下两块三角形面积相等，则有两个黄色矩形面积相等，y则满足面积关系
$y=\frac{(a+b)y_1-ay_1+ay_2}{a+b}=\frac{by_1+ay_2}{a+b}$
可以得到
$y=\frac{x_2-x}{x_2-x_1}y_1+\frac{x-x_1}{x_2-x_1}y_2$
以上方法对$Q_{11},Q_{21}$和$Q_{12},Q_{22}$分别线性插值得到$R_1$和$R_2$
再对$R_1$和$R_2$进行线性插值得到$f(x,y)$

和$\frac{\partial ^2f}{\partial x\partial y}$的关系 待探讨！！！！！！！

像素间的基本关系
与P点上、下、左、右 直接相邻 称 P的4邻域 $N_4(P)$，对角相邻$N_D(P)$，总称 P的8邻域$N_8(P) =N_4(P)+N_D(P)$
V为定义邻接性的灰度值集合，可能是任何$[0,L-1]$的子集
(1) $q\in N_4(p)，f(q)与f(p)\in V$，则$p与q$是4邻接的
(2) $q\in N_8(p)，f(q)与f(p)\in V$，则$p与q$是8邻接的
(3) p与q混合邻接(m邻接) 避免多重8邻接的二义性(如下图所示)
$\begin{cases} q\in N_4(p) &\\ q\in N_D(p)且f(N_4(q))\cap f(N_4(p))\notin V且f(q)与f(p)\in V & \end{cases}$

从$(x_0,y_0)$到$(x_n,y_n)$号，前后两点邻接成通路，长n
$(x_0,y_0)$=$(x_n,y_n)$时称为闭合通路
图像子集S{…}，任意P $\in S$，连通到P的一个像素集称为S的一个连通分量
S只有一个连通分量，S称为连通集(区域)
图像前景$R_u={\sum R_K}$，图像背景=$(R_u)^c$=前景的补集
$P\in R_u$ 且 $N_8(P)$中至少一个背景点，P称为内边界(内边缘，内轮廓)
为保证边界是闭合通路，通常运用外边界(背景的内边界)
图像的边界={第0行，第N-1行，第0列，第N-1列}
注意连通的类型(4连通、8连通)，区分“边缘”(导数在阈值之外的点)和“边界”
$距离仅与座标有关(\color{red}与连通无关\color{black}) \begin{cases} 欧拉距离D_e=[(\vec P_1 - \vec P_2)^T(\vec P_1 - \vec P_2)]^\frac{1}{2}\\ 城市中心距离D_4=|x_1-x_2|+|y_1-y_2| 棱形& \\ 棋盘距离D_8=max(|x_1-x_2|，|y_1-y_2|) 正方形& \end{cases}$
$D_m$距离=点间最短通路长度
数学工具

工具	定义
线性操作H	$H(af_1+bf_2)=aH(f_1)+bH(f_2)=ag_1+bg_2$
像素操作	类似 $.* 或 ./或 \pm{}{}$像素间的操作

eg：带噪相加降噪
污染图=$g(x,y)=f(x,y)+\eta(x,y)$=原图+随机噪声(待证明)
$\overline g(x,y)=\frac{\sum_{k=1}^{K} g_k(x,y)}{K} =f(x,y)+\frac{\sum_{k=1}^{K} \eta(x,y)}{K}\\ E\{\overline g(x,y)\}=f(x,y)\\ \sigma_{\overline g(x,y)}=\frac{1}{\sqrt K}\sigma_{\eta(x,y)}$

eg：相减图像增强$g(x,y)=f(x,y)-h(x,y)$，$h(x,y)$为对象模板，获取细节，图像分割
eg：相乘相除$g(x,y)=f(x,y)h(x,y)$
校正阴影，其中$h(x,y)$可以通过取样阴影得到近似
模板操作，感兴趣区域(ROI)， 如“遮蔽”

图像的归一化：$f_s=K\frac{f-f_{min}}{max(f-f_{min})}$
图像灰度补集：$A^c=A_n=\{(x,y,2^k-z)|(x,y,z)\in A\}$
图像灰度并集：$A\cup B=\{\max\limits_{z}(a,b)|a\in A，b\in B\}$
几何空间变换
几何变换=座标空间变换+灰度内插
常见空间座标变换—仿射变换(affine transformation)：尺度(缩放)，平移，旋转，偏移
$[x\;y\;1]=[v\;w\;1] \begin{bmatrix} t_{11} & t_{12} & 0 \\ t_{21} & t_{22} & 0 \\ t_{31} & t_{32} & 1 \\ \end{bmatrix}$
旋转证明

前向映射：由$T(v，w)$计算$f(x，y)$，可能多值合并，可能越界
反向映射：由$T^{-1}$(x，y)计算(v，w)，取最近的点作为输入，效率更高
eg：图像配准
对两幅或多幅相同场景的图像因时间，视角，距离，方向，分辨率，位移和其他因素产生的几何畸变进行修正，主要方法有约束(控制)点矫正
根据输入图像和参考图像建立估计变换函数进行建模，之后进行内插
$4\times\begin{cases} x=c_1v+c_2w+c_3vw+c_4 &\\ y=c_5v+c_6w+c_7vw+c_8 & \end{cases}$
4对约束点座标解得8个系数，效果不理想时可以进行区域划分，分区域建模，也可用高阶模型
图像变换
工作域{像素空间} ⇒ 变换核 ⇒ 变换域 ⇒ 反变换核 ⇒ 工作域$T(u,v)=\sum\limits_{x=0}^{M-1}\sum\limits_{y=0}^{N-1}f(x,y)r(x,y,u,v)\\ f(x,y)=\sum\limits_{x=0}^{M-1}\sum\limits_{y=0}^{N-1}T(x,y)s(x,y,u,v)$ 如果$r(x,y,u,v)=r_1(x,u)r_2(y,v)$称变换核(两个维度上)可分(独立)
如果$r_1(x,u)=r_2(y,v)$称变换核(两个维度上的变化)对称
傅里叶变换：$r(x,y,u,v)=e^{-j2\pi(\frac{ux}{M}+\frac{vy}{N})}\\ s(x,y,u,v)=\frac{1}{MN}e^{j2\pi(\frac{ux}{M}+\frac{vy}{N})}$
可分且对称的傅里叶变换的矩阵形式：$T=AFA\\F=BTB=BATAB\\B=A^{-1}$
概率论方法
某灰度值的概率 $p(z_k)=\frac{n_k}{MN}$
概率满足 $\sum\limits_{k=0}^{L-1}p(z_k)=1$
平均灰度 $m=\sum\limits_{k=0}^{L-1}z_kp(z_k)$
灰度方差(平均值展开度量=对比度测度) $\mu_2(z)=\sum^{L-1}\limits_{k=0}(z_k-m)^2p(z_k)$
图像(序列) = 空间随机事件( + 时间随机时间)