數字圖像處理(第三版，Rafeal C. Gonzalez, Richard E. Woods)--基礎

圖像處理	圖像分析	計算機視覺
低級	中級	高級
降噪 對比度增強 銳化	分割，邊緣，標誌等	人工智能 視覺認知
圖像 = f(圖像)	特徵 = f(圖像)	認知 = f(特徵)

人的直覺和分析在選擇技工具術時起到核心作用，這種選擇通常基於主觀的視覺判斷！


亮度適應與辨別

人眼的 $主觀(感知)亮度 = log{入眼光強}$
$[log{0.001},log{0.1}] 即 [-3,-1] mL$ 爲暗視覺到亮視覺過渡區
視覺系統能夠適應10⁶的光強度級，原因在於動態調整靈敏度，即亮度適應
同時辨別強度範圍只佔適應範圍很小一部分
當前靈敏度級別稱爲亮度適應級別(會隨着“背景”強度變化而變化)

人眼辨別能力的實驗：A區域(相對漫反射區很小)使用增強光閃爍照射，人眼評判能否被識別

韋伯比 = $\frac{\Delta I_C}{I}=\frac{\Delta I\times \%50}{I}$ 其中$\Delta I$爲測試對象100%能夠區分區域A時的值

眼睛在掃視時背景的平均值在變化，適應級發生變化，人眼能夠辨別更寬的範圍

相關效應 ：馬赫帶

相關效應 ：同時對比

沒有顏色的光稱爲單色光(monochromatic or achromatic light)
單色光唯一的屬性是他的強度(intensity)，使用 灰度級(gray level) 表示，即
取值區間內可取灰度值的個數，出於存儲和量化硬件考慮，灰度級數典型取2^k
電磁波並不是成像的唯一方法，聲波、電子束都可以。

單色值$f(x,y)=i(x,y)r(x,y)$，$i(x,y)$爲場景入射分量$(0,\infty)$，$r(x,y)$爲場景反射分量$(0,1)$
$L_{min} = i_{min}r_{min}\leq f(x,y)\leq L_{max}=i_{max}r_{max}$
$[L_{min},L_{max}]$稱爲 灰度級
通常使用$[0,L-1]$表示[黑色,白色]

圖像取樣和量化
取樣=座標離散
量化=幅值離散

$圖像系統動態範圍=\frac{最大可測\red{強度}(maximum\;measurable\;intensity)}{最小可檢\red{強度}(minimum\;detectable\;intensity)}$上限取決於飽和度，下限取決於噪聲

空間分辨率：每單位距離線對數(顯示器是黑白線交錯排列)和每單位距離點數(像素數，dpi)
灰度分辨率：灰度級中可分辨的最小變化,使用量化的位數bit描述

內插：使用已知數據估計未知位置的數值(一種重取樣)

方法	原理	特點
最近鄰內插	最近鄰灰度賦予臨近像素	直線邊緣的嚴重失真
雙線性內插	$v(x,y)=ax+by+cxy+d$ 相鄰4個點得到4個方程	xy=>本質非線性的 計算量增加 低通濾波
雙三次內插	$v(x,y)=\sum_0^3\sum_0^3 a_{ij}x^iy^j$ 相鄰16個點得到16個方程 將距離帶入$\frac{sin(x)}{x}$的三次插值函數得到權值	效果更好 計算量更大

矩形上下兩塊三角形面積相等，則有兩個黃色矩形面積相等，y則滿足面積關係
$y=\frac{(a+b)y_1-ay_1+ay_2}{a+b}=\frac{by_1+ay_2}{a+b}$
可以得到
$y=\frac{x_2-x}{x_2-x_1}y_1+\frac{x-x_1}{x_2-x_1}y_2$
以上方法對$Q_{11},Q_{21}$和$Q_{12},Q_{22}$分別線性插值得到$R_1$和$R_2$
再對$R_1$和$R_2$進行線性插值得到$f(x,y)$

和$\frac{\partial ^2f}{\partial x\partial y}$的關係 待探討！！！！！！！

像素間的基本關係
與P點上、下、左、右 直接相鄰 稱 P的4鄰域 $N_4(P)$，對角相鄰$N_D(P)$，總稱 P的8鄰域$N_8(P) =N_4(P)+N_D(P)$
V爲定義鄰接性的灰度值集合，可能是任何$[0,L-1]$的子集
(1) $q\in N_4(p)，f(q)與f(p)\in V$，則$p與q$是4鄰接的
(2) $q\in N_8(p)，f(q)與f(p)\in V$，則$p與q$是8鄰接的
(3) p與q混合鄰接(m鄰接) 避免多重8鄰接的二義性(如下圖所示)
$\begin{cases} q\in N_4(p) &\\ q\in N_D(p)且f(N_4(q))\cap f(N_4(p))\notin V且f(q)與f(p)\in V & \end{cases}$

從$(x_0,y_0)$到$(x_n,y_n)$號，前後兩點鄰接成通路，長n
$(x_0,y_0)$=$(x_n,y_n)$時稱爲閉合通路
圖像子集S{…}，任意P $\in S$，連通到P的一個像素集稱爲S的一個連通分量
S只有一個連通分量，S稱爲連通集(區域)
圖像前景$R_u={\sum R_K}$，圖像背景=$(R_u)^c$=前景的補集
$P\in R_u$ 且 $N_8(P)$中至少一個背景點，P稱爲內邊界(內邊緣，內輪廓)
爲保證邊界是閉合通路，通常運用外邊界(背景的內邊界)
圖像的邊界={第0行，第N-1行，第0列，第N-1列}
注意連通的類型(4連通、8連通)，區分“邊緣”(導數在閾值之外的點)和“邊界”
$距離僅與座標有關(\color{red}與連通無關\color{black}) \begin{cases} 歐拉距離D_e=[(\vec P_1 - \vec P_2)^T(\vec P_1 - \vec P_2)]^\frac{1}{2}\\ 城市中心距離D_4=|x_1-x_2|+|y_1-y_2| 棱形& \\ 棋盤距離D_8=max(|x_1-x_2|，|y_1-y_2|) 正方形& \end{cases}$
$D_m$距離=點間最短通路長度
數學工具

工具	定義
線性操作H	$H(af_1+bf_2)=aH(f_1)+bH(f_2)=ag_1+bg_2$
像素操作	類似 $.* 或 ./或 \pm{}{}$像素間的操作

eg：帶噪相加降噪
污染圖=$g(x,y)=f(x,y)+\eta(x,y)$=原圖+隨機噪聲(待證明)
$\overline g(x,y)=\frac{\sum_{k=1}^{K} g_k(x,y)}{K} =f(x,y)+\frac{\sum_{k=1}^{K} \eta(x,y)}{K}\\ E\{\overline g(x,y)\}=f(x,y)\\ \sigma_{\overline g(x,y)}=\frac{1}{\sqrt K}\sigma_{\eta(x,y)}$

eg：相減圖像增強$g(x,y)=f(x,y)-h(x,y)$，$h(x,y)$爲對象模板，獲取細節，圖像分割
eg：相乘相除$g(x,y)=f(x,y)h(x,y)$
校正陰影，其中$h(x,y)$可以通過取樣陰影得到近似
模板操作，感興趣區域(ROI)， 如“遮蔽”

圖像的歸一化：$f_s=K\frac{f-f_{min}}{max(f-f_{min})}$
圖像灰度補集：$A^c=A_n=\{(x,y,2^k-z)|(x,y,z)\in A\}$
圖像灰度並集：$A\cup B=\{\max\limits_{z}(a,b)|a\in A，b\in B\}$
幾何空間變換
幾何變換=座標空間變換+灰度內插
常見空間座標變換—仿射變換(affine transformation)：尺度(縮放)，平移，旋轉，偏移
$[x\;y\;1]=[v\;w\;1] \begin{bmatrix} t_{11} & t_{12} & 0 \\ t_{21} & t_{22} & 0 \\ t_{31} & t_{32} & 1 \\ \end{bmatrix}$
旋轉證明

前向映射：由$T(v，w)$計算$f(x，y)$，可能多值合併，可能越界
反向映射：由$T^{-1}$(x，y)計算(v，w)，取最近的點作爲輸入，效率更高
eg：圖像配準
對兩幅或多幅相同場景的圖像因時間，視角，距離，方向，分辨率，位移和其他因素產生的幾何畸變進行修正，主要方法有約束(控制)點矯正
根據輸入圖像和參考圖像建立估計變換函數進行建模，之後進行內插
$4\times\begin{cases} x=c_1v+c_2w+c_3vw+c_4 &\\ y=c_5v+c_6w+c_7vw+c_8 & \end{cases}$
4對約束點座標解得8個係數，效果不理想時可以進行區域劃分，分區域建模，也可用高階模型
圖像變換
工作域{像素空間} ⇒ 變換核 ⇒ 變換域 ⇒ 反變換核 ⇒ 工作域$T(u,v)=\sum\limits_{x=0}^{M-1}\sum\limits_{y=0}^{N-1}f(x,y)r(x,y,u,v)\\ f(x,y)=\sum\limits_{x=0}^{M-1}\sum\limits_{y=0}^{N-1}T(x,y)s(x,y,u,v)$ 如果$r(x,y,u,v)=r_1(x,u)r_2(y,v)$稱變換核(兩個維度上)可分(獨立)
如果$r_1(x,u)=r_2(y,v)$稱變換核(兩個維度上的變化)對稱
傅里葉變換：$r(x,y,u,v)=e^{-j2\pi(\frac{ux}{M}+\frac{vy}{N})}\\ s(x,y,u,v)=\frac{1}{MN}e^{j2\pi(\frac{ux}{M}+\frac{vy}{N})}$
可分且對稱的傅里葉變換的矩陣形式：$T=AFA\\F=BTB=BATAB\\B=A^{-1}$
概率論方法
某灰度值的概率 $p(z_k)=\frac{n_k}{MN}$
概率滿足 $\sum\limits_{k=0}^{L-1}p(z_k)=1$
平均灰度 $m=\sum\limits_{k=0}^{L-1}z_kp(z_k)$
灰度方差(平均值展開度量=對比度測度) $\mu_2(z)=\sum^{L-1}\limits_{k=0}(z_k-m)^2p(z_k)$
圖像(序列) = 空間隨機事件( + 時間隨機時間)