北航研究生課程遙感圖像與視頻處理技術期末知識點總結

1.遙感平臺

• 遙感平臺是裝載傳感器的運載工具，按高度分爲：
  • 地面平臺：爲航空和航天遙感作校準和輔助工作
  • 航空平臺：80 km以下的平臺，包括飛機和氣球
  • 航天平臺：80 km以上的平臺，包括高空探測火箭、人造地球衛星、宇宙飛船、航天飛機。
• 人造地球衛星是最重要的遙感平臺，其類型有：
  • 低高度、短壽命衛星：150～350 km，用於軍事
  • 中高度、長壽命衛星：350～1800 km，地球資源
  • 高高度、長壽命衛星：約3600 km，通信和氣象

2.電磁輻射

可見光

波長範圍0.38 μm～0.76 μm，由紅、橙、黃、綠、青、藍、紫色光組成，是攝影方式常用的遙感波段

微波

波長1mm～1m的無線電波

微波和紅外兩者的特徵相似，都屬於熱輻射性質。微波能穿透雲霧、小雨，是全天候遙感，晝夜均可進行。微波對植被、冰雪、幹沙、乾土均有較強的穿透力，常被用來探測被冰雪、植被、沙土所遮掩的地物

遙感常用的電磁波

• 紫外線
• 可見光
• 紅外線
• 微波

3.電磁輻射—大氣對電磁波傳播的影響

• 大氣傳輸特性：大氣對電磁波的吸收、散射和透射特性，與波長和大氣的成分有關

• 大氣散射：太陽輻射在傳播過程中遇到小微粒而改變傳播方向，向各方向散開

• 瑞利散射：微粒的直徑比輻射波長小得多時產生的散射，散射率與波長的四次方成反比（藍紫光散射大，應用少）

• 大氣窗口：電磁波通過大氣層未被反射、吸收和散射的那些透射率高的波段範圍

• 電磁波進入地球須通過大氣層，約30%被大氣反射，17%被吸收，22%被散射，**31%**到達地面

4.遙感圖像

空間分辨率：

當分辨率爲1km時，一個像元代表地面1kmX1km的面積，即1km2；
當分辨率爲30m時，一個像元代表地面30m×30m的面積，即30m2；

載荷：可見光、多光譜、高光譜、SAR等

隨着光譜分辨率的不斷提高，光學遙感的發展過程可分爲：全色（Panchromatic）→彩色（Color Photography）→多光譜（Multispectral）→高光譜（hyspectral）

• 全色波段：單波段，灰度圖片。空間分辨率高，但無法顯示地物色彩。空間+輻射
• 多光譜：將地物輻射電磁波分割成若干個較窄的光譜段，以攝影或掃描的方式在同一時間獲得同一目標不同波段信息。空間+輻射+光譜
• 高光譜：在對目標的空間特徵成像的同時，對每個空間像元經過色散形成幾十乃至幾百個窄波段以進行連續的光譜覆蓋。空間+輻射+光譜

多光譜和高光譜比較：光譜分辨率在λ/10數量級範圍的稱爲多光譜，光譜分辨率在λ/100的遙感信息稱之爲高光譜遙感。
高光譜和多光譜實質差別：高光譜的波段較多，譜帶較窄；多光譜相對波段較少。高光譜遙感比多光譜遙感的光譜分辨率更高，但光譜分辨率高的同時空間分辨率會降低。
高光譜能夠更好地分辨出肉眼甚至普通的光學遙感不能識別的地物，包括內在的物理、化學特性，甚至是物質的分子和原子結構。
在數百公里高度運行的高光譜衛星不僅能觀測到地面覆蓋的是不是植被，還能探知這些植被的具體種類和長勢如何

5.融合的層次

• 像元級:線性加權法、IHS變換、PCA變換、高通濾波法、小波變換融合算法等。
• 特徵級:Dempster-shafer推理法；聚類分析法；貝葉斯估計法；熵法；帶權平均法；表決法及神經網絡法等。
• 決策級:貝葉斯估計法；專家系統；神經網絡法；模糊集理論；可靠性理論以及邏輯模板法等。

6.融合方法分類

• 加性變換
  • 分量替換法(矩陣變換法)
    • 基於IHS變換的融合方法
    • 基於PCA變換的融合方法
    • 基於GS變換的融合方法
  • 頻域分解法
    • 基於高通濾波的融合方法
    • 基於小波(Wavelet)變換的融合方法
    • 基於輪廓波(Contourlet)變換的融合方法
• 乘性變換
  • Brovey變換融合方法（比值變換）
  • SVR(Synthetic Variable Ratio)變換融合方法
  • SFIM變換融合方法（亮度平滑濾波變換Smoothing Filter-based Intensity Modulation）

分量替換融合法

正向變換:將多光譜圖像像素值轉換至另一個特徵空間

• IHS變換→IHS色彩空間
• PCA變換→成分分析空間
• GS變換→正交向量空間

逆向變換:利用全色圖像替換第一特徵分量,並由特徵空間反向變換至像素值空間,得到融合圖像

IHS

IHS彩色座標系統是根據視覺原理定義了3個互不相關的顏色屬性：亮度（I）、色調（H）和飽和度（S）

I、H、S3個分量具有相對獨立性，可分別進行處理，能夠定量地描述顏色特徵。因此，IHS系統在定量計算方面具有優勢。

IHS變換融合

將低分辨率圖像（多光譜）經IHS變換後的強度分量I，用高分辨率圖像（全色）來替代

存在的問題

融合後影像顏色值取決於全色影像與IHS變換後的I影像之差

7.特徵空間的距離

特徵空間距離的本質：特徵之間的相似性度量，是圖像分類的定量依據。

距離有不同的度量方式:

• 歐式距離
• 街區距離
• 海明距離
• 相關係數
• 餘弦距離
• 直方圖交
• 二次式距離
• 馬式距離

8.視頻穩定

運動估計：

通過圖像匹配的方法獲取視頻相鄰幀間的運動參數，然後以固定幀爲基準，將多幀運動參數進行關聯進而獲取全局運動軌跡。

全局運動軌跡代表攝像機的真實運動軌跡，既包含由人爲意識控制產生低頻、平滑的主動運動，又包括由非人爲意識的外部干擾產生的高頻抖動。

• 主動運動：平滑（低頻）
• 抖動運動：劇烈（高頻）

運動校正：

通過低通濾波或者路徑優化的方法從全局運動中去除抖動分量，獲得一條平滑的主動運動軌跡，其中每幀圖像在主動運動軌跡中的位置稱作平衡位置。

9.圖像配準

圖像拼接技術主要包括：特徵提取、圖像配準和圖像融合

其中圖像配準是整個圖像拼接技術的核心部分，直接決定了圖像拼接結果的質量。圖像配准算法主要分爲3類：

• 基於灰度圖像的匹配
• 基於變換域的匹配
• 基於特徵的匹配

圖像配準：精度、速度

10.濾波示例——噪聲去除

噪聲是隨機量，可以從統計數學的觀點來定義噪聲。凡是統計特性不隨時間變化的噪聲稱爲平穩噪聲，而統計特性隨時間變化的噪聲稱作非平穩噪聲。

以上各種類型的噪聲反映在圖像畫面上，大致可以分爲兩種典型的圖像噪聲：

• 椒鹽噪聲：噪聲的幅值基本相同，但是噪聲出現的位置是隨機的。
• 隨機噪聲：每一點都存在噪聲，但噪聲的幅值是隨機的。

隨機噪聲根據其幅值的概率密度函數，還可分成：高斯噪聲、瑞利噪聲

• 椒鹽噪聲的特徵:
  出現位置是隨機的，但噪聲的幅值是基本相同的。
• 高斯噪聲的特徵：
  出現在位置是一定的（每一點上），但噪聲的幅值是隨機的。

最常見的9種濾波方式：

1. 均值濾波器
2. 中值濾波器
3. 高斯濾波
4. KNN濾波
5. 高通濾波
6. 低通濾波（3*3）
7. 最大均值性平滑濾波
8. 梯度倒數加權濾波及低通濾波（5*5、7*7、9*9、11*11）
9. Kalman濾波

11.圖像灰度直方圖

12.條帶噪聲去除

衛星成像系統中的噪聲成分主要有以下幾種:

• 光電散粒噪聲
  光電轉換時，和物體成像相關的噪聲，符合泊松分佈
• 讀出噪聲
  成像系統本身或者外界環境產生的噪聲，分別加性噪聲以及乘性噪聲
• 條帶噪聲
  探元間光電響應差異或者探元成像性能發生突變產生的噪聲，分爲系統條帶噪聲以及隨機條帶噪聲

隨機條帶噪聲去除方法

通過對實際衛星影像的統計發現，隨機條帶噪聲主要有四個特點：

• 噪聲出現的空間位置是隨機的；
• 噪聲與周圍地物之間高度非線性相關；
• 噪聲的灰度躍變較小，一般在3~5個DN值左右
• 噪聲的存在影響地物的判讀

13.無人機遙感優勢

與傳統拍攝技術設備相比的優勢：

• 輕型小型化，快捷方便
• 時效性強
• 機動性強
• 受環境影響小
• 滿足大比例尺要求
• 成本低廉
• 條件需求低
• 低噪節能

特別適合獲取帶狀地區航拍影像（公路、鐵路、河流、水庫、海岸線等）

14.直方圖均衡化(可能考計算)

直方圖均衡是根據圖像亮度值的出現頻率來分配它們的亮度顯示範圍，使一定灰度範圍內的像元的數量大致相等，得到一幅灰度直方圖爲均勻分佈的新圖像

其實質是對圖像進行非線性變換，重新分配圖像像元值，使一定灰度範圍內的像元的數量大致相等

直方圖均衡化變換函數

設一幅圖像總像元數爲n，亮度級爲L，nk表示第k亮度級rk出現的頻數，則第k亮度級出現的概率爲：

$p_{r}\left(r_{k}\right)=\frac{n_{k}}{n}(k=0,1, \ldots, L-1)$

則變換函數可表示爲：

$S_{k}=(L-1) \sum_{j=0}^{k} p_{r}\left(r_{j}\right)=(L-1) \sum_{j=0}^{k} \frac{n_{j}}{n}(k=0,1, \ldots, L-1)$

直方圖均衡化使得原圖像直方圖上亮度值分佈密集的部分被拉伸，較稀疏的部分被壓縮，從而使圖像的對比度得到增強

累積直方圖

累積直方圖：縱座標是小於或等於特定灰度級像元在圖像中的百分數

直方圖均衡化計算步驟

1. 統計累計頻率P
2. 計算變換函數$\mathbf{S}_{\mathbf{k}}=(\mathbf{L}-\mathbf{1}) \times \mathbf{P}$

其中L是亮度級，P是上一步計算的累計頻率
3. 變換函數四捨五入得到新亮度值

圖像壓縮技術

圖像壓縮：

在不丟失或較少丟失（有用）信息的前提下，以較少的比特（有損或無損地）表示或重新組織原始圖像信息，實現縮減圖像數據量，以減少存儲空間，提高其傳輸、存儲和處理效率

數據冗餘

主要的數據冗餘：

• 編碼（表示）冗餘
• 像素（空間）冗餘
• 心理視覺冗餘

編碼/表示冗餘

如果一個圖像的灰度級編碼，使用了多於實際需要的編碼符號，就稱該圖像包含了編碼冗餘

像素/空間冗餘

對於一個圖像，很多單個像素對視覺的貢獻是冗餘的，這是建立在對鄰居值預測的基礎上

圖像中存在許多灰度級均勻一致的連續區域，通過行程長度編碼和預測編碼

視覺冗餘

視覺感知時對信息的接受是有選擇的

有些信息相對不重要——視覺冗餘信息

亮度 vs.色度
人類視覺系統對色度信號的敏感程度低於亮度信號
高頻 vs.低頻
人類視覺系統對高頻信號的敏感程度低於低頻信號

去除這些信息不會明顯降低對圖像質量的感受

圖像壓縮的技術指標

• 壓縮比:

壓縮前後所需的信息存儲量之比，越大越好

• 相對數據冗餘
• 失真度:

圖像壓縮前後存在的誤差（失真）大小度量

• 平均碼字長度

${{L}_{avg}}=\sum{{{\beta }_{k}}{{P}_{k}}(bit)}$
β是編碼長度，p是出現概率

• 編碼效率

信息論基礎

信息量:
$\text{I(x)=-lo}{{\text{g}}_{2}}\text{p(x) }$

信息熵：
$H(x)=\sum{p(x)I(x)}$

• 熵是無失真編碼下界

• 最大離散熵定理:
  如果信源中各符號的出現概率相等，信源熵值達到最大

• 對非等概率分佈的信源，採用不等長編碼其平均碼長小於等長編碼的平均碼長

• 香農信息論已證明，信源熵是進行無失真編碼的理論極限。

• 可以證明，考慮像素間的相關性，使用高階熵一定可以獲得更高的壓縮比

保真度標準

客觀保真度標準

客觀、便於計算或測量

信息丟失的級別,可以表示爲原始（或輸入）圖像與壓縮後又解壓縮輸出的圖像的函數

• 均方誤差
• 峯值信號噪聲比

$P S N R=10 \log _{10} \frac{(\text {Peak Signal Value})^{2}}{M S E}(\mathrm{dB})$

主觀保真度標準

通過視覺比較兩個圖像，給出一個定性的評價，如失真嚴重、失真較大，稍有失真無可察覺失真、完全無失真，這種評價被稱爲主觀保真度標準。

因人而異，受主觀影響較大、應用不方便

圖像壓縮模型

• 信源編碼：完成圖像原數據壓縮，去除冗餘
• 信道編碼：爲了抗干擾，增加一些容錯、校驗位，實際上是增加冗餘
• 信 道：如Internet、廣播、通訊、可移動介質

信源編碼與解碼模型

• 映射器：減少像素冗餘，如使用RLE編碼，或進行圖像變換（空域-頻率）
• 量化器：減少視覺心理冗餘，僅用於有損壓縮
• 符號編碼器：減少編碼冗餘，如使用哈夫曼編碼

圖像壓縮技術分類

無損壓縮

• 重構圖像與原圖像完全一樣
• 對原始信號的準確程度要求高的場合
• 壓縮倍率低，平均壓縮2-8倍左右

有損壓縮

• 解碼後重新構造的圖像與原始圖像存在不同
• 利用心理冗餘和空間冗餘
• 容易取得較好的壓縮比，10、100倍！

圖像無損壓縮

基於字典的壓縮

行程編碼（RLE）

優勢

• 直觀、簡單，編解碼複雜度低
• 對有大面積色塊的圖像，壓縮效果好
• 易於檢索、疊加合併等操作

劣勢

• 對於紋理複雜的圖像，壓縮效果不好，最壞情況下，會加倍圖像數據
• 在傳輸過程中，如果一位符號發生錯誤，即可影響整個序列，使行程編碼無法還原回原始數據

LZW編碼

基本思想：

• 去除像素冗餘
• 一種無損壓縮，稱爲字串表編碼
• 與RLE類似，通過對字符串進行編碼實現壓縮
• 不同點：編碼同時動態生成了特定字符串以及與之對應的一個索引字符串表(字典庫)

編碼原理：

• 基於字典庫查找
• 讀入待壓縮的數據，並與字典庫（初始爲空）中的字符串對比
• 如果字典中沒有該字符串，就把該字符串存到字典中，並用字典的地址（位置索引）作爲這個字符串的編碼
• 如果字典中有匹配的字符串，就用字典中的位置索引代替字符串

特點:

• 能有效利用字符出現頻率冗餘度進行壓縮，且字典是自適應生成的
• 對於數據流中連續重複出現的字節和字串，具有很高的壓縮比，平均壓縮比在2：1以上，最高壓縮比可達到3：1
• 算法簡單，壓縮和解壓縮速度較快
• 除用於圖像壓縮外，還被用於文本程序等壓縮

應用:

• GIF、TIFF等都使用LZW壓縮法

統計編碼

統計編碼:

• 根據信息出現概率分佈特性進行的壓縮編碼

變長最佳編碼定理:

• 在變長碼中，對出現概率大的信息符號賦予短碼字，而對於出現概率小的信息符號賦予長碼字。如果碼字長度嚴格按照所對應符號出現概率大小順序排列，則編碼結果平均碼字長度一定小於任何其它排列方式
• 變長編碼是統計編碼中最爲主要的一種方法

霍夫曼編碼

基本思想:

• 霍夫曼編碼是根據最佳編碼定理，應用霍夫曼算法而產生的一種編碼方法
• 統計符號的出現概率，建立一個概率統計表，將最常出現(概率大的)的符號用最短的編碼，最少出現的符號用最長的編碼
• 通過減少編碼冗餘來達到壓縮的目的
• 是一種最優二元前綴碼

靜態編碼:

• 在壓縮之前就建立好一個概率統計表和編碼樹
• 算法速度快，但壓縮效果不是最好

動態編碼:

• 對每一個圖像，臨時建立概率統計表和編碼樹
• 算法速度慢，但壓縮效果最好

優點:

• 基礎是統計源數據集中各信號的概率分佈
• 在無失真編碼方法中效率優於其他方法，是一種最佳變長碼，其平均碼長接近於熵值，且在符號概率等於2的負整數次冪時能產生最佳編碼（平均碼長等於信息熵）

缺點：

• 信源數據成分複雜時，龐大信源集致使碼錶較大，碼錶生成計算量增加，編譯碼速度變慢
• 不等長編碼致使硬件譯碼電路實現困難，致使Huffman編碼的實際應用受到限制

算術編碼（可能計算）

算術編碼:

• 根據信源可能發現的不同符號序列的概率，把[0，1]區間劃分爲互不重疊的子區間，子區間的寬度恰好是各符號序列的概率
• 這樣信源發出的不同符號序列將與各子區間一一對應，因此每個子區間內的任意一個實數都可以用來表示對應的符號序列，這個數就是該符號序列所對應的碼字
• 將整個信源映射爲實數[0,1)區間上的一個小區間，根據每個符號出現的概率及其算術運算，對子區間的下界和長度進行遞歸的分割
• 信源序列中符號越多，所得到的子區間就越小，就需要更多位數來表示該區間
• 在該區間內選擇一個代表性的小數，轉換爲二進制作爲實際的編碼輸出
• 不需採用整數個數的碼字，即並不是將單個信源符號映射成一個碼字，因此是一種趨近於熵的最佳編碼方法

無損預測編碼

像素冗餘：

• 反映靜止圖像中像素間的空間相關（結構、幾何關係等）和連續圖像中相鄰幀間的時間相關
• 如果圖像中像素之間存在空間相關，則任何給定像素的值可以根據與這個像素相鄰的像素進行預測，所以單個像素攜帶的信息相對較少
• 對於一幅圖像，很多單個像素對視覺貢獻是冗餘的，其值可通過相鄰像素值爲基礎進行預測

編碼思想:

• 認爲相鄰像素的信息有冗餘，當前像素值可以用以前的像素值來預測，從而去除像素冗餘
• 對當前像素值fn，通過預測器得到一個預測值fn’，對當前值和預測值求差，對差編碼，作爲壓縮數據流中的下一個元素。由於差比原數據要小，因而編碼要小，可用變長編碼

視頻壓縮技術

視頻壓縮的必要性與可能性

視頻中存在大量信息冗餘：

• 心理視覺冗餘
  人類視覺系統(HVS)的分辨率有限
  人類視覺系統對色度信號的敏感程度低於亮度信號
• 空域冗餘
  自然圖像的大部分區域是平坦均勻的
  相鄰像素之間存在着極強的空間相關性
• 時域冗餘
  視頻相鄰幀運動變化很小，大量統計發現，其相關係數達80%，也就是說相鄰的二幅畫面80%左右是一樣或近似的
• 統計冗餘
  由於待編碼的符號（symbol）的機率分佈不均勻（non-uniform）而導致的統計上的信息冗餘

  例如：
  字母“e”在英語中比字母“z”更加常用
  字母“q”後面是“z”的可能性非常小
  根據信息理論：“the lower the probability, the higher the entropy.”
  因此，可採用“the higher the entropy, the less bits to express” 來消除這種冗餘

視頻壓縮關鍵技術

幀內預測編碼

色度採樣: 去除視覺冗餘
幀內預測: 去除空域冗餘
幀間預測: 去除時域冗餘
變換編碼: 去除空域冗餘
量化: 去除視覺冗餘
熵編碼: 去除統計冗餘

幀間預測

通過相鄰幀內的信號預測當前幀信號，只需保存或傳輸殘差值即可

幀結構

• I幀：幀內編碼幀
• P幀：前向預測編碼幀
• B幀：雙向預測內插編碼幀

引入Ｂ幀圖像:

• 優點：可更好的預測和壓縮、解決對象的遮擋現象、平滑噪聲；
• 缺點：編碼器延時增加(不適合實時應用)、複雜性增高、需要更多的緩衝存儲單元

去除時域冗餘

運動估計:

• 尋找當前編碼塊在已編碼圖像（參考幀）中的最佳對應塊，並計算出對應塊的位置（即運動矢量）
• 參數模型：6參數仿射模型
• 非參數模型：塊匹配法

運動補償:

根據運動矢量和幀間預測方法，求得當前幀的預測值的過程

運動搜索的塊大小:

• 太大：殘差大，預測效果差
• 太小：殘差小，但運動矢量多
• H.264：16*16、8*8、4*4

HEVC：基於遞歸四叉樹的CTU/CU/PU/TU劃分

多層四叉樹遞歸，複雜度大幅提升

運動搜索範圍:

• 太大：保證全局最優，但計算量太大
• 太小：無法找到最佳匹配，預測殘差大
• 折中：16或32

塊匹配標準:

• 差值平方和（Sum of Squared Difference, SSD/SSE)

• 均方誤差(Mean Square Difference, MSD/MSE)

  高精度、高複雜度

• 絕對誤差和(Sum of Absolute Difference, SAD/SAE)

• 平均絕對差（Mean absolute difference, MAD)

• SATD(Sum of Absolute Transformed Difference)

  SAD最簡單（只需加減法+絕對值），最常用

快速塊匹配算法

典型搜索算法:

• 二維對數搜索法
• 三步搜索法
• 菱形搜索法

量化——去除視覺冗餘

VBR：可變比特率

• 開環處理，輸入爲視頻源和一個固定QP值
• 大動態、高速運動的物體等場景：碼率很高
• 靜態的、相對靜止缺乏變化的場景：碼率很低
• 問題：比特率不穩定

CBR：恆定比特率

• 閉環處理，輸入爲視頻源和目標碼率
• 根據對源複雜度估計、解碼緩衝的大小及網絡帶寬估計動態調整QP，得到符合要求的碼率
• 問題：質量不穩定

碼率控制： 碼率平穩 & 質量平穩

熵編碼——去除信息熵冗餘

針對數據信息量而言，熵爲下限

例：哈夫曼編碼(Huffman Coding)：對出現概率高的符號分配短的碼字，得到符號平均碼長最短的碼

主要視頻壓縮技術及其貢獻

色彩空間轉換->幀內/幀間預測->變換編碼與量化->熵編碼

客觀評價標準

• 均方誤差（Mean Square Error, MSE）
• 峯值信噪比(PSNR)

標準

H.264/AVC