20180911圖像處理專業名詞

本文：

1. 圖像處理專業名詞，用於理解或調試代碼使用，或是理解圖像/視頻編碼算法的基礎知識。
2. 本文適合讀者直接搜索查看關鍵字，不建議順序閱讀。

資料補充說明:

1. 補充請按照：專業名詞，話題相關，提供鏈接，少量文字補充。
2. 提供一個主要的鏈接，作爲主要參考文章。
3. 允許標題最後提供更多的參考鏈接。
4. 從下往上補充，越在上面的表示急需補充。

 

去隔行

去隔行，獲取：

1. 去隔行含義（將隔行視頻轉爲逐行視頻，數據量倍增而信息量不變）
2. 去隔行步驟（如果不理解H.264編碼模型的話，不需要看）

 

直方圖

如何看懂照片的直方圖？，獲取：

1. 直方圖的座標含義分析，並舉一例說明“對比度正常的中間調”
2. 觀看規則：左黑右白，左邊表示暗部（陰影），右邊表示亮部（高亮）；縱向高度表示像素密集程度，越高，表示在這個亮度上的像素越多。並舉例說明“高調低調的直方圖”
3. 從中引申：對比度（在直方圖上是高光和陰影部分都有像素），舉例說明“低對比”圖像的效果

推薦閱讀：加深一下理解。

直方圖的調子與對比度

直方圖的亮度與顏色

 

圖像噪聲

百科·圖像噪聲，獲取：（本文量大，不建議細看，尤其是噪聲分類）

1. 噪聲的概念（生活噪聲--圖像噪聲，連接理解），噪聲（可用概率分佈描述），圖像噪聲爲多維噪聲。同時圖像信息的認識理解由人的視覺系統決定（導致噪聲也因人的感受不同而不同）。

 

圖像降噪/去噪

百科·降噪，獲取：

1. 降噪概念（圖像復原的一種，圖像的干擾，如果聲音有噪音一樣，在圖像上就是有“雜點”（多餘像素））
2. 降噪成因（數字化--量化噪聲、傳輸過程）

 

圖像降噪與濾波，獲得：

1. 濾波是降噪的一種方法（濾波是手段，降噪是目的），但濾波不止可以降噪，可以做更多的事情，比如邊緣檢測等。

 

圖像增強與復原

圖像增強與圖像復原的異同，獲取：

1. 解答一：增強和復原各自解決的問題，以及判斷依據
2. 解答二：分析處理出發點，判斷依據

補充，關於復原的程度解答：

目前圖像復原可以做到什麼水平，推薦一看，很短，而且帶有示例，易於理解。

 

圖像類型

維基·灰度圖像，獲取：

1. 灰度圖（鏈接有舉例），灰度值（色彩的濃淡程度）

維基·二值圖像，等同於黑白圖像

 

圖像平滑

百科·圖像平滑，獲取：

1. 什麼是圖像平滑（突出低頻，抑制高頻 ），有何作用（使圖像亮度平緩漸變，減小突變梯度）

 

圖像銳化（圖像增強的一種）

簡述：補償圖像的輪廓（圖像的最大特徵），增強圖像的邊緣及灰度級跳變部分（高頻部分），使得圖像變得清晰（輪廓分明，圖像主體架構明顯），突出細節部分。

圖像銳化（增強）和邊緣檢測（請不要看邊緣檢測部分），獲取：

1. 爲何需要銳化（圖像消除噪聲後，邊緣和輪廓出現模糊情況）
2. 積分/平均運算對高頻數據的影響（濾波）
3. 文尾提供圖片。

 

邊緣檢測

數字圖像中邊緣算法的實驗研究，獲取：

1. 什麼叫邊緣檢測（提出圖像的基本輪廓架構），與圖像處理/識別有何關係（最基礎的內容之一）
2. 一幅圖像的主要信息（輪廓框架），圖像的特徵，圖像邊緣與圖像特徵（圖像場中可用作標誌的屬性）的關係
3. 什麼叫圖像的邊緣（指周圍像素灰度有階躍變化或屋頂變化的那些像素的集合）
4. 邊緣檢測的要求：速度快、定位準確、噪聲抑制強
5. 文尾提供圖片。

下面提供更詳細的參考：不建議看了，太花時間，上面已經足夠理解邊緣檢測了。

百科·邊緣檢測

維基·邊緣檢測

 

圖像噪點

備註：其實就是圖片具有較強的顆粒感，在信號處理方便，噪聲就是高頻分量。

百科·噪點，獲取：

1. 區分壞點（雜點總是出現在同一個位置）與噪點（隨圖像內容產生，位置隨機）
2. 像素點以電壓值保留（8bit/12bit等），在真實值上附加干擾（波動電壓值），改變了電壓值，所以顏色變化。
3. 產生原因：本質原理（感光元件存在熱穩定性問題，就是成像的質量與穩定有關）
   1. 長時間曝光（快門速度低，sensor感光區域長時間接受信號）
   2. 用JPEG格式對圖像壓縮而產生的噪點（此時爲馬賽克噪聲），這是編碼造成的噪點
   3. 模糊過濾造成的噪點（成因：突出色彩邊緣、圖像銳化），也就圖像被過渡處理造成
   4. 感光元件面積太小造成噪點，攝像頭的問題

 

曝光

百科·曝光，獲取：

1. 曝光的概念（開窗接收陽光的比喻）
2. 正確曝光的因素（光圈（攝像機參數）、快門速度、ISO（感光度，sensor參數））

 

 

從ISP當中學到的圖像處理知識（詳細看文檔《Hi3519V100 ISP 3A開發指南》，只看簡述即可）

 

理解--曝光量

控制方式：根據自動測光系統獲得當前圖像的曝光量，再自動配置鏡頭光圈、 sensor 快門及增益來獲得最佳的圖像質量。 AE 算法也支持客戶設定更靈活的曝光分配策略。

1. 曝光時間： sensor （具備感光區域）積累電荷的時間，是 sensor pixel 從開始曝光到電量被讀出的這段時間。
2. 曝光增益：對 sensor 的輸出電荷的總的放大係數，一般有數字增益和模擬增益，模擬增益引入的噪聲會稍小，所以一般優先用模擬增益。
3. 光圈：光圈是鏡頭中可以改變中間孔大小的機械裝置。曝光量=（光圈+快門）的組合產生。
4. 抗閃爍：由於電燈的電源工頻與 sensor 的幀率（攝像頭自身的曝光周期，也就是輸出原始圖像幀的幀率）不匹配而導致的畫面閃爍，一般通過限定曝光時間和修改 sensor 的幀率來達到抗閃爍的效果。（穩定輸入的光流，獲取平衡的曝光效果）

 

理解--色溫

控制方式： 色溫隨可見光的光譜成分變化而變化，在低色溫光源下，白色物體偏紅，在高色溫光源下，白色物體偏藍。人眼可根據大腦的記憶判斷，識別物體的真實顏色， AWB 算法的功能是降低外界光源對物體真實顏色的影響，使得我們採集的顏色信息轉變爲在理想日光光源下的無偏色信息。

1. 色溫：色溫是按絕對黑體來定義的，光源的輻射在可見區和絕對黑體的輻射完全相同時，此時黑體的溫度就稱此光源的色溫。
2. 白平衡：在不同色溫的光源下，白色在傳感器中的響應會偏藍或偏紅。白平衡算法通過調整 R, G, B 三個顏色通道的強度，使白色真實呈現。（也就是依賴白色作爲參照顏色調節）

 

理解--光譜

控制方式： sensor 對光譜的響應，在 RGB 各分量上與人眼對光譜的響應通常是有偏差的，通常通過一個色彩校正矩陣校正光譜響應的交叉效應和響應強度，使前端捕獲的圖片與人眼視覺在色彩上保持一致。（個人理解爲將參考色彩RGB設定爲同一常量）

1. 色彩還原：通常通過一個色彩校正矩陣校正光譜響應的交叉效應和響應強度，使ISP 處理後的圖片與人眼視覺在色彩上保持一致。
2. 飽和度：也稱色彩的純度。取決於該色中含色成分和消色成分(灰色)的比例。含色成分越大，飽和度越大；消色成分越大，飽和度越小。

 

理解即可：

     Sharpen 模塊用於增強圖像的清晰度，包括調節圖像邊緣的銳化屬性和增強圖像的細節和紋理，同時還能控制圖像水平和垂直方向的邊緣銳化的強度。此外，還能控制銳化後的圖像的 overshoot 和 undershoot，以及抑制噪聲的增強。

 

 

安迅士公司（下面的文章鏈接，都來這家公司）

認證鏈接：主要是裏面的 網絡視頻技術指南

學習鏈接：在線課程、網絡文章（本人主要參考資料）、視頻

該公司爲監控公司，全球提供服務，本次項目僅編碼（IPC其中一個功能，並沒有圖像處理等功能）。

 

網絡視頻技術（60秒左右的視頻，將基本概念秒入大腦，網速慢的話，就不用打開了）

1. 熱成像：夜間攝像頭原理
2. 幀速與快門速度：捕捉圖像速度
3. 圖像噪點：抽取一羣像素點，像素點以電壓方式表示，電壓的波動大小（佔比）造成像素點表示顏色脫離真實，形成噪點。
4. 自動聚焦：聚焦也稱爲對焦
5. 寬動態：強光或黑暗環境下，調整亮度範圍，模擬人眼的亮度適應性。

 

網絡文章（大量內容，根據需要挑選解讀，下面是本人學習過程中的所閱讀的）     

成像介紹，獲取：

1. 調節光線（光照方向--鏡頭旋轉、光照強度--曝光設置、色溫--白平衡）
2. 曝光時間短--運動模糊，光圈小（此時光圈值大）--增加景深
3. 解釋景深
4. 分辨率（作用不大）
5. 寬動態（兩次不同的曝光，拍攝兩張圖片合併，以獲得動態範圍更寬的最終圖像）

圖像質量，獲取：

1. 光（光的成像原理）與圖像質量
2. 攝像機（光圈--景深、快門--運動模糊、增益--圖像噪點）與圖像質量
3. 色溫（白平衡）與圖像質量
4. 抗閃爍、寬動態與圖像質量
5. 壓縮率（有損壓縮）與圖像質量

攝像機參數，獲取：（知識比較廣，如果不想了解這麼多，可以選擇跳過）

1. 感光度（理解測量最低照度lux的兩種方式）
2. 鏡頭要素（三種視野）
   1. 解釋了“魚眼”效果
   2. 影響進光量（曝光效果）三因素：鏡頭聚光能力（光圈），曝光時間（sensor接收光的時間），放大器增益（加大圖像亮度，但同時也放大了噪聲）；首選，前兩個調節曝光。
   3. 長曝光--運動模糊；增加光圈--景深效果下降
   4. 延長曝光時間--提高圖像質量（曝光效果好了），但運動拖尾（每幀曝光時間延長，視頻總幀率下降）
   5. 景深：指清晰顯示焦點近處及遠處物體的距離
3. 光圈控制（針對光圈的討論，可以回顧一下光圈到底起到什麼作用），光圈的孔徑開閉合的能力。
4. 圖像傳感器<sensor>（用於感光，光信號轉電信號），兩種（CCD/COMS）
5. 圖像掃描技術（隔行、逐行）
6. 圖像處理（背光補償、曝光區、寬動態範圍）
7. 遠程變焦（移動鏡頭）、遠程對焦（不移動鏡頭）和像素技術器（可理解爲ROI）

分辨率，獲取：（視頻顯示的標準）

1. NTSC與PAL分辨率的解析，以及去隔行
2. HDTV分辨率
3. 圖像寬高比（4:3/16:9）

視頻壓縮，獲取：

1. 視頻壓縮
   1. 壓縮原理（減少冗餘信息）
   2. 時延（文件壓縮、傳送、解壓和顯示所需的總時間），壓縮算法越高級，時延越長。
   3. 壓縮效果（碼率、質量、時延）
   4. 差分編碼（H.264叫做預測編碼，去掉冗餘信息的最關鍵算法）
   5. IPB幀（圖文）
2. 壓縮格式（可以跳過，但看了會更好一點）
3. 碼率控制（CBR、VBR）

 

下面是海思MPP提及到的專業名詞，部分解析字節摘錄文檔

---

DCI 是自動對比度增強的簡稱（ Dynamic Contrast Improvement） MPP-209頁

     根據當前圖像的亮度分佈情況，動態地調整圖像的亮度和對比度。由於環境的影響，採集到的圖像往往會出現偏暗、偏亮和對比度不足的情況。DCI將偏亮的圖像亮度調小，偏暗的圖像亮度調大，增加單調圖像的對比度，減少亮度變化過大的圖像的對比度。

點評：有點類似於WDR模式