圖像視覺系統五問—圖像基礎知識

圖像視覺系統五問—圖像基礎知識

第一問：視覺系統都有哪些構成要素? 以機械臂視覺控制系統爲例，說明視覺系統的構成要素。

1、照明設備：光源

通過適當的光源照明設計，使圖像中的目標信息與背景信息得到最佳分離，可以大大降低圖像處理算法分割、識別的難度，同時提高系統的定位、測量精度，使系統的可靠性和綜合性能得到提高。反之，如果光源設計不當，會導致在圖像處理算法設計和成像系統設計中事倍功半。因此，光源及光學系統設計的成敗是決定系統成敗的首要因素。在機器視覺系統中，光源的作用至少有以下幾種：

• 照亮目標，提高目標亮度；
• 形成最有利於圖像處理的成像效果；
• 克服環境光干擾，保證圖像的穩定性；
• 用作測量的工具或參照；
  

2、成像設備：相機

機器視覺相機的目的是將通過鏡頭投影到傳感器的圖像傳送到能夠儲存、分析和（或者）顯示的機器設備上。按照芯片類型可以分爲CCD相機、CMOS相機；按照傳感器的結構特性可以分爲線陣相機、面陣相機；按照掃描方式可以分爲隔行掃描相機、逐行掃描相機；按照分辨率大小可以分爲普通分辨率相機、高分辨率相機；按照輸出信號方式可以分爲模擬相機、數字相機；按照輸出色彩可以分爲單色（黑白）相機、彩色相機；按照輸出信號速度可以分爲普通速度相機、高速相機；按照響應頻率範圍可以分爲可見光（普通）相機、紅外相機、紫外相機等。

3、處理設備：主機

人工智能主要的處理器分爲：CPU、GPU、FPGA、ASIC等。隨着這幾年人工智能技術的發展，各大廠家都在大力研發人工智能處理器，由於GPU非常適合機器學習算法的計算，目前各大廠商都推出性能強悍的GPU處理器，甚至推出人工智能專用芯片，以適應人工智能計算的高性能要求。

4、算法軟件：視覺處理系統

機器學習的算法很多，我們從兩個方面來介紹，第一個方面是學習的方式，第二個方面是根據算法的功能和形式的類似性。

• 學習的方式分類：監督式學習、非監督式學習、半監督式學習和強化學習。
• 算法的功能和形式的類似性分類：迴歸算法、基於實例的算法、正則化方法、決策樹學習、貝葉斯方法、基於核的算法、聚類算法、關聯規則學習、人工神經網絡、深度學習、降低維度算法、集成算法。
• 其中，計算機視覺常用的算法有：半監督式學習、人工神經網絡、深度學習等。

詳情請參考：《人工智能之機器學習常見算法》

如圖是一個機械臂選取指定點數色子的計算機視覺系統：

系統主要由相機、光源、計算機、算法、機械臂組成。
相機採集色子的圖像信息傳輸給計算機，然後通過圖像算法將需要選取的色子進行定位分析，進而控制機械臂抓取指定的色子。

第二問：嘗試從模仿人類視覺處理流程的角度，闡述本對課程內容組織的理解。進一步在網上搜索，找到自己認爲學習過程中最值得參考的1-2本書(不要太厚)

如圖是人類視覺處理流程和課程體系的框架圖：

本課程的講解過程模仿人類視覺處理的流程，循序漸進，通俗易懂，比較能夠讓人理解其中的原理。

課程體系中的圖像採集模擬人類眼睛對畫面的感知；圖像預處理模擬視網膜對畫面的採集和處理；特徵提取、邊緣檢測、圖像分割模擬人類對畫面中物體的認識；位置估計、運動估計、相機標定模擬人類對畫面中物體行爲的理解；三維視覺則模擬人類對整個畫面的內在聯繫的理解。

推薦2本本人購買的書，嘻嘻！

《OpenCV 3計算機視覺 Python語言實現》

• 本書分9章來介紹計算機視覺的重要概念，所有的概念都融入了一些很有趣的項目。本書首先詳細介紹了多個平臺下基於Python的OpenCV安裝，繼而介紹了計算機視覺應用的基本操作，包括圖像文件的讀取與顯示，圖像處理的基本操作（比如邊緣檢測等），深度估計與分割，人臉檢測與識別，圖像的檢索，目標的檢測與識別，目標跟蹤，神經網絡的手寫體識別。可以這樣說，本書是一本不可多得的採用OpenCV實踐計算機視覺應用的好書。

《機器學習實戰》

• 主要介紹機器學習基礎，以及如何利用算法進行分類，並逐步介紹了多種經典的監督學習算法，如k近鄰算法、樸素貝葉斯算法、Logistic迴歸算法、支持向量機、AdaBoost集成方法、基於樹的迴歸算法和分類迴歸樹（CART）算法等。第三部分則重點介紹無監督學習及其—些主要算法：k均值聚類算法、Apriori算法、FP-Growth算法。第四部分介紹了機器學習算法的—些附屬工具。

第三問：什麼是光通量和輻照度？說明幾個常見光源的光通量，以及幾個常見照明環境的輻照度。

• 光通量：指人眼所能感覺到的輻射功率，它等於單位時間內某一波段的輻射能量和該波段的相對視見率的乘積
• 以符號Φ表示，單位是lm(流明)
• 1流明 = 0.00146 瓦
  常見光源光通量：

光源	光通量
太陽	3.566×1028 lm
燭光	12.56 lm
白熾燈/滷鎢燈	12～24 lm／W
熒光燈和氣體放電燈	50～120 lm／W
LED燈	110 lm／W

• 輻照度：指投射到一平表面上的輻射通量密度。指到達一表平面上，單位時間，單位面積上的輻射能
• 以符號E表示，常用單位是lux(勒克斯)
• 1 lux = 1 lm / m2
  常見照明環境的輻照度：

場景	照度
黑夜	0.001—0.02
陰天室內	5～50
晴天陽光直射	100000
適合閱讀	300～750
家用攝像機標準照度	1400

第四問：結合顏色空間示意圖，簡述HSI顏色空間中各通道的物理意義，並結合圖像實例說明。

• HSI顏色模型：
• 色調H 是描述純色的屬性（如紅色、黃色等）
• 飽和度S 表示的是一種純色被白光稀釋的程度的度量
• 亮度I 體現了無色的光強度概念，是一個主觀的描述

第五問：說明彩色圖像傳感器及γ校正的基本原理。

彩色圖像傳感器原理：彩色圖像傳感器通過帶顏色的像素點過濾顏色來採集彩色信息

如上圖：
某一測試點按照如下規則確定非自身顏色的顏色信息：

• 某一測試點的紅色信息爲該點四角上四個紅色像素點的平均值；
• 某一測試點的綠色信息爲該點上下左右四個綠色像素點的平均值；
• 某一測試點的藍色信息爲該點上下兩個藍色像素點或者左右兩個藍色像素點的平均值；

γ校正的基本原理：

Gamma校正是對輸入圖像灰度值進行的非線性操作，使輸出圖像灰度值與輸入圖像灰度值呈指數關係；

人眼對外界光源的感光值與輸入光強不是呈線性關係的，而是呈指數型關係的。在低照度下，人眼更容易分辨出亮度的變化，隨着照度的增加，人眼不易分辨出亮度的變化。而攝像機感光與輸入光強呈線性關係。如圖所示人眼和攝像機的感光與實際輸入光強的關係，爲方便人眼辨識圖像，需要將攝像機採集的圖像進行gamma校正。