技術概論
1. 相關概念
（1）彩色圖像與深度圖像
彩色圖像也叫作RGB圖像，R、G、B三個分量對應於紅、綠、藍三個通道的顏色，它們的疊加組成了圖像像素的不同灰度級。RGB顏色空間是構成多彩現實世界的基礎。深度圖像又被稱爲距離圖像，與灰度圖像中像素點存儲亮度值不同，其像素點存儲的是該點到相機的距離，即深度值。圖2-1表示深度圖像與灰度圖像之間的關係。
圖2-1 深度圖像與灰度圖像
Fig.2-1 The depth image and gray image
深度值指的目標物體與測量器材之間的距離。由於深度值的大小隻與距離有關，而與環境、光線、方向等因素無關，所以深度圖像能夠真實準確的體現景物的幾何深度信息。通過建立物體的空間模型，能夠爲深層次的計算機視覺應用提供更堅實的基礎。
圖2-2 人物的彩色圖像與深度圖像
Fig.2-2 Color image and depth image of the characters
（2）PCL
PCL（Point Cloud Library，點雲庫）是由斯坦福大學的Dr.Radu等學者基於ROS(Robot Operating System，機器人操作系統)下開發與維護的開源項目，最初被用來輔助機器人傳感、認知和驅動等領域的開發。2011年PCL正式向公衆開放。隨着對三維點雲算法的加入與擴充，PCL逐步發展爲免費、開源、大規模、跨平臺的C++編程庫。
PCL框架包括很多先進的算法和典型的數據結構，如濾波、分割、配準、識別、追蹤、可視化、模型擬合、表面重建等諸多功能。能夠在各種操作系統和大部分嵌入式系統上運行，具有較強的軟件可移植性。鑑於PCL的應用範圍非常廣，專家學者們對點雲庫的更新維護也非常及時。PCL的發展時至今日，已經來到了1.7.0版本。相較於早期的版本，加入了更多新鮮、實用、有趣的功能，爲點雲數據的利用提供了模塊化、標準化的解決方案。再通過諸如圖形處理器、共享存儲並行編程、統一計算設備架構等領先的高性能技術，提升PCL相關進程的速率，實現實時性的應用開發。
在算法方面，PCL是一套包括數據濾波、點雲配準、表面生成、圖像分割和定位搜索等一系列處理點雲數據的算法。基於不同類型區分每一套算法，以此把整合所有三維重建流水線功能，保證每套算法的緊湊性、可重用性與可執行性。例如PCL中實現管道運算的接口流程：
①創建處理對象，例如濾波、特徵估計、圖像分割等；
②通過setInputCloud輸入初始點雲數據，進入處理模塊；
③設置算法相關參數；
④調用不同功能的函數實現運算，並輸出結果。
爲了實現模塊化的應用與開發，PCL被細分成多組獨立的代碼集合。因此便可方便快捷的應用於嵌入式系統中，實現可移植的單獨編譯。如下列舉了部分常用的算法模塊：
libpcl I/O：完成數據的輸入、輸出過程，如點雲數據的讀寫；
libpcl filters：完成數據採樣、特徵提取、參數擬合等過程；
libpcl register：完成深度圖像的配準過程，例如迭代最近點算法；
libpcl surface：完成三維模型的表面生成過程，包括三角網格化、表面平滑等。
此類常用的算法模塊均具有迴歸測試功能，以確保使用過程中沒有引進錯誤。測試一般由專門的機構負責編寫用例庫。檢測到迴歸錯誤時，會立即將消息反饋給相應的作者。因此能提升PCL和整個系統的安全穩定性。
（3）點雲數據
如圖2-3所示，展示了典型的點雲數據（Point Cloud Data，PCD）模型。
圖2-3 點雲數據及其放大效果
點雲數據通常出現在逆向工程中，是由測距設備獲取的物體表面的信息集合。其掃描資料以點的形式進行記錄，這些點既可以是三維座標，也可以是顏色或者光照強度等信息。通常所使用的點雲數據一般包括點座標精度、空間分辨率和表面法向量等內容。點雲一般以PCD格式進行保存，這種格式的點雲數據可操作性較強，同時能夠提高點雲配準融合的速度。本文研究的點雲數據爲非結構化的散亂點雲，屬於三維重建特有的點雲特點。
（4）座標系
在三維空間中，所有的點必須以座標的形式來表示，並且可以在不同的座標系之間進行轉換。首先介紹基本座標系的概念、計算及相互關係。
①圖像座標系
圖像座標系分爲像素和物理兩個座標系種類。數字圖像的信息以矩陣形式存儲，即一副像素的圖像數據存儲在維矩陣中。圖像像素座標系以爲原點、以像素爲基本單位，U、V分別爲水平、垂直方向軸。圖像物理座標系以攝像機光軸與圖像平面的交點作爲原點、以米或毫米爲基本單位，其X、Y軸分別與U、V軸平行。圖2-4展示的是兩種座標系之間的位置關係：
圖2-4 圖像像素座標系與物理座標系
Fig.2-4 Image pixel coordinate system and physical coordinate system
令U-V座標系下的座標點(u0，v0)，與代表像素點在X軸與Y軸上的物理尺寸。那麼圖像中的所有像素點在U-V座標系與在X-Y座標系下的座標間有着如式（2-1）表示的關係：
其中指的是圖像座標系的座標軸傾斜相交而形成的傾斜因子（Skew Factor）。
②攝像機座標系
攝像機座標系由攝像機的光心及三條、、軸所構成。它的、軸對應平行於圖像物理座標系中的、軸，軸爲攝像機的光軸，並與由原點、、軸所組成的平面垂直。如圖2-5所示：
圖2-5攝像機座標系
令攝像機的焦距是f，則圖像物理座標系中的點與攝像機座標系中的點的關係爲：
③世界座標系
考慮到攝像機位置具有不確定性，因此有必要採用世界座標系來統一攝像機和物體的座標關係。世界座標系由原點及、、三條軸組成。世界座標與攝像機座標間有着（2-3）所表達的轉換關係：
其中，是旋轉矩陣，代表攝像機在世界座標系下的指向；是平移向量，代表了攝像機的位置。
權龍教授演講梗概
三維重建中包含深度、視差和重建三個概念，它們基本等價。使用哪個詞彙取決你處在哪個羣體。
計算機視覺中的三維重建包含三大問題：一、位置。假如我給出一張照片，計算機視覺要知道這張照片是在什麼位置拍的。二、多目。通過多目的視差獲取三維信息，識別每一個像素並進行匹配，進行三維重建。三、語義識別。完成幾何三維重建後，要對這個三維信息進行語義識別，這是重建的最終目的。