機器人視覺的基本概念
1.攝像機標定（Camera Calibration）：對攝像機的內部參數、外部參數進行求取的過程。
2.視覺系統標定（Vision System Calibration）：對攝像機和機器人之間關係的確定。
3.手眼系統（Hand-Eye System）：又攝像機和機械手構成的機器人視覺系統。
4.Eye-in-Hand：攝像機安裝在機械手末端並隨機械手一起運動的視覺系統。
5.Eye-to-Hand：攝像機不安裝在機械手末端，不隨機械手運動的視覺系統。
6.視覺測量（Vision Measure/Visual Measure）：根據攝像機獲得的視覺信息對目標的位置和姿態進行的測量。
7.視覺控制（Vision Control/Visual Control）：根據視覺測量獲得目標的位置和姿態，將其作爲給定或者反饋對機器人的位置和姿態進行的控制。
8.視覺伺服（Visual Servo/Visual Servoing）：利用視覺信息對機器人進行的伺服控制，是視覺控制的一種。
9.平面視覺（Planar Vision）：被測對象處在平面內，只對目標在平面的信息進行測量的視覺測量與控制。
10.立體視覺（Stereo Vision）：對目標在三維笛卡爾空間內的信息進行測量的視覺測量與控制。
11.結構光視覺（Structured Light Vision）：利用特定光源照射目標，形成人工特性，由攝像機採集這些特徵進行測量。結構光視覺可簡化圖像處理中的特徵提取，大幅度提高圖像處理速度。
12.主動視覺（Active Vision）：對目標主動照明或者主動改變攝像機參數的視覺系統。
13.被動視覺（Passive Vision）：被動視覺採用自然測量，如雙目視覺。
關於跟蹤的問題與方法：
一、引言：在需要監控的環境裏，如何能夠判斷出進入特定區域的目標，並且能夠跟蹤目標的軌跡。分爲兩種情況：一是靜態背景下的目標跟蹤；二是動態背景下的目標跟蹤。
二、靜態背景下的目標跟蹤方法
1、單目標：目標跟蹤還可以分爲單目標的跟蹤和多目標的跟蹤。單目標的靜態背景下的目標跟蹤指的是攝像頭是固定在某一方位，其所觀察的視野也是靜止的。通常採用背景差分法，即先對背景進行建模，然後從視頻流中讀取圖像（我們稱之爲前景圖像），將前景圖像與背景圖像做差，就可以得到進入視野的目標物體。對於目標的描述，通常用目標連通區域的像素數目的多少來表達目標的大小，或者用目標區域的高寬比等。目標的位置信息可採用投影的方式來定位。
2、多目標：靜態環境下的多目標跟蹤，需要確定每個目標的特徵，位置，運動方向，速度等信息。
3、預處理：由於獲得的圖像總會有着噪聲，需要對圖像做一些預處理，如高斯平滑，均值濾波，或者進行一些灰度拉伸等圖像增強的操作。
三、動態背景下的目標跟蹤
攝像頭在雲臺控制下的旋轉，會使得他所採集的圖像時可在變化，所以，對於整個目標跟蹤過程來說，背景是變化，目標也是在整個過程中運動的，所以跟蹤起來較有難度。
目前課題組提出的方案是：跟蹤過程：在攝像頭不同偏角情況下取得若干背景圖片，建立背景圖片庫――>攝像頭保持固定時，取得當前幀圖片，與圖片庫中的背景圖像匹配，背景差分(灰度差分？)，獲得目標――>目標特徵提取――>實時獲得當前幀圖片，採用跟蹤算法動態跟蹤目標。
提取特徵是一個難點，課題組提出多顏色空間分析的方法。根據彩色圖像在不同的顏色空間裏表徵同一物體呈現出的同態性，可以把目標物體在不同的顏色空間裏進行分解，並將這些關鍵特徵信息進行融合，從而找出判別目標的本質特徵。
跟蹤過程中採用的各種方法說明：
1）在0－360度不同偏角時，獲得背景圖片，可進行混合高斯背景建模，建立圖片庫，以俯仰角和偏轉角不同標誌每張背景圖片，以備匹配使用；
2）背景差分獲得目標後，對差分圖像需要進行平滑、去噪等處理，去除干擾因素；
3）對目標採用多顏色空間（HSV、YUV）特徵提取，對不同顏色空間的特徵相與（AND），得到目標特徵，以更好的在當前幀圖片中找到目標；
4）實時得到的當前幀圖片，進行混合高斯建模，排除樹葉搖動等引起的背景變化；
5）跟蹤算法可採用多子塊匹配方法、camshift方法等。
四、相關理論介紹
近幾年來，一種名爲CamShift的跟蹤算法憑藉其在實時性和魯棒性方面良好的表現，正受到越來越多的關注。現階段CamShift算法已經廣泛應用到感知用戶界面中的人臉跟蹤中，以及一些半自動的運動目標跟蹤。一方面，CamShift算法應該屬於基於區域的方法，它利用區域內的顏色信息對目標進行跟蹤；另一方面，CamShift算法卻是一種非參數技巧,它是通過聚類的方式搜尋運動目標的。
簡單的說，CamShift算法利用目標的顏色特徵在視頻圖像中找到運動目標所在的位置和大小，在下一幀視頻圖像中，用運動目標當前的位置和大小初始化搜索窗口，重複這個過程就可以實現對目標的連續跟蹤。在每次搜尋前將搜索窗口的初始值設置爲運動目標當前的位置和大小，由於搜索窗口就在運動目標可能出現的區域附近進行搜尋，這樣就可以節省大量的搜尋時間，使CamShift算法具有了良好的實時性。同時，CamShift算法是通過顏色匹配找到運動目標，在目標運動的過程中，顏色信息變化不大，所以CamShift算法具有良好的魯棒性。由於RGB顏色空間對光照亮度變化比較敏感，爲了減少光照亮度變化對跟蹤效果的影響，CamShift 算法將圖像由RGB 顏色空間轉化到HSV 顏色空間進行後續處理。
CamShift 的算法流程如圖3.4 所示。首先選擇初始搜索窗口，使窗口恰好包含整個跟蹤目標，然後對窗口中每個像素的H上的值採樣，從而得到目標的色彩直方圖，將該直方圖保存下來作爲目標的色彩直方圖模型。在跟蹤過程中，對視頻圖像處理區域中的每一個像素，通過查詢目標的色彩直方圖模型，可以得到該像素爲目標像素的概率，圖像處理區域之外的其他區域作爲概率爲0的區域。經上述處理，視頻圖像轉換爲目標色彩概率分佈圖，也稱爲目標顏色投影圖。爲便於顯示，將投影圖轉化爲8位的灰度投影圖，概率爲1 的像素值設爲255，概率爲0的像素值爲0，其他像素也轉換爲相應的灰度值。所以，灰度投影圖中越亮的像素表明該像素爲目標像素的可能性越大。
圖中虛線標示的部分是CamShift算法的核心部分，主要目標是在視頻圖像中找到運動目標所在的位置,這一部分被稱爲Mean Shift算法。由於Mean Shift是CamShift的核心，所以正確理解MeanShift就成了理解CamShift算法的關鍵，下面就重點討論Mean Shift算法。
2、混合高斯模型
背景中當樹葉在搖動時，它會反覆地覆蓋某像素點然後又離開，此像素點的值會發生劇烈變化，爲有效地提取感興趣的運動目標，應該把搖動的樹葉也看作背景。這時任何一個單峯分佈都無法描述該像素點的背景，因爲使用單峯分佈就表示己經假定像素點的背景在除了少量噪聲以外是靜止的，單模態模型無法描述複雜的背景。在現有效果較好的背景模型中有些爲像素點建立了多峯分佈模型(如混合高斯模型)，有些對期望的背景圖像進行預測，這些算法的成功之處在於定義了合適的像素級穩態(Stationarity )準則，滿足此準則的像素值就認爲是背景，在運動目標檢測時予以忽略。對於特定的應用場景，要想對特定算法的弱點與優勢進行評價，必須明確這種像素級穩態準則。
對於混 亂的複雜背景，不能使用單高斯模型估計背景，考慮到背景像素值的分佈是多峯的，可以根據單模態的思想方法，用多個單模態的集合來描述複雜場景中像素點值的變化，混合高斯模型正是用多個單高斯函數來描述多模態的場景背景。
混合高斯模型的基本思想是:對每一個像素點，定義K個狀態來表示其所
呈現的顏色，K值一般取3-5之間(取決於計算機內存及對算法的速度要求)，
K值越大，處理波動能力越強，相應所需的處理時間也就越長。K個狀態中每
個狀態用一個高斯函數表示，這些狀態一部分表示背景的像素值其餘部分則
表示運動前景的像素值。