生產實踐中的數據往往會有一定的偏差。例如我們知道兩個變量X與Y之間呈線性關係,Y=aX+b,我們想確定參數a與b的具體值。通過實驗,可以得到一組X與Y的測試值。雖然理論上兩個未知數的方程只需要兩組值即可確認,但由於系統誤差的原因,任意取兩點算出的a與b的值都不盡相同。我們希望的是,最後計算得出的理論模型與測試值的誤差最小。大學的高等數學課程中,詳細闡述了最小二乘法的思想。通過計算最小均方差關於參數a、b的偏導數爲零時的值。事實上,在很多情況下,最小二乘法都是線性迴歸的代名詞。
遺憾的是,最小二乘法只適合與誤差較小的情況。試想一下這種情況,假使需要從一個噪音較大的數據集中提取模型(比方說只有20%的數據時符合模型的)時,最小二乘法就顯得力不從心了。例如下圖,肉眼可以很輕易地看出一條直線(模式),但算法卻找錯了。
RANSAC算法的輸入是一組觀測數據(往往含有較大的噪聲或無效點),一個用於解釋觀測數據的參數化模型以及一些可信的參數。RANSAC通過反覆選擇數據中的一組隨機子集來達成目標。被選取的子集被假設爲局內點,並用下述方法進行驗證:
- 有一個模型適應於假設的局內點,即所有的未知參數都能從假設的局內點計算得出。
- 用1中得到的模型去測試所有的其它數據,如果某個點適用於估計的模型,認爲它也是局內點。
- 如果有足夠多的點被歸類爲假設的局內點,那麼估計的模型就足夠合理。
- 然後,用所有假設的局內點去重新估計模型(譬如使用最小二乘法),因爲它僅僅被初始的假設局內點估計過。
- 最後,通過估計局內點與模型的錯誤率來評估模型。
- 上述過程被重複執行固定的次數,每次產生的模型要麼因爲局內點太少而被捨棄,要麼因爲比現有的模型更好而被選用。
整個過程可參考下圖:
關於算法的源代碼,Ziv Yaniv曾經寫一個不錯的C++版本,我在關鍵處增補了註釋:
#include <math.h>
#include "LineParamEstimator.h"
LineParamEstimator::LineParamEstimator(double delta) : m_deltaSquared(delta*delta) {}
/*****************************************************************************/
/*
* Compute the line parameters [n_x,n_y,a_x,a_y]
* 通過輸入的兩點來確定所在直線,採用法線向量的方式來表示,以兼容平行或垂直的情況
* 其中n_x,n_y爲歸一化後,與原點構成的法線向量,a_x,a_y爲直線上任意一點
*/
void LineParamEstimator::estimate(std::vector<Point2D *> &data,
std::vector<double> ¶meters)
{
parameters.clear();
if(data.size()<2)
return;
double nx = data[1]->y - data[0]->y;
double ny = data[0]->x - data[1]->x;// 原始直線的斜率爲K,則法線的斜率爲-1/k
double norm = sqrt(nx*nx + ny*ny);
parameters.push_back(nx/norm);
parameters.push_back(ny/norm);
parameters.push_back(data[0]->x);
parameters.push_back(data[0]->y);
}
/*****************************************************************************/
/*
* Compute the line parameters [n_x,n_y,a_x,a_y]
* 使用最小二乘法,從輸入點中擬合出確定直線模型的所需參量
*/
void LineParamEstimator::leastSquaresEstimate(std::vector<Point2D *> &data,
std::vector<double> ¶meters)
{
double meanX, meanY, nx, ny, norm;
double covMat11, covMat12, covMat21, covMat22; // The entries of the symmetric covarinace matrix
int i, dataSize = data.size();
parameters.clear();
if(data.size()<2)
return;
meanX = meanY = 0.0;
covMat11 = covMat12 = covMat21 = covMat22 = 0;
for(i=0; i<dataSize; i++) {
meanX +=data[i]->x;
meanY +=data[i]->y;
covMat11 +=data[i]->x * data[i]->x;
covMat12 +=data[i]->x * data[i]->y;
covMat22 +=data[i]->y * data[i]->y;
}
meanX/=dataSize;
meanY/=dataSize;
covMat11 -= dataSize*meanX*meanX;
covMat12 -= dataSize*meanX*meanY;
covMat22 -= dataSize*meanY*meanY;
covMat21 = covMat12;
if(covMat11<1e-12) {
nx = 1.0;
ny = 0.0;
}
else { //lamda1 is the largest eigen-value of the covariance matrix
//and is used to compute the eigne-vector corresponding to the smallest
//eigenvalue, which isn't computed explicitly.
double lamda1 = (covMat11 + covMat22 + sqrt((covMat11-covMat22)*(covMat11-covMat22) + 4*covMat12*covMat12)) / 2.0;
nx = -covMat12;
ny = lamda1 - covMat22;
norm = sqrt(nx*nx + ny*ny);
nx/=norm;
ny/=norm;
}
parameters.push_back(nx);
parameters.push_back(ny);
parameters.push_back(meanX);
parameters.push_back(meanY);
}
/*****************************************************************************/
/*
* Given the line parameters [n_x,n_y,a_x,a_y] check if
* [n_x, n_y] dot [data.x-a_x, data.y-a_y] < m_delta
* 通過與已知法線的點乘結果,確定待測點與已知直線的匹配程度;結果越小則越符合,爲
* 零則表明點在直線上
*/
bool LineParamEstimator::agree(std::vector<double> ¶meters, Point2D &data)
{
double signedDistance = parameters[0]*(data.x-parameters[2]) + parameters[1]*(data.y-parameters[3]);
return ((signedDistance*signedDistance) < m_deltaSquared);
}
RANSAC尋找匹配的代碼如下:
/*****************************************************************************/
template<class T, class S>
double Ransac<T,S>::compute(std::vector<S> ¶meters,
ParameterEsitmator<T,S> *paramEstimator ,
std::vector<T> &data,
int numForEstimate)
{
std::vector<T *> leastSquaresEstimateData;
int numDataObjects = data.size();
int numVotesForBest = -1;
int *arr = new int[numForEstimate];// numForEstimate表示擬合模型所需要的最少點數,對本例的直線來說,該值爲2
short *curVotes = new short[numDataObjects]; //one if data[i] agrees with the current model, otherwise zero
short *bestVotes = new short[numDataObjects]; //one if data[i] agrees with the best model, otherwise zero
//there are less data objects than the minimum required for an exact fit
if(numDataObjects < numForEstimate)
return 0;
// 計算所有可能的直線,尋找其中誤差最小的解。對於100點的直線擬合來說,大約需要100*99*0.5=4950次運算,複雜度無疑是龐大的。一般採用隨機選取子集的方式。
computeAllChoices(paramEstimator,data,numForEstimate,
bestVotes, curVotes, numVotesForBest, 0, data.size(), numForEstimate, 0, arr);
//compute the least squares estimate using the largest sub set
for(int j=0; j<numDataObjects; j++) {
if(bestVotes[j])
leastSquaresEstimateData.push_back(&(data[j]));
}
// 對局內點再次用最小二乘法擬合出模型
paramEstimator->leastSquaresEstimate(leastSquaresEstimateData,parameters);
delete [] arr;
delete [] bestVotes;
delete [] curVotes;
return (double)leastSquaresEstimateData.size()/(double)numDataObjects;
}
在模型確定以及最大迭代次數允許的情況下,RANSAC總是能找到最優解。經過我的實驗,對於包含80%誤差的數據集,RANSAC的效果遠優於直接的最小二乘法。
RANSAC可以用於哪些場景呢?最著名的莫過於圖片的拼接技術。優於鏡頭的限制,往往需要多張照片才能拍下那種巨幅的風景。在多幅圖像合成時,事先會在待合成的圖片中提取一些關鍵的特徵點。計算機視覺的研究表明,不同視角下物體往往可以通過一個透視矩(3X3或2X2)陣的變換而得到。RANSAC被用於擬合這個模型的參數(矩陣各行列的值),由此便可識別出不同照片中的同一物體。可參考下圖:
另外,RANSAC還可以用於圖像搜索時的糾錯與物體識別定位。下圖中,有幾條直線是SIFT匹配算法的誤判,RANSAC有效地將其識別,並將正確的模型(書本)用線框標註出來:
原始地址:http://grunt1223.iteye.com/blog/961063