沒有看LBP之前覺得它很神祕,看完了之後也就那麼回事,不過提出LBP的人確實很偉大!!
LBP(Local Binary Pattern,局部二值模式)是一種用來描述圖像局部紋理特徵的算子;它具有旋轉不變性和灰度不變性等顯著的優點。它是首先由T. Ojala, M.Pietikäinen, 和D. Harwood 在1994年提出,用於紋理特徵提取。而且,提取的特徵是圖像的局部的紋理特徵;
1、LBP特徵的描述
原始的LBP算子定義爲在3*3的窗口內,以窗口中心像素爲閾值,將相鄰的8個像素的灰度值與其進行比較,若周圍像素值大於中心像素值,則該像素點的位置被標記爲1,否則爲0。這樣,3*3鄰域內的8個點經比較可產生8位二進制數(通常轉換爲十進制數即LBP碼,共256種),即得到該窗口中心像素點的LBP值,並用這個值來反映該區域的紋理信息。如下圖所示:
LBP的改進版本:
原始的LBP提出後,研究人員不斷對其提出了各種改進和優化。
(1)圓形LBP算子:
基本的 LBP 算子的最大缺陷在於它只覆蓋了一個固定半徑範圍內的小區域,這顯然不能滿足不同尺寸和頻率紋理的需要。爲了適應不同尺度的紋理特徵,並達到灰度和旋轉不變性的要求,Ojala 等對 LBP 算子進行了改進,將 3×3 鄰域擴展到任意鄰域,並用圓形鄰域代替了正方形鄰域,改進後的 LBP 算子允許在半徑爲 R 的圓形鄰域內有任意多個像素點。從而得到了諸如半徑爲R的圓形區域內含有P個採樣點的LBP算子;
(2)LBP旋轉不變模式
從 LBP 的定義可以看出,LBP 算子是灰度不變的,但卻不是旋轉不變的。圖像的旋轉就會得到不同的 LBP值。
Maenpaa等人又將 LBP 算子進行了擴展,提出了具有旋轉不變性的 LBP 算子,即不斷旋轉圓形鄰域得到一系列初始定義的 LBP 值,取其最小值作爲該鄰域的 LBP 值。
圖 2.5 給出了求取旋轉不變的 LBP 的過程示意圖,圖中算子下方的數字表示該算子對應的 LBP 值,圖中所示的 8 種 LBP模式,經過旋轉不變的處理,最終得到的具有旋轉不變性的 LBP 值爲 15。也就是說,圖中的 8 種 LBP 模式對應的旋轉不變的 LBP 模式都是00001111。
(3)LBP等價模式
一個LBP算子可以產生不同的二進制模式,對於半徑爲R的圓形區域內含有P個採樣點的LBP算子將會產生P2 種模式。很顯然,隨着鄰域集內採樣點數的增加,二進制模式的種類是急劇增加的。例如:5×5鄰域內20個採樣點,有220=1,048,576種二進制模式。如此多的二值模式無論對於紋理的提取還是對於紋理的識別、分類及信息的存取都是不利的。同時,過多的模式種類對於紋理的表達是不利的。例如,將LBP算子用於紋理分類或人臉識別時,常採用LBP模式的統計直方圖來表達圖像的信息,而較多的模式種類將使得數據量過大,且直方圖過於稀疏。因此,需要對原始的LBP模式進行降維,使得數據量減少的情況下能最好的代表圖像的信息。
爲了解決二進制模式過多的問題,提高統計性,Ojala提出了採用一種“等價模式”(Uniform Pattern)來對LBP算子的模式種類進行降維。Ojala等認爲,在實際圖像中,絕大多數LBP模式最多隻包含兩次從1到0或從0到1的跳變。因此,Ojala將“等價模式”定義爲:當某個LBP所對應的循環二進制數從0到1或從1到0最多有兩次跳變時,該LBP所對應的二進制就稱爲一個等價模式類。如00000000(0次跳變),00000111(只含一次從0到1的跳變),10001111(先由1跳到0,再由0跳到1,共兩次跳變)都是等價模式類。除等價模式類以外的模式都歸爲另一類,稱爲混合模式類,例如10010111(共四次跳變)(這是我的個人理解,不知道對不對)。
通過這樣的改進,二進制模式的種類大大減少,而不會丟失任何信息。模式數量由原來的2P種減少爲 P ( P-1)+2種,其中P表示鄰域集內的採樣點數。對於3×3鄰域內8個採樣點來說,二進制模式由原始的256種減少爲58種,這使得特徵向量的維數更少,並且可以減少高頻噪聲帶來的影響。
2、LBP特徵用於檢測的原理
顯而易見的是,上述提取的LBP算子在每個像素點都可以得到一個LBP“編碼”,那麼,對一幅圖像(記錄的是每個像素點的灰度值)提取其原始的LBP算子之後,得到的原始LBP特徵依然是“一幅圖片”(記錄的是每個像素點的LBP值)。
從上圖可以看出LBP對光照具有很強的魯棒性
LBP的應用中,如紋理分類、人臉分析等,一般都不將LBP圖譜作爲特徵向量用於分類識別,而是採用LBP特徵譜的統計直方圖作爲特徵向量用於分類識別。
因爲,從上面的分析我們可以看出,這個“特徵”跟位置信息是緊密相關的。直接對兩幅圖片提取這種“特徵”,並進行判別分析的話,會因爲“位置沒有對準”而產生很大的誤差。後來,研究人員發現,可以將一幅圖片劃分爲若干的子區域,對每個子區域內的每個像素點都提取LBP特徵,然後,在每個子區域內建立LBP特徵的統計直方圖。如此一來,每個子區域,就可以用一個統計直方圖來進行描述;整個圖片就由若干個統計直方圖組成;
例如:一幅100*100像素大小的圖片,劃分爲10*10=100個子區域(可以通過多種方式來劃分區域),每個子區域的大小爲10*10像素;在每個子區域內的每個像素點,提取其LBP特徵,然後,建立統計直方圖;這樣,這幅圖片就有10*10個子區域,也就有了10*10個統計直方圖,利用這10*10個統計直方圖,就可以描述這幅圖片了。之後,我們利用各種相似性度量函數,就可以判斷兩幅圖像之間的相似性了;
3、對LBP特徵向量進行提取的步驟
(1)首先將檢測窗口劃分爲16×16的小區域(cell);
(2)對於每個cell中的一個像素,將相鄰的8個像素的灰度值與其進行比較,若周圍像素值大於中心像素值,則該像素點的位置被標記爲1,否則爲0。這樣,3*3鄰域內的8個點經比較可產生8位二進制數,即得到該窗口中心像素點的LBP值;
(3)然後計算每個cell的直方圖,即每個數字(假定是十進制數LBP值)出現的頻率;然後對該直方圖進行歸一化處理。
(4)最後將得到的每個cell的統計直方圖進行連接成爲一個特徵向量,也就是整幅圖的LBP紋理特徵向量;
然後便可利用SVM或者其他機器學習算法進行分類了。
Reference:
黃非非,基於 LBP 的人臉識別研究,重慶大學碩士學位論文,2009.5
4 opencv中如何提取LBP特徵
(1) opencv1.0中LBP的實現-原始LBP特徵
從下面的實現過程可以看出,忽略了邊緣的影響,而且dst必須是提前分配好的,與src尺寸一致的圖像
- //基於舊版本的opencv的LBP算法opencv1.0
- void LBP (IplImage *src,IplImage *dst)
- {
- int tmp[8]={0};
- CvScalar s;
- IplImage * temp = cvCreateImage(cvGetSize(src), IPL_DEPTH_8U,1);
- uchar *data=(uchar*)src->imageData;
- int step=src->widthStep; // 圖像位寬
- cout<<"step"<<step<<endl;
- for (int i=1;i<src->height-1;i++)
- for(int j=1;j<src->width-1;j++)
- {
- int sum=0;
- if(data[(i-1)*step+j-1]>data[i*step+j]) // 左上角
- tmp[0]=1;
- if(data[i*step+(j-1)]>data[i*step+j]) // 上方
- tmp[1]=1;
- if(data[(i+1)*step+(j-1)]>data[i*step+j]) // 右上角
- tmp[2]=1;
- if (data[(i+1)*step+j]>data[i*step+j]) // 右側
- tmp[3]=1;
- if (data[(i+1)*step+(j+1)]>data[i*step+j]) // 右下角
- tmp[4]=1;
- if(data[i*step+(j+1)]>data[i*step+j]) // 下方
- tmp[5]=1;
- if(data[(i-1)*step+(j+1)]>data[i*step+j]) // 左下角
- tmp[6]=1;
- if(data[(i-1)*step+j]>data[i*step+j]) // 左側
- tmp[7]=1;
- //計算LBP編碼
- s.val[0]=(tmp[0]*1+tmp[1]*2+tmp[2]*4+tmp[3]*8+tmp[4]*16+tmp[5]*32+tmp[6]*64+tmp[7]*128);
- cvSet2D(dst,i,j,s);寫入LBP圖像
- }
- }
w2*src.at<_Tp>(i+fy,j+cx) +w3*src.at<_Tp>(i+cy,j+fx) +w4*src.at<_Tp>(i+cy,j+cx);