圖像檢索研究進展:淺層、深層特徵及特徵融合

https://blog.csdn.net/TTdreamloong/article/details/79798817?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-8.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-8.nonecase

基於內容的圖像檢索(Content-based Image Retrieval, CBIR)方法利用從圖像提取的特徵來進行檢索。

常用的圖像特徵主要有顏色紋理形狀,包括局部特徵全局特徵

      局部特徵是基於圖像的某個區域提取的圖像描述符,如尺度不變特徵SIFT(Scale Invariant Feature Transform)。(相當於CNN網絡的淺層卷積部分);局部特徵通常來自圖片的視覺敏感區域。

     全局描述符基於整幅圖像提取的描述符,如GIST。全局特徵對圖像的壓縮率較高,但區分力不強;(相當於CNN網絡的深層卷積部分);因爲一幅圖片只能生成一個全局特徵

局部特徵的區分力強,但數目太多,故而各種編碼方法被提了出來,如BOF(Bag of Features,特徵袋),Fisher向量 (Fisher Vectors, FV),以及VLAD (Vector of Locally Aggregated Descriptors)等。BOF,VLAD,FV等描述符通常繼承了局部特徵的部分不變性,如對平移、旋轉、縮放、光照和遮擋等與語義相關不大的因素保持不變。

 

 

 

卷積層特徵SIFT相比

有如下特點:

(1)卷積層特徵類似於密集SIFT特徵(通過網格式的密集採樣得到)。卷積層特徵與SIFT一樣是局部特徵,對應了圖片的某個區域(可以將CNN特徵圖上每一個點反向映射回圖片), 是一種局部特徵。

(2)卷積層特徵是通過學習得到的,SIFT是手工類型。CNN的卷積層參數是可以針對不同的數據集通過迭代訓練調優的,而且可通過簡單的修改進一步改進(如增加深度、寬度等)而SIFT的參數是通過預先的精密設計固定的。

(3)卷積層特徵具有層次性。不同的卷積層具有不同的語義層次,如淺層的特徵圖通常是一些邊/角等,而中層則是物體的一部分,高層則通常是一個完整的物體。選用不同的層將可能達到完全不同的效果,該如何選擇一個最優的層則到目前爲止還沒有一個最優的方法,通常通過測試多層的效果來達到。SIFT在不使用SP的情況下不具有層次性,描述的是邊/角等比較低層次的特徵,這也是爲什麼CCS將SIFT與CNN融合會有效果的原因之一。

(4)CNN卷積層特徵維度比SIFT/SURF等淺層特徵要大得多,而且計算量大,需要GPU輔助才能達到實時的效果,而且因爲要存儲很多卷積層特徵圖的原因,空間開銷也要大得多。對於PC機而言,這不是什麼大問題,然而未來的AI將可能無處不在,CNN在移動平臺上的使用將成爲一個具有挑戰性的問題。隨着類腦計算如火如荼的展開,各種神經處理專用芯片(如中科院陳雲霽等研發的DaDianNao, Google最近研發的TPU等)不斷湧現,此問題或者也將不是問題。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章