基於內容的圖片檢索CBIR(Content Based Image Retrieval)簡介

原文鏈接:https://blog.csdn.net/carson2005/article/details/9304913

傳統的圖像檢索過程,先通過人工對圖像進行文字標註,再利用關鍵字來檢索圖像,這種依據圖像描述的字符匹配程度提供檢索結果的方法,簡稱“以字找圖”,既耗時又主觀多義。基於內容的圖像檢索客服“以字找圖”方式的不足,直接從待查找的圖像視覺特徵出發,在圖像庫(查找範圍)中找出與之相似的圖像,這種依據視覺相似程度給出圖像檢索結果的方式,簡稱“以圖找圖”。基於內容的圖像檢索分爲三個層次:

(1)依據提取圖像本身的顏色、形狀、紋理等低層特徵進行檢索;

(2)基於圖像的低層特徵,通過識別圖像中的對象類別以及對象之間的空間拓撲關係進行檢索;

(3)基於圖像抽象屬性(場景語義、行爲語義、情感語義等)的推理學習進行檢索;

基於內容的圖像檢索技術研究的熱點可以分爲4個方面:

最初的圖像檢索研究主要集中在如何選擇合適的全局特徵去描述圖像內容和採用什麼樣的相似性度量方法進行圖像匹配。

第二個研究熱點是基於區域的圖像檢索方法,其主要思想是圖像分割技術提取出圖像中的物體,然後對每個區域使用局部特徵來描述,綜合每個區域特徵可以得到圖像的特徵描述。這兩個研究方向都是以圖像爲中心,對於用於的需求缺乏分析。

第三個研究熱點就是針對這一問題而展開的,藉助相關的反饋的思想,根據用戶的需求及時調整系統檢索時用的特徵和相似性度量方法,從而縮小低層特徵和高層語義之間的差距。

第四個研究熱點是研究如何從多種渠道獲取圖像語義信息,如何將圖像底層特徵與圖像關鍵詞結合進行圖像自動標註以提高檢索準確率等。

根據一般圖像檢索的工作原理可以知道,基於特徵的圖像檢索有3個關鍵:

(1)選取恰當的圖像特徵;

(2)採取有效的特徵提取方法;

(3)準確的特徵匹配算法;

利用各種特徵對圖像檢索已經取得了相當的發展,大量的檢索實驗可以表明,綜合特徵檢索要比單一特徵檢索更符合人類的視覺感受要求,檢索效果會更好,但如何去找到合適的權值將多個特徵組合起來是非常困難的。目前在CBIR中最常用的特徵一般有:顏色特徵、形狀特徵和紋理特徵。  

顏色是圖像檢索中最先被採用的特徵,主要方法有:

(1)顏色直方圖

(2)顏色一致性矢量(CCV,color coherence vectors)

(3)顏色相關圖

(4)顏色矩

顏色矩是一種簡單而有有效的顏色表示,它的數學基礎是:任何圖像的顏色分佈都可以通過其各階矩來表示。然而,顏色分佈的大部分信息都集中在它的低階矩上,所以可以用顏色的一階矩(均值)、二階矩(方差)和三階矩(偏度)來近似估計圖像的總體顏色分佈。

顏色聚合矢量(CCV, Color Coherence Vector)是圖像直方圖的一種演變,其核心思想是當圖像中顏色相似的像素所佔據的連續區域的面積大於一定的閾值時,該區域中的像素爲聚合像素,否則爲非聚合像素。這樣統計圖像所包含的每種顏色的聚合像素和非聚合像素的比率稱之爲該圖像的顏色聚合矢量,在圖像檢索過程中匹配目標圖像的聚合矢量和檢索圖像的聚合矢量,聚合矢量中的聚合信息在某種程度上保留了圖像顏色的空間信息。由於加入了空間信息,採用顏色聚合矢量CCV比採用顏色直方圖檢索的效果要好,特別是對於大塊的均勻區域或者圖像中大部分爲紋理的圖像檢索效果要更好,但同時也增加的計算量。

其中,顏色直方圖是最常用的,也是最基本的方法,但缺乏圖像的空間信息;而CCV方法不僅統計了整幅圖像中各顏色的像素值,還統計了圖像中各顏色最大區域的像素值,效果較好,但CCV並沒有強調各顏色最大區域的形狀以及與背景的關係。因此,有人又考慮了圖像的邊緣信息,提出了CCV-TEV(threshold edge vector)算法;顏色相關圖法強調同一顏色在圖像中的空間距離相關性,其檢索效果比上述幾個方法都要好,但計算量比較大。顏色矩算法主要採用圖像中各顏色的均值和方差作比較,處理簡單,可以用它作爲圖像檢索的初檢,爲下一步的細檢縮小搜索範圍。

形狀是物體的一個重要特徵,但由於物體形狀的自動獲取很困難,基於形狀的檢索一般僅限於非常容易識別的物體。形狀可以用面積、離心率、圓形度、形狀度、曲率、分形維等全局和局部特徵來表示。其主要的分析方法有不變矩、Fourier描述符、自迴歸模型、向心鏈碼、CSS(Curvature Scale Space), VSW(Variable Scale Wavelet)等;基於向心鏈碼的方法即具有形狀的編碼能力又同時支持檢索,它首先採用向心鏈碼對形狀進行編碼,再在編碼碼流中直接提取形狀的“相對凸數”及“凸度”,以此作爲形狀檢索的依據。由於形狀的向心鏈碼具有旋轉、平移、尺度的不變性,因此這種檢索算法具有一定的抗“相似性形變”能力。向心鏈碼形狀檢索的文章可以參考:黃祥林、宋磊、沈蘭蓀,一種基於向心鏈碼的形狀檢索方法, 2001, 信號採集與處理;

紋理是圖像中一種重要而又難以描述的特徵,航空、遙感圖片、織物圖案、複雜的自然風景以及動物植物等都含有紋理。通常來講,把圖像中局部不規則,而宏觀有規律的特性稱之爲爲了。以紋理特性爲主導的圖像稱之爲紋理圖像,以紋理特徵爲主導的區域稱之爲紋理區域。 紋理是圖像的一個重要特徵,一般認爲紋理就是紋理元素有規律的排列組合,而把具有重複性、形狀簡單、強度一致的區域看做紋理元素。視覺紋理特徵主要有:粗糙度、對比度、方向度、線象度、規整度、粗略度等。圖像檢索用到的紋理特徵表示方法主要有:Tamura法(反映了粗糙度、對比度、方向度等)、MRSAR(multi-resolution simultaneous auto regressive model)、canny角直方圖法、gabor法、塔式小波變換(PWT, pyramid wavelet transform),樹式小波變換(TWT, tree wavelet transform)等;這幾種紋理特徵方法的比較可以參考文獻:Ma Weiying; Zhang Hongjiang, Benchmarking of image features for content based retrieval;The Thirty-Second Asilomar Conference on Signals, Systems & Computers, 1998

幾個典型的CBIR應用系統:

(1)Lire, 開源java的CBIR庫 http://www.semanticmetadata.net/lire/

(2)Octagon, java的CBIR庫http://octagon.viitala.eu/

(3)University of Washington, CBIR http://www.cs.washington.edu/research/imagedatabase/

(4)CIRES,一個CBIR系統 http://amazon.ece.utexas.edu/~qasim/research.htm

(5)WebSeek, 哥倫比亞大學,http://www.ctr.columbia.edu/webseek/

(6)QBIC(Query By Image Content), IBM Aimaden研究中心開發的基於內容檢索系統,提供對圖像、視頻、文本、語音等多種形式的多媒體信息進行檢索。http://www.research.ibm.com/topics/popups/deep/manage/html/qbic.html

(7)PhotoBook, MIT, http://vismod.media.mit.edu/vismod/demos/photobook/

(8)Netra, UCSB Alexandria Digital Library(ADL)開發的圖像檢索系統原型,http://dnserror.yncuc.cn/Netra

(9)MARS(multimedia analysis and retrieval system),美國伊利諾伊大學Urbana-Champain分校開發,http://jadzia.ifp.uiuc.edu:8000/

(10)百度識圖:http://stu.baidu.com/

(11)相似圖片查找Gazopa:http://www.gazopa.com/

(12)tinyEye: http://www.tineye.com/

(13)picitup: http://www2.picitup.com/

(14)杭州淘淘搜:http://www.taotaosou.com/

(15)google以圖搜圖:http://images.google.com.hk/imghp?hl=zh-CN&sourceid=cnhp

(16)Cortexica相似圖片搜索:http://www.cortexica.com/

(17)江蘇視圖網絡科技有限公司:http://www.1000look.net/

(18)圖圖搜衣:http://tutuso.cn/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章