图像检索研究进展:浅层、深层特征及特征融合

https://blog.csdn.net/TTdreamloong/article/details/79798817?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-8.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-8.nonecase

基于内容的图像检索(Content-based Image Retrieval, CBIR)方法利用从图像提取的特征来进行检索。

常用的图像特征主要有颜色纹理形状,包括局部特征全局特征

      局部特征是基于图像的某个区域提取的图像描述符,如尺度不变特征SIFT(Scale Invariant Feature Transform)。(相当于CNN网络的浅层卷积部分);局部特征通常来自图片的视觉敏感区域。

     全局描述符基于整幅图像提取的描述符,如GIST。全局特征对图像的压缩率较高,但区分力不强;(相当于CNN网络的深层卷积部分);因为一幅图片只能生成一个全局特征

局部特征的区分力强,但数目太多,故而各种编码方法被提了出来,如BOF(Bag of Features,特征袋),Fisher向量 (Fisher Vectors, FV),以及VLAD (Vector of Locally Aggregated Descriptors)等。BOF,VLAD,FV等描述符通常继承了局部特征的部分不变性,如对平移、旋转、缩放、光照和遮挡等与语义相关不大的因素保持不变。

 

 

 

卷积层特征SIFT相比

有如下特点:

(1)卷积层特征类似于密集SIFT特征(通过网格式的密集采样得到)。卷积层特征与SIFT一样是局部特征,对应了图片的某个区域(可以将CNN特征图上每一个点反向映射回图片), 是一种局部特征。

(2)卷积层特征是通过学习得到的,SIFT是手工类型。CNN的卷积层参数是可以针对不同的数据集通过迭代训练调优的,而且可通过简单的修改进一步改进(如增加深度、宽度等)而SIFT的参数是通过预先的精密设计固定的。

(3)卷积层特征具有层次性。不同的卷积层具有不同的语义层次,如浅层的特征图通常是一些边/角等,而中层则是物体的一部分,高层则通常是一个完整的物体。选用不同的层将可能达到完全不同的效果,该如何选择一个最优的层则到目前为止还没有一个最优的方法,通常通过测试多层的效果来达到。SIFT在不使用SP的情况下不具有层次性,描述的是边/角等比较低层次的特征,这也是为什么CCS将SIFT与CNN融合会有效果的原因之一。

(4)CNN卷积层特征维度比SIFT/SURF等浅层特征要大得多,而且计算量大,需要GPU辅助才能达到实时的效果,而且因为要存储很多卷积层特征图的原因,空间开销也要大得多。对于PC机而言,这不是什么大问题,然而未来的AI将可能无处不在,CNN在移动平台上的使用将成为一个具有挑战性的问题。随着类脑计算如火如荼的展开,各种神经处理专用芯片(如中科院陈云霁等研发的DaDianNao, Google最近研发的TPU等)不断涌现,此问题或者也将不是问题。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章