目录
Bag of Feature 是一种图像特征提取方法，它借鉴了文本分类的思路（Bag of Words），从图像抽象出很多具有代表性的「关键词」，形成一个字典，再统计每张图片中出现的「关键词」数量，得到图片的特征向量。
一、Bag of Feature介绍
1.1 Bag of Words 模型
「Bag of Words」 是文本分类中一种通俗易懂的策略。一般来讲，如果我们要了解一段文本的主要内容，最行之有效的策略是抓取文本中的关键词，根据关键词出现的频率确定这段文本的中心思想。比如：如果一则新闻中经常出现「iraq」、「terrorists」，那么，我们可以认为这则新闻应该跟伊拉克的恐怖主义有关。而如果一则新闻中出现较多的关键词是「soviet」、「cuba」，我们又可以猜测这则新闻是关于冷战的。
这里所说的关键词，就是「Bag of words」中的 words ，它们是区分度较高的单词。根据这些 words ，我们可以很快地识别出文章的内容，并快速地对文章进行分类。
而「Bag of Feature」也是借鉴了这种思路，只不过在图像中，我们抽出的不再是一个个「word」，而是图像的关键特征「Feature」，所以研究人员将它更名为「Bag of Feature」。
1.2 Bag of Feature算法
从对Bag of Words的介绍中，我们也可以看到，「Bag of Feature」的本质是提出一种图像的特征表示方法。
按照「Bag of Feature」算法的思想，首先我们要找到图像中的关键词，而且这些关键词必须具备较高的区分度。实际过程中，通常会采用「SIFT」特征。
有了特征之后，我们会将这些特征通过聚类算法得出很多聚类中心。这些聚类中心通常具有较高的代表性，比如，对于人脸来说，虽然不同人的眼睛、鼻子等特征都不尽相同，但它们往往具有共性，而这些聚类中心就代表了这类共性。我们将这些聚类中心组合在一起，形成一部字典（CodeBook）。
对于图像中的每个「SIFT」特征，我们能够在字典中找到最相似的聚类中心，统计这些聚类中心出现的次数，可以得到一个向量表示（或直方图表示），如下面的图片所示。这些向量就是所谓的「Bag」。这样，对于不同类别的图片，这个向量应该具有较大的区分度，在此基础上，我们可以训练出一些分类模型，并用其对图片进行分类。
1.3 Bag of Feature 算法步骤
Bag of Feature用于图像检索的步骤：
- 对数据集做SIFT特征提取
- 根据SIFT特征提取结果，采用k-means算法对图像库中的特征点进行训练，生成类心，构造单词表。
- 根据IDF原理，计算每个视觉单词的权，生成Bof
- 对图像进行检索
1.3.1 特征提取
对数据集里的图像进行SITF特征提取，SIFT原理和之前的文章有详细讲解，这里不再介绍。这些典型实例可以通 过分析训练图像集确定，并被视为视觉单词。所有这些视觉单词构成的集合称为视觉词汇，有时也称为视觉码本。对于给定的问题、图像类型，或在通常情况下仅需 呈现视觉内容，可以创建特定的词汇。
实验第一步是提取所有图像的特征，称之为“视觉词汇”，将他们聚集在一起，此时他们还是未分类的。
1.3.2 构造“视觉单词”
“视觉词典（visual vocabulary）”的构造的过程就是一个图像分类的过程。这里我们用的图像分类方法是K-means聚类方法。
K-means聚类步骤：
- 随机初始化 K 个聚类中心
- 重复下述步骤直至算法收敛:
对应每个特征，根据距离关系赋值给某个中心/类别
对每个类别，根据其对应的特征集重新计算聚类中心
采用K-means算法的时候，我们需要自己设置分类数目，设置码本数需要适当选择，不能太少也不能太多：太少会导致视觉单词无法覆盖所有可能出现的情况；太多的话计算量大，容易过拟合。
1.3.3 TF-IDF计算权重
通过单词计数来构建文档直方图向量v，从而建立文档索引。由于每篇文档长度不同，故除以直方图总和将向量归一化成单位长度。对于直方图向量中的 每个元素，一般根据每个单词的重要性来赋予相应的权重。通常，数据集（或语料库）中一个单词的重要性与它在文档中出现的次数成正比，而与它在语料库中出现的次数成反比。
最常用的权重是 tf-idf（term frequency-inverse document frequency，词频- 逆向文档频率 )，单词 w 在文档 d 中的词频是：
逆向文档频率为：
|D| 是在语料库D 中文档的数目，分母是语料库中包含单词w 的文档数d。将两者 相乘可以得到矢量 v 中对应元素的 tf-idf 权重。
注意将不同图像都具有的特征对应的权重调小（不具备独特的特征），排除干扰。
二、Bag of Feature进行图像检索
实验数据集：包含100张图片，然后再拿一些图像进行query，来找出库中与之对应的图像。下面显示数据集的一部分
2.1 SIFT提取特征
首先用SIFT提取图像的特征，并创建一个k为150的词汇表，保存整个词汇对象以供后面使用，vocabulary.pkl包含了已经训练好的词汇。
# -*- coding: utf-8 -*-
import pickle
from PCV.imagesearch import vocabulary, imagesearch
from PCV.tools import imtools
from PCV.localdescriptors import sift
# 获取图像列表
imlist = imtools.get_imlist('C:/Users/asus/Pictures/window/jiansuo/')
nbr_images = len(imlist)
# 获取特征列表
featlist = [imlist[i][:-3] + 'sift' for i in range(nbr_images)]
# 提取文件夹下图像的sift特征
for i in range(nbr_images):
sift.process_image(imlist[i], featlist[i])
# 生成词汇
voc = vocabulary.Vocabulary('ukbenchtest')
voc.train(featlist, 150, 5)
# 保存词汇
# saving vocabulary
with open('C:/Users/asus/Pictures/window/jiansuo/vocabulary.pkl', 'wb') as f:
pickle.dump(voc, f)
print('vocabulary is:', voc.name, voc.nbr_words)
进行SIFT特征提取之后，在数据集中的显示有对应的sift文件，如下：
2.2 图像索引
我们需要创建表、索引和索引器，然后将图像数据写入数据库中。在下面代码中实现遍历所有的图像，并将其加入到索引中，提交到数据库。
import pickle
from PCV.imagesearch import imagesearch
from PCV.tools import imtools
from PCV.localdescriptors import sift
from sqlite3 import dbapi2 as sqlite
# 获取图像列表
imlist = imtools.get_imlist('C:/Users/asus/Pictures/window/jiansuo/')
nbr_images = len(imlist)
# 获取特征列表
featlist = [imlist[i][:-3] + 'sift' for i in range(nbr_images)]
# 载入词汇
with open('C:/Users/asus/Pictures/window/jiansuo/vocabulary.pkl', 'rb') as f:
voc = pickle.load(f)
# 创建索引
indx = imagesearch.Indexer('testImaAdd.db', voc)
# indx.create_tables()
# 遍历所有的图像，并将它们的特征投影到词汇上
for i in range(nbr_images)[:150]:
locs, descr = sift.read_features_from_file(featlist[i])
indx.add_to_index(imlist[i], descr)
# 提交到数据库
indx.db_commit()
# 检查数据库中的内容
con = sqlite.connect('testImaAdd.db')
print(con.execute('select count (filename) from imlist').fetchone())
print(con.execute('select * from imlist').fetchone())
print(con.execute('select * from imlist').fetchall())
提交数据库之后可以查询到数据库中的内容如下：
2.3 搜索图像
上面建立了图像的索引，现在可以在数据库当中搜索到相似的图像。
# -*- coding: utf-8 -*-
import pickle
from PCV.localdescriptors import sift
from PCV.imagesearch import imagesearch
from PCV.geometry import homography
from PCV.tools.imtools import get_imlist
# 载入图像列表
imlist = get_imlist('C:/Users/asus/Pictures/window/jiansuo/')
nbr_images = len(imlist)
# 载入特征列表
featlist = [imlist[i][:-3] + 'sift' for i in range(nbr_images)]
# 载入词汇
with open('C:/Users/asus/Pictures/window/jiansuo/vocabulary.pkl', 'rb') as f:
voc = pickle.load(f)
src = imagesearch.Searcher('testImaAdd.db', voc)
# 查询图像索引和查询返回的图像数
q_ind = 70
nbr_results = 10
# regular query
# 常规查询(按欧式距离对结果排序)
res_reg = [w[1] for w in src.query(imlist[q_ind])[:nbr_results]]
print('top matches (regular):', res_reg)
# 载入查询图像特征
q_locs, q_descr = sift.read_features_from_file(featlist[q_ind])
fp = homography.make_homog(q_locs[:, :2].T)
# 用单应性进行拟合建立RANSAC模型
model = homography.RansacModel()
rank = {}
# 载入候选图像的特征
for ndx in res_reg[1:]:
locs, descr = sift.read_features_from_file(featlist[ndx]) # because 'ndx' is a rowid of the DB that starts at 1
# get matches
matches = sift.match(q_descr, descr)
ind = matches.nonzero()[0]
ind2 = matches[ind]
tp = homography.make_homog(locs[:, :2].T)
# compute homography, count inliers. if not enough matches return empty list
try:
H, inliers = homography.H_from_ransac(fp[:, ind], tp[:, ind2], model, match_theshold=4)
except:
inliers = []
# store inlier count
rank[ndx] = len(inliers)
# sort dictionary to get the most inliers first
sorted_rank = sorted(rank.items(), key=lambda t: t[1], reverse=True)
res_geom = [res_reg[0]] + [s[0] for s in sorted_rank]
print('top matches (homography):', res_geom)
# 显示查询结果
imagesearch.plot_results(src, res_reg[:5]) # 常规查询
imagesearch.plot_results(src, res_geom[:5]) # 重排后的结果
（1）检索的图片69.jpg
检索结果（上下两图分别为常规查询和重排后结果）：
（2）图片3.jpg
检索结果：
分析：经过多次不同图片的检索结果，发现相比之下重排序之后的检索明显的检索出来的图像相似度比较高，在对图像查询相似的10个图像列表中，要输出最接近的五张图片，重排后相似度较高的靠的比较前面输出来的结果较好。但是两种查询的图像都有可能是检索出没多大相似的图像。检查发现有一些相似图片没有达到输出的五张，所以会混入其他不相似的图，数据集可以做适当的修改，以减少结果的误差。
2.4 问题解决
（1）实验需要进行sift特征匹配，所以实验前应该把如下的两个文件放到当前文件目录下，否则会报错。
（2）进行建立数据库的操作时需要用到pysqlite，在官网没有找到相应的WHL文件，其实python3 自带了sqlite3库，直接使用就可以。