精讀機器人會議-語義視覺單詞（迴環檢測）
Bag of Semantic Visual Words （2019IROS）
文章首發於泡泡機器人公衆號，這裏備份一下。
機器人主要會議(ICRA IROS CVPR ICCV RAL TRO)
主要心得：迴環檢測的方法可以用於重定位；相比於傳統的迴環檢測方法添加了語義信息（傳統方法：機器學習；新的方法：深度學習）；同時提出未來可以研究一種基於特徵向量和語義信息的並行檢索
摘要
同步定位與即時建圖的性能依賴於位置識別，這通常通過基於圖像的檢索問題來解決的，其中使用了詞袋模型。本文提出一種詞袋模型的結構化框架（BOVW），能夠訓練和檢索與視覺單詞相結合的語義信息。
介紹
一個有效的SLAM算法需要能夠魯棒識別之前觀察到的區域來執行迴環檢測，這使得算法需要正確的數據關聯以及獲得地圖一致性的能力。此外，用於檢測迴環的方法也可以用於當跟蹤丟失代理的重定位能力。近年來，人們提出了許多基於圖像匹配的詞袋空間數字向量提取方法。儘管現有的位置識別方法已經證明是有效的就計算資源需求以及對於流行的SLAM算法提供了很好的結果。在具有動態（移動對象）或者非結構化環境中容易失效。此外，傳統的基於詞袋模型的方法缺乏語義信息，限制了過濾無關特徵能力（例如，屬於植被、行人、移動車輛的特徵通常對於定位是不可靠的）。因此，**提出了一種基於語義信息的能夠檢索和索引相關圖像的詞袋結構。**相似的工作在參考文獻【3】中提出，語義類別被限制在五個，這對特徵數量較少的環境造成了限制。此外，與動態對象相關的特性也沒有明確說明。我們打算擴大類的數量並且在考慮分配給該特性的類屬性的同時實現迴環檢測。
方法
提出的語義視覺詞袋(BoSVW)構造方法由三部分組成：（a）訓練（b）檢索（c）迴環檢索。
-
訓練部分將提取的圖像特徵嵌入到語義信息中，如上圖所示。刪除與動態物體相關聯的特徵。詞頻與逆向文件頻率用於BoVW表示的計算。
-
檢索部分從查詢圖像中提取特徵並且使用餘旋距離計算TF-IDF向量檢索頂部第K個相關圖像。
-
第三部分在檢索到的圖像中搜索潛在的迴環檢測候選項。這涉及到根據檢索圖像和查詢圖像之間的inliers匹配數量計算檢索得分。基於特徵類對檢索到的圖像進行概率排序，同時考慮檢索到單個圖像的檢索得分。
總結
在這項工作中，提出了一個BoSVW框架結構，我們打算執行提出的框架並評估性能與最先進的方法進行比較。此外，許多策略可以研究，例如，基於語義和特徵向量的圖像並行檢索，然後搜索可能的迴環檢測候選對象。
參考文獻:
D. Galvez-Lopez and J. D. Tardos, “Bags of binary words for fast place recognition in image sequences,” IEEE Trans. Robot., vol. 28, no. 5,pp. 1188–1197, Oct. 2012.
A. Mousavian, and J. Košecka, “Semantically aware bag-of-words for localization,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2015