LSTD閱讀筆記
論文的創新點
1、提出了一個 low shot transfer detection框架，將 SSD 和 faster-RCNN 進行了整合。
2、提出了一個新的正則化的遷移學習框架，the transfer knowledge (TK) and background depression
(BD) regularizations are proposed to leverage object knowledge respectively from source and target domains, in order to further enhance fine-tuning with a few target images。通過利用源和目標域中的物體知識提出了對 transfer knowledge (TK)和background depression的抑制項。
3、效果顯著state-of-the-art。
introduction
現有的一些解決辦法：
1、獲取額外的目標檢測圖像，這些圖像要比較容易標註，比如一張圖中只有一個目標因此只需要一個標籤就可以了。通過這種方式可以是弱監督學習或者半監督學習方法。（網上有文章說弱監督:有標籤沒有框框.半監督:有標籤,部分有框. 現在還沒有看相關的文章無法確認是不是這樣）。缺點：However, the performance of these detectors is often limited, because of lacking sufficient supervision on the training images.
2、使用遷移學習。缺點：1）當目標檢測的樣本集很小時，使用一般的遷移策略將圖像分類的預訓練結果遷移到目標識別上是不合適的，原因是使用這麼小的樣本集無法消除這兩者的差異性。2）目標檢測模型比較複雜，在微調的時候更容易過擬合。3）如果只是使用簡單的遷移方法，會忽略遷移前的源域和目標域中的重要的object。
提出方法：
1、上面的創新點
2、框架
爲什麼要結合 SSD 和 faster-RCNN？這樣不是反而增加了模型的複雜性？SSD的優點是什麼？faster-RCNN的優點又是什麼？
使用了TK和BD還好理解。
Related Works
Low-shot Learning：
受人僅僅需要少量監督樣本的啓發。現在主要的方向：弱監督，半監督和遷移學習
Low-Shot Transfer Detector (LSTD)
Basic Deep Architecture of LSTD
1、design bounding box regression in the fashion of SSD.
爲什麼要選擇SSD的bounding box迴歸的形式。文中給了兩點理由：
1）this multiple-convolutional-feature design in SSD is suitable to localize objects with various sizes. This can be especially important for low-shot detection, where we lack training samples with size diversity.
2） More importantly, the regressor in SSD is shared among all object categories, instead of being specific for each category as in Faster RCNN.（faster RCNN中對每個類別的迴歸器是特定的？）
好處：
the regression parameters of SSD, which are pretrained on the large-scale source domain, can be re-used as initialization in the different low-shot target domain. This avoids re-initializing bounding box regression randomly, and thus reduces the fine-tuning burdens with only a few images in the target domain.
說白了就是預訓練學到的bounding box迴歸具有泛化能力。
2.design object classification in the fashion of Faster RCNN.
這裏對faster RCNN進行了一些修改
Regularized Transfer Learning for LSTD
Background-Depression (BD) Regularization
通過使用LBD、LSTD能夠在對目標物體更加關注的同時抑制背景區域，對少量訓練圖像的訓練尤爲重要
Transfer-Knowledge (TK) Regularization.
更多關於編程和機器學習資料請關注FlyAI公衆號。
