基本情況
ICML 2014的文章， arXiv:1310.1531 [cs.CV].主要通過實驗證明transfer learning的可行性.
Abstract
本文評估從大型固定的一組對象識別任務中以完全監督的方式訓練的深卷積網絡的激活提取的特徵是否可以重新利用到新的通用任務.在很多情況下，由於沒有足夠的標註或者未標註的數據來常規地訓練一個深度結構用於新的任務（這會導致過擬合），因此本文嘗試把提取的特徵應用的其他任務，並可視化了聚類結果（這一部分不太明白），比較了不同網絡層次提取結果的性能，得到了炒作state-of-the-art的結果.
另外，發佈了開源深度學習工具”Decaf”.
Deep Convolution Activation Features
本文先依照AlexNet文章的方法訓練了一個CNN model，然後從網絡中提取了多種特徵，評估這下這些特徵在通用視覺任務中的效率.
這裏有兩個問題需要解決:
(1) 從CNN提取出的特徵能夠泛化到其他數據集嗎？
(2) 這些特徵關於深度表現如何?
下文針對這兩個問題，定量和定性、通過可視化語義聚類和針對baselines實驗比較的方法進行解決.
本文提到了遷移學習的哲學意義：訓練好的模型可以看做一個人從之前的視覺經驗中得到的先驗知識，這能夠幫助人更高效學習新的任務.
在文章接下來的部分，通過使用t-SNE算法，把高維特徵空間映射到二維特徵空間，並基於語義分類用有色點的形式在座標系中畫出來，實現可視化.通過這種定性，並通過實驗結果，定量分析了Decaf5、Decaf6、Decaf7提取出的特徵和常規方法在不同任務中的比較.
Discussion
本文證實了，通過在一個打的標註物體數據集上輔助訓練一個深度卷積架構，可以學習得到足夠的表示能力和泛化能力的特徵，通過簡單的線性分類器就能實現很好的語義視覺判別任務，並且能夠超過那些基於手工標註的複雜的multi-kernel學習技術得到的state-of-the-art.
相關資料
- Decaf是caffe的前身，現在已經不在維護