MSDNet
這篇文章是2017ICML上的一篇文章，覺得挺有意思，就閱讀了文章，並整理成筆記。我儘量用簡單的語言，儘可能的把我對文章的理解寫出來，有什麼不對的地方，請大家多多指正。
摘要
這篇主要是對計算資源限制的條件下，對於圖像分類模型的優化和求解。畢竟，計算資源並不是免費的。爲了能夠達到在不同的設備上，不同的限制的資源條件下就行圖像分類，論文設置了兩個實驗條件限制。
1、Anytime prediction
對於一個測試圖形，模型可以在各個時間點，輸出對這個圖像的分類結果。這樣的目的是，有可能在某一個時間點，給這個應用程序的計算資源用盡了，就需要輸出圖像的分類結果了。總要有一個結果唄，不然白計算了半天。
2、budgeted batch classification
在給定的計算資源下，對於一部分的圖像的分類。這部分圖像裏面既“easy”圖像也有“difficult”的圖像。可以採用一個很簡單的思想，就是對於easy圖像的分類可以提早結束。比如在神經網絡的前幾層的特徵中，分類器已經可以以一個較高的置信度將圖形的分類結果輸出了，那麼就可以直接將結果作爲模型的輸出，而不用繼續在卷積神經網絡裏面進行傳遞了。那麼如何確定模型對於圖像的分類是可靠的呢？這就是看softmax後，概率最大值是否超過一個閾值（或者第一大與第二大值的差），例如softmax結果是（0.99,0.01,0),那麼就認爲分類對這個圖形的分類結果具有較高的confidence，是easy圖像。對difficult的圖像會繼續在網絡中傳遞，直到超過閾值或者到網絡的最後一層。
MSDNet網絡結構
MSDNet
爲了滿足上面兩個條件，我們可以想象到的是辦法是，在卷積神經網絡的每一層上面添加一個分類器，將當前層的feature map 作爲圖像的representation，輸入到分類器中進行分類，那麼當在某個時間點，需要輸出模型的結果時，就可以把最近的分類的結果作爲輸出。而且在條件2下，也可以將easy圖像的結果儘早的輸出。
但是直接簡單的添加分類的做法，對於分類器的分類效果是有影響的 ，這主要有兩個方面的原因。
1，淺層次的分類不能獲取圖像的高層語義特徵
我們都知道，隨着神經網絡的深度不斷增加，網絡可以獲取到圖像的更高層次的特徵，更加抽象的特徵。這些抽象的特徵對於分類是十分有利的。這個我們可以通過上圖中左圖可以看出，隨着深度的增加，各個層次的分類的的精度在不斷的提高。
solution：多尺度的特徵
通過MSDNet的網絡結構圖，可以看出：MSDNet採用了多個尺度來獲取圖形的抽象特徵，分爲兩個部分的串聯。1.上層同尺度的特徵的卷積。2.上層上個尺度feature map的降採樣（diagonal connection）。這樣可以對同層的分類器得到一個更好的分類結果。通過上圖也可以看出來，同層次的分類器的相對精度都要高。
2、淺層次的分類器對於後面圖形分類的精度的影響
通過上圖的右圖可以看出，以ResNet 爲例，可以看出精度有所下降，論文推論可能是早期分類器對後面分類產生了不好的影響。原因是：早期的分類器可能導致網絡早期層次的優化更利於早期圖形分類器達到更好的效果，而不利於後面的分類的優化。
solution：Dense connection
這樣的結構可以保證網絡的final performance，因爲每層都有到其他層次的連接。那麼反向傳播的時候，每個分類都可以通過shortcut 對某一層的產生直接的影響，讓權重向對每個分類效果更好的方向更新。
THE MSDNET ARCHITECTURE
第一層
第一層於其他層次不同，第一層需要通過降採樣來獲取不同尺度的特徵。
分類器與損失函數
有兩個卷積層組成，然後有一個平均pooling層和一個線性層。損失函數是由各個分類器損失函數的加權求和，論文每個分類器的權值都爲1；
Network reduction and lazy evaluation
爲了進一步減少計算量，論文采用了兩個方法，一個是network reduction。隨着網絡的深度的不斷增加，神經網絡可以得到圖像的高層次的語義特徵。所以對於尺度的變化沒有什麼必要了，所以就採用每多少層，就減少一個尺度。另外對於一個分類器，這個分類器的特徵是來自於對角的特徵的，所以進行分類的時候，就先計算這些特徵。
實驗結果
在兩個條件下的實驗結果
ABLATION STUDY
論文做了一個有意思的實驗，就是分別去掉MSDNet的兩大特性，來看精度表現，網絡裏的計算是重要的，必不可少的。如果去掉會帶來精度上的損失
