前言
Multi-Stage Pathological Image Classification using Semantic Segmentation ICCV2019論文，日本的作者，主要是東京大學的。解決的是病理學領域，組織切片上病變組織的識別與分類。所謂Multi-Stage是指在傳統Classify Net的基礎上加了一個Segementaion Net。主要的創新點在如何連接Classify Net 與 Segementation Net。
下圖爲組織切片的圖像：
Motivation
組織切片圖像像素大（Over pixels）不能直接拿到分類網絡訓練，所以目前常用的手段是將其分割成固定大小的小Size的圖再放入網絡訓練。但是這種做法有一個問題，用原文中的話來說就是：However, patch-based classifi-cation uses only patch-scale local information but ignores the relationship between neighboring patches.
因此，作者想要提出一種解決方案來彌補ignores the relationship between neighboring patches的缺點，這是全篇的出發點。
此外，作者還提出了兩種訓練方法以減少內存的消耗，但是這不是我看這篇論文的重點，所以此部分內容只是簡單概括
Model
下面我將用序列的方式解釋整個模型
- 首先將一幅大尺度的組織切片圖分割成若干個patches（文中爲256*256）
- 將每個patches送入Feature Extractor，得到一列向量（文中爲16*1）
- 將每一個patch對應的vector合在一起，組合成一張Feature Map，如果你對這裏不理解，可以把一個vector想象成一根筷子，Feature Map就相當於一把筷子，筷子的數量就是patch的數量
- 然後將第三步中得到的Feature Map送入Segementation Net，進行Encoder和Decoder，最終的到Prediction Map
值得注意的是：關於Label論文中並沒有講的很清楚，所以對一開始的理解會有一些影響：
Feature Extracter 的Label是對應的patch中有無tumor，假設中one-hot這種形式，表示爲01或者 10
Segementaion的Label就是數據集中的label 標註了病竈的區域，如下圖所示：
如果你對我上述流程的後面還是不清楚的話，也沒有關係，作者給出了跟詳細的解釋圖：
網絡的關鍵在於如何優化，有兩種思路，第一種思路是分別優化，即分別訓練兩個網絡；第二個思路是進行端到端的訓練，由於直接訓練太過於耗費資源，文章提出只利用必要的結果，其餘全部丟棄。
由於這裏不是我的重點，詳細見論文
Experiment
從數據上來看，確實有一點提升，但是從效果圖來看，提升能力似乎有限
總結
這篇論文從解決將large resolution 的image 分割成patch產生的問題入手，找準了問題關鍵：ignores the relationship between neighboring patches。通過新建帶有patch之間關係信息的Feature Map來在一定程度上解決這個問題，並且也達到了預期效果，同時，在訓練時使用各種小技巧，減少顯存的佔用。但是侷限性在於，考慮了patches之間關係的信息，但是也損失了patch連接處線條和紋理信息。猜想這種方法用於邊緣檢測可能效果提升不大。
而且，construct Feature Map的方式也比較簡單粗暴，我認爲這只是換一種方式堆疊，不知道與其它常用堆疊方式有什麼異同。