本文以論文Suggestive Annotation: A deep active learning frame work for biomedical image segmentation爲基礎，使用量化技術。
1.對具有高度表達性的訓練樣本使用suggestive annotation進行量化；
2.爲了更高的精確度，使用量化對網絡進行訓練；
思路就是首先改善數據，然後使用改善的數據訓練網絡。
通過引用前人的工作，作者注意到量化有時能夠提高performance，歸功於它能夠減少過擬合。
除了本文使用之外的有關量化的文章[5,10,14]。
由於本文基於論文[22]，作者首先介紹了論文[22]：
Suggestive Annotation: A deep active learning frame work for biomedical image segmentation
這篇文章的主旨是，首先對原始數據進行提取（multiple suggestive FCNs），然後使用提取的具有代表性的數據進行訓練，會有助於效果的提升。論文有兩部分組成，如圖1：suggestive annotation 和network training。
在inference階段，使用multiple suggestive FCNs對同一個輸入產生multiple predictions，然後使用multiple predictions計算樣本的representativeness。
suggestive FCNs 和segmentation FCNs具有相同的網絡結構， 每個FCN產生兩個輸出：目標的輪廓座標和分割後的目標。評價representativeness的指標有兩個：uncertainty and similarity。
具有表達性（representative）的樣本應該很難預測，因爲這些樣本處在特徵空間的‘boarder line’，並且每兩個之間具有低的相似性，即可以通過有限的數量來表達‘boarder Line‘的變化性。
那麼這兩個指標通過什麼具體表達呢？在suggestive annotation階段，從multiple suggestive FCNs出來的multiple predictions的標準差被作爲uncertainty score（具體是，對同一個輸入圖像，每個FCN輸出一個分割結果，也就是說，每個像素有多個輸出結果，對這些預測結果求取標準差，即可得到每個像素值的不確定性，如圖2，b），實際上，對這些所有的分割結果求取整體的標準差來作爲這張輸入圖像的不確定性得分。multiple suggestive FCNs的最後一個卷積層的每個通道的平均值被看作是特定領域的圖像的描述器，可以使用他們之間互相的餘弦相似性來評估圖像的相似性。
使用uncertainty 和 similarity來選擇具有表達性的訓練樣本是一個NP-hard problem[22]。一個簡單的具有啓發性的方法是：首先提取K個最高的uncertainty scores的樣本，然後根據similarity在K個選好的樣本中，來選擇剩下的k（k
深度神經網絡的量化技術
1.增量量化Incremental Quantization (INQ)
[23]
2. DoReFa-Net
[24]
3. Ternary Weight Networks（）TWN
[12]
由於量化網絡訓練相對簡單，本文主要關注於量化suggestive annotation。
Suggestive Annotation with Quantization
作者提出的量化框架如圖3：
主要有倆部分suggestive annotation with quantization和network training with quantization.
- 給suggestive FCNs增加量化模塊，爲了得到高的不確定性；
2.使用建議的圖像訓練量化分割網絡，得到更高的精確度。
在建議網絡使用量化，可能會導致精確度的下降，但是我們主要關注不確定性，所以只要精確度可接受就行。
通過實驗，作者發現，通過量化的建議標註數據的背景的不確定性非常高。
實驗
1.確定FCNs的最佳個數。建議標註不適用量化，網絡訓練使用量化和非量化，然後改變FCNs的個數。如圖8。發現5個並行的FCNs效果較好。不過也發現，網絡訓練使用量化會降低精確度。
變量有網絡訓練量化和建議標註量化。所以總共有4種組合。
2.探索建議標註量化的效果，兩種組合：網絡訓練使用量化（使用INQ7bits），然後改變建議標註的不同量化（不量化，7bits，5bits）；網絡訓練不適用量化，然後改變建議標註的不同量化（不量化，7bits，5bits）。如圖9。通過實驗，發現建議標註使用INQ量化7bits效果最好。也發現並不是使用量化訓練網絡效果一定會更好，效果也可能比不量化差。
3.探索訓練網絡使用量化的效果。有兩種組合：建議標註使用量化（INQ7bits），改變網絡訓練量化參數（不量化，7bits，5bits）；建議標註不使用量化，改變網絡訓練量化參數（不量化，7bits，5bits）。如圖10。實驗發現，量化訓練網絡幾乎不能提高效果。但是建議標註使用量化後，能夠提高對應的未使用建議標註的精度。
