PPT
論文題目：在仿射子空間中的多標籤分類
1.什麼是MLC？MLC 多標籤分類。多標籤分類需要與多分類進行區別，多分類有且只有一個標籤，而多標籤分類可以有多個標籤(且不定)。
2.當前的MLC的常用方法一共有3種。
第一種，是將MLC轉換成二分類問題。在傳統機器學習模型中可以使用分類器鏈，在這種情況下，第一個分類器只在輸入數據上進行訓練，然後每個分類器都在輸入空間和鏈上的所有之前的分類器上進行訓練。在下面給出的數據集裏，我們將X作爲輸入空間，而Y作爲標籤。黃色部分是輸入空間，白色部分代表目標變量。在分類器鏈中，這個問題將被轉換成4個不同的標籤問題，每個問題只需要預測白色的二分類的問題。考慮多標籤的相關性時候可以將上一個輸出的標籤當成是下一個標籤分類器的輸入。
另一種是當成多類問題，把標籤統一來看(Label Powerset) 在這一點上，我們發現x1和x4有相同的標籤。同樣的，x3和x6有相同的標籤。因此，標籤powerset將這個問題轉換爲一個單一的多類問題，如下所示。
因此，標籤powerset給訓練集中的每一個可能的標籤組合提供了一個獨特的類。轉化爲單標籤後就可以使用SVM等分類算法訓練模型了。
但是，Label Powerset只適合標籤數少的數據，一旦標籤數目太多(假設有n個)，使用Label Powerset後可能的數據集將分佈在[0,2^n]空間內，數據會很稀疏。
另外的多標籤分類模型有:kNN多標籤版本MLkNN，SVM的多標籤版本Rank-SVM等。
3.但是當前MLC的發展會遇到很多瓶頸。首先是數據集的問題。大型數據集生成註釋通常既耗時又昂貴，輸出結果的數量又非常大，同時每個樣例的標籤的數量不多。針對這些特點，作者設計了一種新的損失函數的思想和方法。該函數一方面強制具有相同標籤值的樣本靠近同一子空間，另一方面又使不同的子空間彼此分開。 因此，當通過使用我們的方法訓練神經網絡（NN），可以將樣本拉向學習的子空間，並且可以通過密度估計方法輕鬆地對其進行分類。
4.在傳統的MLC中，每個輸入圖像
具有
個不同的二元標籤
，其中
。目標是找到一個深層網絡
使得
是輸入圖像x的標籤
爲1的估計概率。爲方便起見，我們將深度網絡表示爲以下兩個函數的組合：
。特徵提取函數
爲給定圖像
構建
維描述符向量，而
是多輸出二進制分類器。通常，
是標準多輸出邏輯迴歸，
，【其中
和
定義從特徵空間到特徵空間的仿射變換映射。 
和
是提供元素的邏輯函數最終概率】。在這種情況下，邏輯迴歸使用
個不同的
維超平面分割特徵空間，每個超平面用於一個標籤，並根據其標籤將每個樣本推向每個超平面的一側。
在這幅圖中，標籤數量是2，即有兩個比特位。描述符向量的維度是2，那麼對於一個平面它的超平面就是一條一維的線。對於W0z+b0，線的左邊第0位都是0，線的右邊第0位都是1.對於w1z+b1，線的左邊第1位都是0，線的右邊第1位都是1。
就是說，它在特徵空間中定義了
個的區域（假設
），每個可能的標籤組合都分配到一個區域，並將樣本移至它們相應的區域。作者認爲，這個過程並不完全適合於MLC，有兩種基本的原因：（1）超平面分割的區域高度不規則，有些無界的，有些又很小。這導致標籤的某些組合比特徵空間中其他組合更容易表示。 （2）對於相同標籤的樣本，邏輯迴歸不能促進特徵向量相似。相反，它僅強制樣本落在超平面的正確一側。
5.我們引入了新的仿射子空間多標籤分類器（AS-MLC）。 我們的方法不是將點推向不同的區域，而是將點拉向不同的仿射子空間。 這個簡單的想法解決了上述兩個問題。
對於每個標籤
，我們定義兩個平行的
維仿射子空間
和
，由
個超平面的交點確定，其中
是共享超平面的法向量，
是兩個子空間的偏置項。 對於給定的標籤
，
的點將被拉向
，
的點將被拉向
。
在這幅圖中，有兩對平行的線。以綠色的01爲例，他是
6.爲了訓練我們的方法，我們首先使用以下損失函數項，來最小化樣本到其相應子空間的距離，其中
，
是類別標籤的特定權重。 同時，我們還希望與同一標籤相對應的子空間彼此儘可能遠離。 這可以用額外的形式化成損失項，該損失項可以最大化平行子空間之間的距離。 最後，爲了避免減小權重的大小使得損失項最小，我們添加了一個正則化項來強制法線具有單位大小，其中| ·| 是逐元素的絕對值，I是單位矩陣，tr是矩陣的跡。 給定圖像的訓練數據集
及其相應的標籤，訓練過程將這三項的加權和最小化。
在測試時， 因此，對於每個標籤i和類別j，我們使用預計的訓練數據建立可能性的核密度估計（可以參考（轉載）核密度估計），其中
是帶寬爲
的高斯核，
是訓練數據的第
個元素的描述符向量，而
是該訓練數據的描述符向量 輸入圖像。 注意，不需要偏置項來定義密度，因爲它們被隱式地編碼在描述符向量
的集合中。
它是多標籤二進制分類器
的第
個輸出。
另外，作者還 使用到每個子空間的距離之比作爲每個標籤的概率（我們將此方法表示爲AS-MLC-Distance），但是並沒有給出式子，僅在實驗中給出了具體結果。
7.該數據集包括對視網膜的體積光學相干斷層掃描（OCT）掃描，並帶有11個病理學生物標記標籤。數據分別分爲用於訓練和測試集的23'030和1'029圖像，兩次均無患者圖像。圖像標籤包括：健康，視網膜下液，視網膜內液，視網膜內囊腫，高反射竈，玻璃疣，網狀假性粉刺，上瞼膜，地理萎縮，視網膜外萎縮和纖維血管性PED。圖1（左）顯示了一個存在兩個生物標誌物的訓練示例。爲了將我們的方法與現有方法進行比較，我們使用兩種不同的NN體系結構評估了多個基準：預先訓練的DRND-54 [10]和ResNet-50 [11]。使用Adam優化器[12]以10-3的基本學習率訓練所有方法。我們對所有實驗都採用相同的數據增強方案（翻轉，旋轉，平移，伽瑪和亮度）。通過5倍交叉驗證報告結果，其中訓練數據分爲訓練80％和驗證20％。使用的基準包括：
Softmax：每個標籤的兩類輸出，使用softmax運算符進行歸一化，並優化了二進制交叉熵損失。
Ranking：我們使用Li等人描述的排名損失。 [7]。 由於排名損失通常是有閾值的，因此在訓練和測試過程中我們會忽略此閾值並將輸出範圍定爲0到1之間。我們承認這對排名方法是不利的，但爲了比較而將其包括在內。
ML-KNN：我們應用距離權重的kNN（N =50）到z從提取[6]中的Softmax方法。
AS-MLC：我們設定β=5，α=1和e=32的高斯核密度，估計帶寬設置爲δ= 0.1，並使用訓練圖像及其水平翻轉版本的特徵。 我們還與距離函數方法AS-MLC-Distance進行了比較。
8.表1給出了平均平均精度（mAP）結果，表明我們提出的方法優於所有指標和兩個網絡常用的損失函數。 當使用和不使用測試時間數據增強（原始圖像+左/右翻轉）時，我們展示了微觀和宏觀平均結果。 使用我們的方法，與softmax交叉熵損失相比，我們看到的性能提高了5.7％。 在圖3（左）中，我們展示了使用10倍交叉驗證時的帶寬δ值。 在這裏，我們看到除非帶寬值選擇得太小，否則對於寬範圍的值，性能都將保持穩定。 同樣，我們還分析了特徵空間e的大小的影響，我們認爲這是附加的超參數。 從圖3（右）可以得出結論，極小的特徵空間大小不足以用於我們的方法，但是對於大於5的值，性能始終很高
9.數據集包含與14種不同標籤相關的112'120 X射線掃描結果[2]。 數據根據原始的患者級別數據拆分進行拆分，這導致70％的訓練，10％的確認和20％的測試集。 我們將圖像調整爲512×512像素，並使用Adam優化器優化網絡[12]。 在這種情況下，我們會比較加權的交叉熵損失，並將加權項α添加到類別標籤中，因爲數據中存在明顯的類別不平衡（即權重等於逆類出現）。 對於所有實驗，我們都使用DRND-54 [10] CNN作爲基礎架構。 我們固定超參數β= 5，並使用交叉驗證（δ= 1.0）找到最佳帶寬。
表2給出了我們的AS-MLC方法的結果，得出的結果爲0.8008平均AUC。 因此，在平均ROC值方面，我們的方法優於softmax交叉熵損失近3％。 使用標準網絡的這些結果在以前發佈的最新結果的範圍內，該結果使用了大量的其他訓練數據[13]（0.806），基於attention的模型[14,15]（0.8027和0.816）以及顯著 勝過原著[2]。
私以爲，這篇文章理論性也太強了。感覺不像是應該在MICAII上發表的文章233333.
https://blog.csdn.net/weixin_41513917/article/details/102796112 自己總結的子空間(subspace) 超平面(hyperplane) 仿射變換(affine) 仿射子空間(affine subspaces)
https://blog.csdn.net/weixin_41513917/article/details/102793640 原文翻譯可以參考
https://gombru.github.io/2019/04/03/ranking_loss/ pairwise ranking loss
https://blog.csdn.net/JNingWei/article/details/80641184 metric learning
https://blog.csdn.net/yinyu19950811/article/details/84620633 MK-KNN
https://cloud.tencent.com/developer/article/1066396 特徵空間
https://www.jianshu.com/p/d94e558ebe26 圖像處理之特徵提取
https://www.jianshu.com/p/d3cb4f4e1ff8 圖像的特徵提取與描述