主動學習(active learrning)和重複學習(repeated/reiterative learning)超詳細解釋!(內含區域重疊算法)

一、主動學習(active learrning)

通常,我們在使用有監督學習的方法進行分類時,訓練集的規模往往與最終
結果密切相關,參與訓練的數據越多,最終得到的結果就越好。但是在現實生活的很多場景中,尤其是對於生物醫學圖像領域,標記樣本的獲取是比較困難的,因爲這要求相應的專家手動進行標註,這會耗費大量的時間與金錢。並且當訓練
集規模過大時,訓練所耗費的時間也就大大增加。那麼究竟有沒有一種方法,可
以用規模較小的樣本來進行訓練而且還能獲得比較理想的分類器呢?

主動學習(ActiveLearning)爲我們提供了這種可能。主動學習可以看作是一種特殊的半監
督學習,當進行主動學習時,算法能夠以交互的方式與用戶(亦或是其它的信息
來源)進行信息交互,從而對模型“疑惑”的樣本進行標註學習。
在人類自主進行學習的過程中,常常會根據已獲得的經驗輔助新知識的學習,
同時也通過已獲取的知識進行總結與積累,使得經驗和知識之間相輔相成。因此
我們讓算法模仿人類自主學習這一過程,根據己獲得的知識來訓練模型,同時並
通過模型訓練過程中的積累進行修正和完善,從而得到精確的新的模型。

區別於被動的接受知識,主動學習可以有選擇的獲取知識,一個主動學習的體系通常如下所示C是一個或多個分類器,L爲參與訓練的有標註樣本。Q爲查詢函數,其主要功能是從未知樣本U中獲取信息量多的樣本,S爲專家,能夠爲未知樣本集U提供正確的標註。算法由少量的初始樣本L開始訓練,根據特
定的查詢函數Q挑選出一批最有價值的樣本,同時向專家提問這批樣本所屬的標
籤,接着利用剛得到的新知識進行訓練並開始下輪的查詢工作。我們可以將主動
學習看爲循環的學習過程,這種方式一直會持續至模型滿足某一要求爲止。在主
動學習過程中,學習算法能夠交互式的向用戶提問以獲取在新數據集上我們所希
望得到的輸出。

二、重複學習(repeated/reiterative learning)

因爲粗標記所帶來的影響,一部分樣本獲得了錯誤的標註,爲了解決上述問題帶來的困擾,進一步提升模型的泛化能力與精度,我們提出了重複學習
在這裏插入圖片描述
重複學習法與 fine-tuning 網絡模型不同,其訓練過程可分爲 3 個階段,僞代碼如下圖
僞代碼
*在提取合適的圖塊時,爲了規避大量存在的假陰性樣本,我們按照面積閾值
進行圖塊的選擇,即:當某一圖塊中所含已標註爲陽性區域面積佔該圖塊面積的值滿足一定條件時,我們將該圖塊進行截取並保存作爲圖塊的訓練集,同時在相
應位置截取對應的二值標註圖作爲該圖塊的標籤。記sc爲當前圖塊中己標註爲陽性區域面積,記sp爲當前圖塊的面積,則面積閾值u可表示爲u=sc/sp,當面積閾值u>一常數時,我們截取對應的圖塊以及掩模作爲參與訓練的樣本。
同時我們純陰性樣本進行圖塊的採樣,以得到可靠的陰性樣本。經過本節所提出的圖塊提取,我們巧妙地減少了大量假陰性樣本的影響。

*區域重疊算法
問題提出:當基於圖塊的全卷積神經網絡訓練完畢後,我們得到了在圖塊上語義分割效果良好的分割器,但最終需要的是對2048x2048的圖像進行分割,這需要進一步的優化和整合。我們在驗證圖塊分割器的性能過程中發現,模型對於圖塊的邊緣部分的分割效果不是很理想,且由於在取圖塊的過程中,可能將一個大的癌變腺體切分至四個圖塊中,模型容易將腺體內部的管道(通常爲白色)與圖像中的背景所混淆。首先,我們將尺寸爲的待預測的圖片按順序以一定步長切割爲若干統一尺寸的圖塊,然後用訓練好的基於圖塊的全卷積神經網絡進行預測,隨
即將預測生成的一系列圖塊的概率熱度圖進行疊加,在疊加過程中,每個圖塊中
位於原圖同一位置的像素點之間互相疊加。則輸出的概率熱度圖中某一點
的值可以由式4.9計算得到。
在這裏插入圖片描述

第 1 階段,使用設計好的 網絡模型基於粗標記樣本進行訓練,得到
初步訓練模型,該模型基本可以做出分類預判,比如預測出樣本中的正常細胞和癌變細胞。
第 2 階段,使用區域重疊法*分割 2 048×2 048 大小的圖像及其掩碼樣本標籤,然
後運用初步訓練模型對圖像塊按像素分類。
第 3 階段,利用圖片分類器進行篩選,重新得到訓練集樣本。將新的樣本放進模型進行微調( fine-tuning)得到新的參數模型,再重複上述步驟,最終得到滿
意的參數模型。
*區域重疊法見圖示

在這裏插入圖片描述
*區域重疊算法:
好處:
區域重疊預測算法通過疊加預測這一基本原理,巧妙的增加了模型在預測時的“視野”,有效的減少了圖塊整合時的錯誤預測並平滑了預測結果的邊緣,使得模型性能提升

reference

[1]梁橋康;南洋;項韶;梅麗;孫煒;於觀貞;;深度學習圖像分割算法在胃癌病理切片中的可行性分析[J];第二軍醫大學學報;2018年08期
[2]南洋. 基於深度學習的粗標記胃癌病理切片圖像分割算法 [D]. 湖南大學, 2018

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章