Multisource Transfer Learning With Convolutional Neural Networks for Lung Pattern Analysis
main idea
- 應用背景：interstitial lung diseases
- 利用在6個通用（general）紋理數據集上預訓練的網絡遷移到lung tissue data上進行模式分類
- 在每個source數據集上預訓練網絡，然後對每個遷移不同數目的層，fine-tune到target數據集上。
- 使用模型選擇過程model selection process將獲得的網絡combine在一起，然後將其用於teach具有原始大小的網絡。
- 結果CNN網絡相對在hard targets上訓練的同樣的網絡提升了2%的效果。訓練時間增加，因爲需要訓練多個模型。但是預測用時不變。
- 本文結果證明了，自然圖像（natural），本文中是自然紋理圖像，對於對medical醫療圖像的任務是有價值的，特別是在醫療數據和標註有限的應用中，自然圖像對於效果有一定作用。
- A selection process combines CNNs into an ensemble that is used to teach a single randomly initialized
model.
不同source模型ensemble的思路
- selection方法
- forward selection procedure
- selects models from a pool and iteratively adds them to the ensemble following a specific criterion
- pool包含：
- 在source上預訓練，然後fine-tune過的網絡
- 少量target數據集上直接訓練的網路
- 。。。
- 每次隨機選取大小爲pool的一半的subset
- 根據性能排名，前N個作爲初始化ensemble的網絡