Multisource Transfer Learning With Convolutional Neural Networks for Lung Pattern Analysis
main idea
- 应用背景：interstitial lung diseases
- 利用在6个通用（general）纹理数据集上预训练的网络迁移到lung tissue data上进行模式分类
- 在每个source数据集上预训练网络，然后对每个迁移不同数目的层，fine-tune到target数据集上。
- 使用模型选择过程model selection process将获得的网络combine在一起，然后将其用于teach具有原始大小的网络。
- 结果CNN网络相对在hard targets上训练的同样的网络提升了2%的效果。训练时间增加，因为需要训练多个模型。但是预测用时不变。
- 本文结果证明了，自然图像（natural），本文中是自然纹理图像，对于对medical医疗图像的任务是有价值的，特别是在医疗数据和标注有限的应用中，自然图像对于效果有一定作用。
- A selection process combines CNNs into an ensemble that is used to teach a single randomly initialized
model.
不同source模型ensemble的思路
- selection方法
- forward selection procedure
- selects models from a pool and iteratively adds them to the ensemble following a specific criterion
- pool包含：
- 在source上预训练，然后fine-tune过的网络
- 少量target数据集上直接训练的网路
- 。。。
- 每次随机选取大小为pool的一半的subset
- 根据性能排名，前N个作为初始化ensemble的网络