[NAS-seg]RONASMIS

论文题目：Resource Optimized Neural Architecture Search for 3D Medical Image Segmentation

---

基于强化学习参数共享实现搜索
将重点放在宏观搜索的最优搜索空间上，而不是微观搜索

关键词 3D医学分割，nas

---

1.39 days for 1GB dataset
one RTX 2080Ti with 10.8GB

• 通过在搜索过程中不断训练子网络而不重新初始化子网络的权值，避免了在找到最优结构后对网络进行重新训练。

• 通过使用基于加法的skip连接和用depth-wise卷积代替普通卷积，有效地利用了GPU内存。
  

---

Search Space

• 搜索操作见上图右边

• 本文搜索空间 与其他搜索nas有如下不同：
  1、将输入patch的大小和下采样操作的数量 考虑进搜索空间
  2、将pooling数量和 空洞率 考虑进搜索空间
  3、关注宏观搜索
  4、加skip点（这里的解释是通过加入skip，以最大限度地提高网络间skip连接的效果）

• 1x1卷积后接skip操作参数量大，在宏观搜索中替换为基于对应元素相加的skip

• 加入三个激活操作和两个pooling操作，没有参数，不占内存，但是决定性能

• 加入zero 操作，为了防止过拟合

• input patch size
  

---

The Proposed Base Architecture

• 使用unet作为基本搜索空间
  

---

Training the Controller’s Parameters

• ENAS提出的参数共享的增强学习来训练controller
• 假设顺序操作的组合构成了最优的结构。因此，我们通过向LSTM输入添加惟一的值来区分不同的操作。认为可微的方法记录所有的操作，占GPU
• 每个episode 控制器创建20个子网络，并观察每个网络的验证集分数，作为奖励来训练控制器。 dice loss