[NAS-seg]Scalable Neural Architecture Search for 3D Medical Image Segmentation

论文题目：Scalable Neural Architecture Search for 3D
Medical Image Segmentation

---

使用nas的方法，搜索3D医学图像分割的网络结构。提出基于SGD的双层优化，同时学习网络结构和相关操作参数

---

搜索空间

Cell C 有四种类型：

• encoder-normal       $(C_{enc})$
• reduction                  $(C_{red})$
• decoder-normal      $(C_{dec})$
• expansion                $(C_{exp})$

normal cells：$(C_{enc})$ ，$(C_{dec})$

resizing cells：$(C_{red})$，$(C_{exp})$

• normal cells和resizing cells 通过skip 操作在decoder和encoder的cell中交替堆积

• inter-cell,copy of$(C_{enc})$ ，应用在encoder和decoder之间

• $o(i,j) ∈ O$，候选操作
  

• cell的输出是所有中间节点的 channel-wise concatenation

• 为简单起见，所有的Cell都共享一个公共结构，不考虑层级别。

• zero operation 代表无连接

---

优化方法 stochastic bi-level optimization

• 选择边的操作，one-hot 向量 $z^{(i,j)} = \left\{z_o^{(i,j)}| o ∈ O\right\}$

• 操作向量，$o^{(i,j)} = \left\{{o(x^i ; θ_o^{(i,j)} )|o ∈ O}\right\}$

• $θ_o^{(i,j)}$表示操作o在边(i,j)的参数
  

• 双层优化
  

• darts将z近似为连续概率，考虑每条边的混合op，提出修改
  

• Gumbel-softmax
  

• $τ$，temperature 是大于零的参数，它控制着 softmax 的 soft 程度

• $ε$ 来自Gumbel distribution的随机变量
  

• 梯度下降迭代更新$Θ$ 和 $α$