EcoNAS论文阅读笔记

EcoNAS论文阅读笔记

论文链接：https://arxiv.org/pdf/2001.01233.pdf

论文贡献：

1. 通过大量的实验较为系统地分析了NAS搜索效率提升的几个关键因素；
2. 构建了一套基于进化算法的层次化搜索框架；

论文方法：

1. 系统调研代理任务中的关键因素

​ 在NAS搜索中，受限于时间、计算资源等，采样的子网络往往会在代理任务上进行训练，从而获得评价指标。而寻找合适的代理任务成为研究人员重点关注的一个方向。这里的“合适”是指，采样的子网络序列在代理任务上的性能表现与在原任务上的性能表现具有较好的一致性。

本文从一系列NAS论文中筛选出四类决定代理任务质量的关键因素，即:

​ 1) 卷积网络的通道数 c

​ 2) 输入图片的分辨率 r

​ 3) 训练的epoch数量 e

​ 4) 代理训练集的数量 s

​ 借助这四项因素的排列组合，可以将代理任务表示为$(c_a, r_b, s_c, e_x)$（其中$a,b,c,d$表示约减系数，即在基础上缩减为原先的$1/{x}$）。下图中展示了四种因素在约减系数为0，1，2，3，4下对应的数值。

在确定关键因素后，为研究四者关系，作者选择了50个子模型测试不同的代理任务方案。并得到如下两条发现：

1. 在相同的iteration下，使用 (较多的训练图片，较小的训练epoch）所带来的一致性要好于使用(较少的训练图片，较多的训练epoch)；

2. 减少输入图片的分辨率有时会有效，但减少网络的通道数往往会更有效；(作者解释该现象可能由模型的参数量增大带来的过拟合导致)

2. 基于进化算法的层次化搜索框架

​ 基于上述发现，作者选用了表现较好的一组代理数据集参数。这里选用的标准是相关性系数和加速比同时较好。为加速进化算法，作者提出了一种层次化的思路，即让表现好的结构训练更多的epoch，而让表现差的结构提早结束训练。这一点类似于在其他NAS文章中提出的early-stop机制，其核心目的是为了将好结构和坏结构之间的差距进一步拉大。

论文结果

结论/分析

1. 这篇文章对NAS代理任务中的四项关键任务进行了系统分析。现有的NAS工作往往选择处理其中某个或某几个因素进行代理任务的优化，这篇文章联合四项因素，其实与Google之前发表的BiFPN等文章联合reduce思路接近。它表明不能将分辨率或通道数等因素拆开单一看待，而应该将它们联合优化；
2. 层次化的框架也可以迁移到类似于RL或者Darts系列的NAS中，其本质就是及早中止表现不佳的结构，而用更多的算力去强化具有优良表现的结构。