GeneticNas论文笔记

GeneticNas:有进化搜索的ENAS,带权重共享的网络搜索(把网络中的每个block看成固定数目成分的有向无环图；既然是固定数目的，那只要换换成分即可)
ENAS:使用RNN产生新的网络，并使用权重共享
DARTS:使用一个关于梯度的函数来决定如何更新每个连接
GA四要素：selection, cross-over, mutation and replacement；先经过前三个步骤生成新的网络，再替换population中的网络
网络结构：
1.左边为网络结构，右边为Reduction Cell和Normal Cell的结构

2.每个DAG模块由Nb个block组成；

3.每个block结构一样，都是由两个input,两个operator，一个add操作构成；

4.每个block使用整数列表表示

5.每个op的输出通道数目与输入相同
6.op可选择

实验步骤：现在cifar-10上搜网络，再在cifar-10，cifar-100上训练得到准确率；搜索时的Normal Cell个数和每个block中op的通道个数都比最后得到最佳网络，再把最佳网络放到目标数据集上去训练时的少
消融实验结构：过大或过小的population都不行，block crossover优于常规的uniform crossover(后者变动的比前者多)，mutation概率不易过大或过小；基本上变动的过多都不利于得到更好的网络，变动的过小不利于搜索；