論文題目:Fair DARTS: Eliminating Unfair Advantages in Differentiable Architecture Search
論文鏈接:https://arxiv.org/pdf/1911.12126.pdf
論文代碼:https://github.com/xiaomi-automl/FairDARTS
fair darts探討了 DARTS 存在的兩個問題:
1、搜索過程中 skip connection 在優化後期出現過多
2、連續的結構參數離散化存在 gap (超網在 ImageNet 上達到73.48%,離散化後full train只有 66.39%)
分別根據上述兩個問題,給出對應的解決方法:
1、將權重操作的歸一化獨立開
2、提出一個新的loss來抑制近似過程中的性能差距;
將權重操作的歸一化獨立開
歸一化權重的同時又要讓權重之間獨立互不干擾,選取sigmoid替換softmax。
提出一個新的zero-one loss作爲正則項引入損失函數
實驗分析知,op與op之間的weight差距不夠大,不能顯著地引導區分所謂的好操作和壞操作。爲此,作者設計了一個新的損失函數,作爲正則項加入最終的損失函數,來引導將權重區分得更加明顯。
總的損失函數爲:
實驗中,提高了和兩種正則化方案,選取權重爲10.
結果
cifar10
imagenet