論文創新點：
•1.提出了新的NAS基準。建立的基礎：NAS是一個專門的超參數優化問題；隨機搜索是超參數的baseline。
•2.採用提前停止的隨機搜索：在PTB和CIFAR-10
•3.具有權重共享的隨機搜索性能 優於 早期停止的隨機搜索功能
•4.探討了已發佈的NAS結果的現有可重複性
NAS存在問題：
•baseline不足：尚未在NAS基準上評估最新的超參數方法，難以量化NAS帶來的性能提升。
•方法複雜：缺乏ablationstudies，不清楚哪些改變能真正提升性能。
•缺乏可重複性：1. 精確的可重複性(準確復現實驗結果）；2. 廣泛的可重複性（實驗結果的魯棒性和可概括程度）
論文貢獻：
•1.提供新的視角來研究傳統超參數優化與領先的NAS方法之間的差距。估了在兩個標準NAS基準（CIFAR-10和PTB）上結合隨機搜索和提前停止的通用超參數優化方法。
•2.確定了NAS組件的一小部分。證明當使用相似的計算預算時，具有權重共享的正確調整的隨機搜索與更復雜的方法相比具有競爭力。確定了以下影響我們算法行爲的元超參數：batch size, number of epochs, network size, and number of evaluated architectures.
•3.開源了代碼、隨機種子、文檔。
超參數優化的組件：
隨機搜索步驟：
•1. 對於DAG中的每個節點，確定必須做出的決定。 在PTB搜索空間的情況下，我們需要選擇一個節點作爲輸入，並選擇相應的操作以應用以生成該節點的輸出。
•2.對於每個決策，確定給定節點的可能選擇。 在PTB搜索空間的情況下，如果我們將節點從1編號爲N，則節點i可以將節點0到i-1的輸出作爲輸入（單元的初始輸入爲索引0，也可能是索引 輸入）。 此外，我們可以從{tanh，relu，Sigmoid和Identity}中選擇一個運算，以應用於節點i的輸出。
•3.最後，從一個節點移到另一個節點，我們從需要做出的每個決策的可能選擇集中統一採樣。
其中實驗步驟和參數等，均按照DARTS（《Differentiable Architecture Search》）。
權重共享：
•僅使用隨機採樣的架構來訓練共享權重
•共享權重的更新：在所給minibatch上挑選單一架構；通過反向傳播更新權重（僅通過激活體系結構所指示的邊緣和操作）
•訓練了一定數量的時期的共享權重之後，使用這些訓練後的共享權重來評估在單獨的數據集上隨機抽樣架構的性能，作者在實驗結果裏對比了完全訓練、部分訓練、權重共享訓練得到一個結構的時間。
早停止：
使用的是ASHA算法《Massively Parallel Hyperparameter Tuning》。該算法對SHA進行了並行化改進。
相關元超參數（Meta-Hyperparameters），即進行ablation studies總結得到的結果：
•Training epochs.增加epochs會增加minibatch的總數，並增加用於更新共享權重的體系結構的數量。增加架構搜索的計算時間。
•Batchsize. 減小批次大小也會增加minibatch小批量更新的數量，但會增加噪聲梯度更新的成本。更多的minibatch更新會增加計算成本。
•Network size. 搜索網絡規模的增加會增加共享權重的維度。較大的網絡需要更多的GPU內存。
•Number of evaluated architectures.共享權重評估的架構數量增加，可以在架構搜索空間中進行更多探索。評估更多架構會增加架構搜索所需的計算時間。
實驗步驟，爲了評估這兩個基準上具有權重共享的隨機搜索的性能，在與DARTS相同的三個階段中進行了研究：
•階段1:以較便宜的搜索任務執行架構搜索，以查找單元塊。
•階段2:通過從頭開始重新訓練由最佳發現架構的多個單元塊組成的更大的網絡，從第一階段評估最佳架構。 此階段用於從多個試驗中選擇最佳的體系結構。
•階段3:通過訓練更多的時期（PTB）或訓練更多的種子（CIFAR-10），對第二階段發現的最佳架構進行全面評估。
實驗結果：
PTB搜索結果：
Cifar10搜索結果：
CIFAR-10 Benchmark，Random是作者在修改了元超參數得到的實驗結果 ：
可復現性，作者在復現Darts時發現，迭代100 epochs和600 epochs時，效果最好的實驗不是同一個，這裏存在一個最優復現，和過程復現的問題。作者解決的方案，是將所有代碼和隨機種子開源。
