近年來，機器學習取得了巨大的成功，這些成功得益於機器學習算法的不斷優化，例如深度神經網絡。深度神經網絡在不斷髮現問題和解決問題的過程中又推動了 AutoML 的發展。到目前爲止，AutoML 一直致力於通過組合複雜的手工設計組件來構建解決方案。一個典型的例子是神經架構搜索，這是一個子領域，在這個子領域中，人們可以從複雜的層（例如卷積、批標準化和 dropout）自動構建神經網絡，這也是許多研究的主題。
在 AutoML 中使用的這些手工設計的組件的另一種方法是從頭開始搜索整個算法，這很有挑戰性。因爲它需要探索廣泛而稀疏的搜索空間，但它有很大的潛在好處：它不會偏向我們已知的內容，而且有可能發現新的、更好的機器學習架構。
打個比方，我們可以這樣來描述 AutoML：如果一個人要建造一座房子，那麼他從零開始動手，要比只使用預製板建造房子有更多的靈活性或改進的潛力。然而，對房屋的設計卻是極爲艱難的一個步驟，因爲與預製的整個房間的組合相比，將磚瓦和砂漿結合起來的可能方法要多得多。因此，早期對算法從頭開始學習的研究主要集中在算法的某一方面，例如學習規則，以此來減少搜索空間和所需的計算量。自 20 世紀 90 年代初以來該問題就沒有被重新研究過，直到現在。