亞馬遜的Alexa科研人員發表了一篇論文，爲神經網絡優化提供了理論基礎。雖然該文指出，很難通過計算找到一個完美的解決方案，但它提供了一個公式“近似結構搜索問題（a-ASP）”，可以用遺傳算法解決。
在最近的一篇博文中，研究工程師Adrian de Wynter把神經網絡架構選擇問題轉換成了函數逼近；在這個公式中，函數是輸入數據到輸出的“真”映射，而近似是通過訓練形成的神經網絡模型。網絡架構的選擇通常基於直覺或反覆試驗，但是de Wynter認爲，這種“任意選擇的神經架構不太可能提供最佳解決方案”。相反，給定一組神經網絡組件，如卷積或最大池化層，自動優化架構搜索將找到這些組件的組合，以最小的誤差逼近函數，而de Wynter的工作提供了“計算準確性的理論保證”。他證明了一般架構搜索問題（ASP）難以解決——也就是說，它不能保證在多項式時間內運行完。因此，他針對這個問題提出了一個“寬鬆”的公式“近似ASP（a-ASP）”，可以在多項式時間內使用共同進化遺傳算法解決。
機器學習系統的自動優化是一個活躍的研究領域。許多主要的雲平臺都提供AutoML系統，並且提供多個開源選項。大多數AutoML解決方案都處理ML管道的所有部分，包括數據清理、超參數優化和模型選擇。相比之下，de Wynter的研究主要集中在最佳神經網絡模型結構的選擇上。雖然一些研究人員使用貝葉斯優化等技術解決了這個問題，但de Wynter的論文稱，遺傳算法“在一般環境中比其他算法表現得更好”。
遺傳算法是一種基於生物進化概念“適者生存”的優化技術。每個問題的潛在解決方案都有一個適應度評分，表明它解決問題的程度，以及一個遺傳表示。其主要思想是，一個解決方案必須以一種允許隨機突變以及與其他解決方案交叉的方式表示。遺傳算法運行數代，嘗試各種解決方案，應用突變，並保持最適合的結果。在de Wynter的公式中，遺傳算法搜索神經網絡組件的組合，如卷積層，那些組件屬於一個組件集，其表現就相當於一個圖靈機。遺傳算法必須找到這些組件的一個序列，該序列生成的網絡最好地近似於所需要的輸入數據到輸出的映射，但受到最大序列長度的限制。
其他研究團隊已經應用遺傳或進化算法來優化深度學習系統。谷歌去年發佈了開源的AdaNet，這是一個基於TensorFlow的框架，用於基於進化的AutoML。最近，Uber開源了EvoGrad，這是一個進化算法的PyTorch庫，它將種羣視爲一個抽象的概率分佈。根據Wynter的說法：
[M]任何研究人員都得出了這樣的結論：共同進化算法爲構建機器學習系統提供了最佳途徑。但本文提出的函數近似框架爲他們提供了直覺上更可靠的理論基礎。
原文鏈接：
Alexa Research Paper Shows Genetic Algorithms Offer Best Solution for Neural Network Optimization