在探索權重不可知網絡過程中，Google提出了一種無需學習權重參數就能在其環境中運行良好的“代理”：1.使用一個完善的拓撲搜索算法（NEAT），通過逐個添加單個連接和單個節點來演化神經網絡架構；2.通過簡單地找到最佳的單個共享權重參數，來訓練WANN，從而最大限度地提高其性能。
當訓練神經網絡去完成給定的圖像分類或強化學習任務時，我們都會細化一組權重，這種權重往往是與網絡中的各個連接相關聯的。另一種已經取得實質性進展的神經網絡創建方法是神經網絡架構搜索，它利用人工調配組件（如卷積網絡組件或轉換器塊）構建神經網絡。研究表明，利用這些組件構建的神經網絡（如深度卷積網絡），對圖像處理任務具有很強的歸納偏置，甚至可以在權重隨機初始化的情況下執行。雖然神經網絡架構搜索提供了一些新的方法，可以爲當前的任務域安排具有已知歸納偏置的人工調配組件，但在自動發現具有此類歸納偏置的新神經網絡（用於不同的任務域）方面幾乎沒有進展。
就像某些從出生起就具有反捕食行爲的早熟物種，無需學習就能完成複雜的運動和感觀任務一樣，也許我們也可以構建出不需要訓練就能很好地完成任務的神經網絡。當然，這些自然的（人工的）神經網絡可以通過訓練得到進一步的完善，但它們即使不學習也能執行任務的能力表明，對於任務的偏置，它們也可以很好的適用。
在“權重不可知神經網絡”（WANN）中，我們提出了專門搜索這些帶有歸納偏置網絡的第一步：這些神經網絡架構即使使用隨機共享的權重，也可以執行各種任務。我們這項工作的目的是：瞭解這種神經網絡在不學習任何權重參數的情況下，僅依靠其神經網絡架構，對給定任務的完成度是多少。通過研究這樣的神經網絡架構，我們提出了一種無需學習權重參數就能在其環境中運行良好的代理。此外，爲了促進該領域的進步，我們還開放了源代碼，以便更廣泛的研究社區重現我們的WANN實驗。
左圖：一個人工調配、完全連接的深度神經網絡，具有2760個權重連接。使用學習算法，我們可以解出2760個權重參數的集合，使該網絡能夠執行BipedalWalker-v2任務。
右圖：一種與權重無關的神經網絡架構，具有44個連接，可以執行相同的Bipedal Walker任務。與全連接網絡不同，此WANN無需訓練每個連接的權重參數，仍然可以執行任務。實際上，爲了簡化訓練，WANN被設計成在每個權重連接的值相同或共享時執行，甚至在這個共享權重參數被隨機採樣時也會起作用。
尋找WANN
我們從一組最小的神經網絡架構候選對象開始，每個候選對象只有很少的連接，並使用一個完善的拓撲搜索算法（NEAT），通過逐個添加單個連接和單個節點來演化架構。WANN背後的關鍵理念是通過降低權重來搜索架構。與傳統的神經架構搜索方法不同，新架構的所有權重參數都需要使用學習算法進行訓練，我們採用了一種更簡單、更有效的方法。這裏，在搜索過程中，所有候選架構首先在每次迭代時分配一個共享權重值，然後進行優化，以便在廣泛的共享權重值範圍內很好地執行任務。
用於搜索網絡拓撲空間的操作符
左：一個最小的網絡拓撲結構，輸入和輸出僅部分連接。
中間：網絡的三種更改方式：
（1）插入節點：通過拆分現有連接，插入新節點。
（2）添加連接：通過連接兩個先前未連接的節點添加一個新連接。
（3）變更激活：重新分配隱藏節點的激活函數。
右：可能的激活函數（線性、階躍、sin、cos、高斯、tanh、sigmoid、逆、絕對值、ReLU）
除了探索一系列與權重無關的神經網絡之外，重要的是還要尋找只有它們需要的複雜網絡架構。我們利用多目標優化技術，同時對網絡的性能和複雜度進行優化。
權重不可知神經網絡搜索概述及其用於搜索網絡拓撲空間的相應運算符。
訓練WANN架構
與傳統神經網絡不同的是，我們可以通過簡單地找到最佳的單個共享權重參數來訓練WANN，從而最大限度地提高其性能。在下面的例子中，我們可以看到權重不可知神經網絡架構（在某種程度上）使用恆定的權重來完成一個搖擺式cartpole任務：
WANN以各種不同的權重參數執行Cartpole Swing-up任務，並且還使用微調的權重參數。
正如我們在上圖中看到的，雖然WANN可以使用一系列共享權重參數來執行其任務，但是其性能仍然無法與學習每個單獨連接權重的神經網絡相比較。如果我們想進一步提高它的性能，我們可以使用WANN架構和最佳共享權作爲起點，使用學習算法微調每個連接的權重，就像我們通常訓練其他神經網絡一樣。以網絡架構的權重無關屬性爲起點，並通過學習對其性能進行微調，可能有助於提供動物學習方式的深刻類比。
通過對性能和網絡簡單性的多目標優化，我們的方法找到了一個簡單的WANN，可以用於汽車比賽的像素任務，而無需明確訓練神經網絡的權重
神經網絡架構僅使用隨機權重的功能還提供了其他優勢。例如，通過使用相同WANN架構的副本，但是其中WANN的每個副本都分配了不同的權重值，我們可以爲相同的任務創建多個不同模型的集合。這種集合通常比單個模型獲得更好的性能。我們通過一個MNIST分類器使用隨機權重的演化過程說明這一點：
MNIST分類器使用隨機權重的演化過程。
傳統的隨機初始化神經網絡在MNIST上的精度約爲10%，而這種使用隨機權重的特殊神經網絡架構在應用於MNIST上時，其精度遠高於隨機（> 80%）。當使用WANN集合，其中每個WANN分配有不同的共享權重時，精確度可以提高到> 90%。
即使沒有集成方法，也可以將網絡中的權重值壓縮爲一，從而使網絡能夠快速調整。快速調整權重的能力可能在持續、終生學習中很有用，在這種學習中，代理在整個生命週期內獲得、適應和轉移技能。這使得WANN特別適合利用Baldwin效應，Baldwin效應是一種進化壓力，它獎勵那些傾向於學習有用行爲的個體，而不會陷入“學習學習”這個代價高昂的計算陷阱。
結論
我們希望這項工作可以作爲一個墊腳石，幫助發現新的基礎神經網絡組件，如卷積網絡，其發現和應用已經在深度學習取得了令人難以置信的進展。自卷積神經網絡被發現以來，研究領域可用的計算資源顯著增加。如果我們將這些資源用於自動發現並希望在神經網絡架構中實現更多的增量改進，那麼我們同樣相信，使用新的構建塊（而不僅僅是它們的安排）來搜索也是值得的。
如果有興趣瞭解更多，我們邀請你閱讀互動文章（或離線閱讀pdf版本的論文）。除了將這些實驗開源給研究社區外，我們還發布了一個名爲PrettyNEAT的通用Python實現，以幫助感興趣的讀者從基本原理出發探索令人興奮的神經網絡領域。