源 | 新智元
ICLR 2019共接收1591篇投稿，創下歷年新高。
至於錄取率，目前還沒有官方公佈。從ICLR 2018的情況來看，平均分達到6.57可以被接收，Top 33%的論文可以被接收爲poster或talk。但今年的投稿量比去年多得多，去年是996篇，因此預計接收比率會降低。
Rebuttal和討論的期間是11月5日到11月21日，這期間作者可以回覆評審人的評論，並對論文進行修改。
有人做了一個網站：https://chillee.github.io，列舉了得分前200的論文和它們的得分。
大部分論文處於4~6.5分之間，論文平均得分分佈如下（數據來自chillee.github.io）：
投稿論文涉及最多的關鍵詞是強化學習、GAN、生成模型、優化、無監督學習、 表示學習等。
ICLR 2019關鍵詞分佈（點擊圖片可放大）
截至11月5日，大部分論文已經收到全部Review，部分已公佈1或2個Review，其餘也將在接下來幾天陸續放出。
或喜或憂，評審結果爭議不大
目前來看，關於ICLR評審結果的反饋沒有太多爭論。
有Reddit用戶表示：“我不得不說，今年ICLR的評審比NIPS的要好得多。至少，到目前爲止，在我關注的領域我還沒有看到任何ICLR的愚蠢評論。確實，有時評審人會漏看一些論文的瑕疵。但總會有另一個評審人指出來。而且，你可以通過添加公共評論來指出你希望評審人注意到的問題。”
當然，也有人認爲ICLR匿名評審有相當大“賭運氣”的成分。
有Reddit用戶寫道：
評審人1反覆說 Relativistic GAN只是對系統進行小改進（a tweak），說我的整個方法部分都是“錯誤的”或者“寫得不好”。他的給分是3/10，置信度是2/5。其他評審人給我的論文的評價是“寫得很好”，給分是6/10 和 7/10。
所以說，評審完全是一場賭博。這太令人沮喪了！
有人表示同病相憐：
我得到了類似的結果。一位評審人剛說“你的論文需要重寫”，並給了一個超級低的分數3/10，他的置信度是2/5。第二位審稿人認真閱讀了論文，認真寫了評論，包括指出我論文的優點和缺陷，最後給的分數是8/10，他的置信度是4/5。現在我還在等待第三位評審人......這是好事還是壞事，我真的不知道該怎麼想了......
也有人提出理性的建議：
我建議你們將會議視爲一種“必須申請的免費推廣機會”，它會對已經很好的論文有幫助，但評分多少並沒有論文的實際影響那麼重要。如果以後每個人都開始使用你的relativistic GAN，那麼它在哪裏發表實際上是無關緊要的（比如GAN、WGAN、AlphaGo，無論在哪裏、發表與否，都無法否認它們是偉大的工作這一事實）。
下面，我們選取ICLR 2019目前得分排名前6（≥8.00）的論文作簡要介紹。
高分論文Top 6：BigGAN、逆強化學習、後驗推理等
高分論文1：Large Scale GAN Training for High Fidelity Natural Image Synthesis
得分：8.45（8，7，10）
在介紹這篇論文之前，讓我們先看下面這些圖片，請猜猜看，其中哪些是AI生成的假圖片，哪些是真實的圖片：
答案是，以上全部是GAN生成的假圖片！
這些圖片來自引起熱議的論文“BigGAN”。GAN生成圖像的論文很多，有很多也達到足以以假亂真、“效果驚豔”的水平，但BigGAN再次讓學界驚歎，它直接將圖像生成的指標“Inception Score”提高到166.3，比之前的最好分數提高了兩倍。
雖然是匿名提交，不過作者也在arXiv上上傳了這篇論文，因此我們得知它的作者：來自英國赫瑞瓦特大學的Andrew Brock，以及來自DeepMind的Jeff Donahue和Karen Simonyan。
摘要
儘管最近的研究在生成圖像建模方面取得了不少進展，但從ImageNet這樣的複雜數據集中成功生成高分辨率、多樣化的樣本仍然是一個難以實現的目標。爲此，我們訓練了迄今爲止規模最大的生成對抗網絡，並研究了這種規模的不穩定性。我們發現，對生成器應用正交正則化可以使其適用於簡單的“截斷技巧”（truncation trick），通過截斷潛在空間，可以精確地控制樣本保真度和多樣性之間的權衡。我們的修改導致模型在以類別爲條件的圖像合成任務中達到新的最優水平。在ImageNet上以128x128分辨率進行訓練時，我們的模型（BigGAN）的Inception Score (IS) 爲166.3， Frechet Inception Distance (FID)爲9.6，之前的最優IS爲52.52，FID爲18.65。
關鍵詞：GANs, 生成模型, 大規模訓練，深度學習
一句話簡介：GANs受益於大規模訓練
論文地址：
https://openreview.net/pdf?id=B1xsqj09Fm
高分論文2：Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow
得分：8.20（6，10，8）
摘要
對抗性學習方法已經得到廣泛應用，但是對抗性模型的訓練是出了名的不穩定。有效地平衡生成器和鑑別器的性能是至關重要的，因爲一個鑑別器如果達到很高的精度，就會產生相對不提供信息的梯度。在這項工作中，我們提出了一種簡單而通用的技術，通過信息瓶頸（information bottleneck）來約束鑑別器中的信息流。通過對觀測值與鑑別器內部表示之間的相互信息進行約束，我們可以有效地調節鑑別器的準確度，並保持有用且信息豐富的梯度。
我們證明了我們提出的變分鑑別器瓶頸（VDB）導致對抗性學習算法在三個不同應用領域得到顯着改進。我們的初步評估研究了VDB對動態連續控制技能（如跑步）的模擬學習的適用性。我們的研究表明，該方法可以直接從原始視頻演示中學習這些技能，大大優於以前的對抗性模仿學習方法。VDB還可以與對抗性逆強化學習相結合，以學習可在新設置中轉移和重新優化的獎勵函數。最後，我們證明了VDB可以更有效地訓練GAN生成圖像，改進了之前的一些穩定方法。
關鍵詞：強化學習，生成對抗網絡，模仿學習，逆強化學習，信息瓶頸
一句話簡介：通過信息瓶頸規範對抗性學習，應用於模仿學習、逆向強化學習和生成對抗網絡。
論文地址：
https://openreview.net/pdf?id=HyxPx3R9tm
高分論文3：ALISTA: Analytic Weights Are As Good As Learned Weights in LISTA
得分：8.15（10，6，8）
摘要
基於展開迭代算法的深度神經網絡，例如，LISTA（earned iterative shrinkage thresholding algorithm），在稀疏信號恢復方面已經取得了經驗上的成功。目前，這些神經網絡的權重由數據驅動的“黑盒”訓練確定。在這項工作中，我們提出了分析LISTA（ALISTA），其中LISTA中的權重矩陣被計算爲一個無數據優化問題的解決方案，只將步長和閾值參數留給數據驅動的學習。這顯着簡化了訓練。具體而言，無數據優化問題是基於一致性最小化的。我們證明ALISTA保留了在(Chen et al.，2018)中證明的最佳線性收斂，並且具有與LISTA相當的性能。此外，我們將ALISTA擴展到卷積線性算子，同樣以無數據的方式確定。我們還提出了一種前饋框架，結合無數據優化和端到端的ALISTA網絡，可以聯合訓練以獲得編碼模型的魯棒性。
關鍵詞：稀疏恢復，神經網絡
論文地址：
https://openreview.net/pdf?id=B1lnzn0ctQ
高分論文4：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
得分：8.09（9，7，8）
摘要
遞歸神經網絡（RNN）模型廣泛用於處理由潛在樹結構控制的序列數據。以前的工作表明，RNN模型（特別是基於長短期記憶LSTM的模型）可以學習利用底層樹結構。但是，它的性能始終落後於基於樹的模型。這項工作提出了一種新的歸納偏差有序神經元（inductive bias Ordered Neurons），它強制執行隱藏狀態神經元之間更新頻率的順序。我們證明有序神經元可以將潛在樹結構明確地整合到循環模型中。爲此，我們提出了一個新的RNN單元：ON-LSTM，它在四個不同的任務上取得了良好的性能：語言建模、無監督解析、有針對性的句法評估和邏輯推理。
關鍵詞：深度學習，自然語言處理，遞歸神經網絡，語言建模
一句話簡介：我們提出一種新的歸納偏差，將樹結構集成在遞歸神經網絡中。
論文地址：
https://openreview.net/pdf?id=B1l6qiR5F7
高分論文5：Slimmable Neural Networks
得分：8.08（8，9，7）
摘要
我們提出一種簡單而通用的方法來訓練可執行不同寬度（一個layer中的通道數）的單個神經網絡，從而允許在運行時進行即時且自適應的精確度 - 效率權衡（accuracy-efficiency trade-offs）。
訓練好的網絡被稱爲slimmable神經網絡，與MobileNet v1、MobileNet v2、ShuffleNet和ResNet-50等單獨訓練的模型相比，slimmable模型分別在不同的寬度上實現了相似（許多情況下甚至更好）的ImageNet分類精度。在許多任務中，與單個模型相比，slimmable模型有更好的性能，包括COCO邊界框對象檢測、實例分割和人體關鍵點檢測，而且無需調整超參數。
最後，我們進行了可視化，並討論了slimmable 網絡的學習特性。代碼和模型將會開源。
關鍵詞：Slimmable neural networks，移動端深度學習， accuracy-efficiency權衡
一句話簡介：我們提出一種簡單而通用的方法來訓練可執行不同寬度（層中的通道數）的單個神經網絡，允許在運行時進行即時和自適應的accuracy-efficiency權衡。
論文地址：
https://openreview.net/pdf?id=H1gMCsAqY7
高分論文6：Posterior Attention Models for Sequence to Sequence Learning
得分：8.00（8，9，7）
摘要
現代神經網絡架構嚴重依賴於將結構化輸入映射到序列的注意力機制（attention）。在本文中，我們表明普遍的注意力架構不能充分建模注意力和輸出變量之間沿預測序列長度的依賴性。
我們提出一種新的替代架構，稱爲後驗注意力模型（Posterior Attention Models）。它基於注意力和輸出變量的完全聯合分佈的原則分解，提出了兩個主要的變化：
首先，注意力被邊緣化的位置從輸入變成了輸出。其次，傳播到下一個解碼階段的注意力是一個以輸出爲條件的後驗注意力分佈。
在5個翻譯任務和2個形態學變換任務中，後驗注意力模型比現有的注意力模型產生了更好的預測準確性和對齊精度。
關鍵詞：後驗推理，attention，seq2seq learning，翻譯
一句話簡介：基於後驗分佈的計算注意力機制可以得到更有意義的attention和更好的表現
論文地址：
https://openreview.net/pdf?id=BkltNhC9FX
所有評審結果，可以在這裏查看：
https://chillee.github.io/OpenReviewExplorer/index.html?conf=iclr2019