機器之心報道
參與：曉坤、張倩
近日，ICLR 2019 的論文評審結果出爐，評審們已經在論文的 openreview 頁面公佈了他們的評論和分數。有網友做了一個項目，將這些結果蒐集起來製成了列表，展示了平均分數前 200 名的論文。不在前 200 名的論文可以藉助 reddit 網友分享的小程序計算自己的名次。
ICLR 2019 將於明年 5 月 6 日-9 日在美國新奧爾良舉行，今年 9 月 27 日下午 18 時，大會論文提交截止。據統計，ICLR 2019 共收到 1591 篇論文投稿，相比去年的 996 篇增長了 60%。之後，這些論文經過了漫長的評審，近日評審結果終於出爐。在 11 月 5 日到 11 月 21 日期間，論文作者可以對評審人的評論進行回覆，修改論文。
在今年的 ICLR 論文中，強化學習和 GAN 依然是兩大熱門研究領域。對比去年的統計，除了前兩者，無監督學習、生成模型、優化和表徵學習也依然是最受關注的課題。
ICLR 2018 論文統計
ICLR 2019 論文統計
此外，據網友統計，在最新的 ICLR 2019 提交論文中，提及 PyTorch 的論文數量的增幅遠遠超越了 TensorFlow，似乎讓人們看到了 PyTorch 即將趕超 TensorFlow 的跡象。
評審概況
如上圖所示，名次是按照評分的平均值排列的。我們可以在列表中查看論文平均分、各個評審的分數、方差和置信度。當然有些論文僅給出了一個或兩個分數，更多的評審結果會在近期陸續更新。
項目地址：https://chillee.github.io/OpenReviewExplorer/index.html?conf=iclr2019
在前十名的論文中，題目中出現 GAN 的就有 3 篇，足以說明 GAN 的熱度。以下是前十名論文的部分信息：
- 第一名是 arXiv 上的這篇：Benchmarking Neural Network Robustness to Common Corruptions and Surface Variations，作者來自加州大學伯克利分校和俄勒岡州立大學。
- 論文地址：https://arxiv.org/pdf/1807.01697.pdf
- 第二名：KnockoffGAN: Generating Knockoffs for Feature Selection using Generative Adversarial Networks，作者不詳。
- 論文地址：https://openreview.net/forum?id=ByeZ5jC5YQ
- 第三名：Large Scale GAN Training for High Fidelity Natural Image Synthesis 正是之前大熱的 BigGAN，作者來自 DeepMind
- 論文地址：https://arxiv.org/pdf/1809.11096.pdf
- 第四名：Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow 已在 arXiv 上發佈，作者是加州大學伯克利分校的 Xue Bin Peng 等人。
- 論文地址：https://arxiv.org/pdf/1810.00821.pdf
- 第五名：ALISTA: Analytic Weights Are As Good As Learned Weights in LISTA，作者不詳。
- 論文地址：https://openreview.net/forum?id=B1lnzn0ctQ
- 第六名：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks 已在 arXiv 上發佈，作者來自蒙特利爾大學 Mila 和微軟研究院。
- 論文地址：https://arxiv.org/pdf/1810.09536.pdf
- 第七名：Slimmable Neural Networks，作者不詳。
- 論文地址：https://openreview.net/forum?id=H1gMCsAqY7
- 第八名：ProMP: Proximal Meta-Policy Search 已在 arXiv 上發佈，作者來自加州大學伯克利分校和卡爾斯魯厄理工學院（KIT）。
- 論文地址：https://arxiv.org/pdf/1810.06784.pdf
- 第九名：Enabling Factorized Piano Music Modeling and Generation with the MAESTRO Dataset 已在 arXiv 上發佈，作者來自谷歌大腦、DeepMind。
- 論文地址：https://arxiv.org/pdf/1810.12247.pdf
- 第十名：Differentiable Learning-to-Normalize via Switchable Normalization 已在 arXiv 上發佈，作者來自香港中文大學和商湯研究院。
- 論文地址：https://arxiv.org/pdf/1806.10779.pdf
網友討論
儘管目前不是所有的評審都給出了分數，但 Reddit 上已經陸續有網友展開了討論。
有網友表示評審者給分的兩極分化令人咋舌：
網友 AlexiaJM：
評審員甲反覆稱相對 GAN（Relativistic GAN）是「一個很小的改進（a tweak）」，稱我的整個方法部分是「錯誤的」、「寫得不好」。他給的分數是 3 分，置信度是 2。但其他評審員表示我的論文寫得「非常好」，並分別給出了 6 分和 7 分。評審真是一場賭博。這太令人沮喪了！
網友 fixed-point-learning 表示自己也遭遇了類似情況，ta 得到了兩個差距很大的評分。一位評審員給出了 3 分的低分，並簡單評論道：「這篇論文需要重寫」，而另一名評審員給出的評論較爲詳細，有褒有貶，並最終給出了 8 分……
那麼問題來了，評審員給出的這些評論究竟對論文接收結果影響多大？對此，網友 alexmlamb 表示，「地區主席（更高級別的評審員）會閱讀評論並做出決定。他們給出的分數通常非常接近平均分，但是如果其中一個評論只有一行或者信息嚴重不足，那麼它對評審主席的影響就會比較小。」
其實評審結果的分歧在頂會論文接收中並不是什麼新鮮事。早在 2014 年 NIPS 就做過一個有趣的實驗，他們複製了 10 % 的提交論文（170 篇論文）並將其分發給兩組不同的評審者，結果有 25.9% 的論文評審結果不一致。這表明，幾乎每四篇論文中就有一篇被一個專家組接受，而另一個專家組拒絕。這反映了評審機制的某些不合理之處。
儘管如此，有網友表示今年 ICLR 的評審還是比 NIPS 好得多。「至少到目前爲止，我還沒有在 ICLR 上看到任何有關我的研究領域的愚蠢評論……有時一位評審員會漏掉論文的一些缺陷，但是總有另一位評審員會指出來。無論如何，你可以通過公開評論指出你想讓評審員注意到的任何問題。」
爲了充分利用大會論文信息提高得分，有位優秀的網友（shaohua0116）索性碼了一個程序。他從 OpenReview 上抓取了所有 ICLR 2019 論文及評審者給出的評分並將其可視化，做出了關鍵詞雲、關鍵詞與評分相關性圖、關鍵詞直方圖等直觀的圖表。讓我們來感受一下：
關鍵詞雲
評分分佈直方圖。
從圖中可以看出，評審者給出的評分集中在 5 到 6 分左右（平均分：5.15 分）。
論文沒有進入前 200 名無法知道名次？沒有關係。這位網友給出了一段代碼，幫你算一下你的論文可以打敗多少競爭者：
def PR(rating_mean, your_rating):
pr = np.sum(your_rating >= np.array(rating_mean))/len(rating_mean)*100
return pr
my_rating = (7+7+9)/3 # your average rating here
print('Your papar beats {:.2f}% of submission '
'(well, jsut based on the ratings...)'.format(PR(rating_mean, my_rating)))
# ICLR 2017: accept rate 39.1% (198/507) (15 orals and 183 posters)
# ICLR 2018: accept rate 32% (314/981) (23 orals and 291 posters)
# ICLR 2018: accept rate ?% (?/1580)爲了展現關鍵詞與評分的相關性，網友做出了以下這張關鍵詞與評分相關性圖：
該圖表明，爲了最大限度地提高分數，你應該使用關鍵詞，如理論、魯棒性或圖神經網絡。
程序地址：https://github.com/shaohua0116/ICLR2019-OpenReviewData
高分論文
目測幾篇論文分數的方差較大，這裏我們只簡單介紹一下有完整評審結果的論文前三名。
- 論文 1：Large Scale GAN Training for High Fidelity Natural Image Synthesis
- 鏈接：https://arxiv.org/pdf/1809.11096.pdf
- 得分：8、7、10
BigGAN 這篇論文引起了很多學者的注意，並驚呼：不敢相信這樣高質量的圖像竟是 AI 生成出來的。其中生成圖像的目標和背景都高度逼真、邊界自然，並且圖像插值每一幀都相當真實，簡直能稱得上「創造物種的 GAN」。
圖 6：由 BigGAN 在 512x512 分辨率下生成的其它樣本。
圖 8：z、c 配對下的圖像插值。
- 論文 2：Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow
- 鏈接：https://openreview.net/forum?id=HyxPx3R9tm
- 得分：6、10、8
本文提出利用信息瓶頸的正則化對抗學習方法，通過信息瓶頸限制判別器的信息流，實現對抗學習性能的顯著提升，並可應用於模仿學習、逆向強化學習。左圖：對抗模仿學習中的動作模仿；中間：圖像生成；右圖：通過對抗逆向強化學習學習可遷移的獎勵函數。
- 論文 3：ALISTA: Analytic Weights Are As Good As Learned Weights in LISTA
- 鏈接：https://openreview.net/forum?id=B1lnzn0ctQ
- 得分：10、6、8
基於展開迭代算法的深層神經網絡在稀疏信號恢復方面已經取得了經驗上的成功。這些神經網絡的權重目前由數據驅動的「黑箱」訓練來確定。這篇論文提出了分析性 LISTA（ALISTA），計算出 LISTA 中的權重矩陣以解決無數據優化問題，只留下步長和閾值參數供數據驅動的學習利用。這種做法極大地簡化了訓練過程。ALISTA 保留了 Chen 等人在 2018 年的論文中證明的最優線性收斂性，並具有與 LISTA 相當的性能。
圖 4：ALISTA 魯棒性驗證。
參考來源：
https://chillee.github.io/OpenReviewExplorer/index.html?conf=iclr2019
https://www.reddit.com/r/MachineLearning/comments/9uixgo/d_iclr_2019_reviews_are_out_good_luck_everyone/
https://github.com/shaohua0116/ICLR2019-OpenReviewData