【導讀】面對如今每年數量暴增的AI領域頂級會議論文投稿量，作者Zachary C. Lipton在Approximately correct上發表了對論文評審的一些看法。Approximately correct是一個旨在溝通機器學習技術和社會觀點的博客網站。CMU的Zachary C. Lipton致力於機器學習領域相關研究。
作者 | Zachary C. Lipton
編譯 | Xiaowen
隨着提交論文的數量激增，經驗豐富的研究人員隊伍停滯不前，機器學習會議做出了不可避免的選擇，讓同行評審員隊伍擴大，希望能夠應對這場衝擊。
該圖描述了NIPS提交論文數隨時間的變化趨勢。紅色條形圖是對未來的預測。
由於幾乎所有的教授，博士生等評審工作量都趨於飽和，會議組織者變得“富有創造力”，在“不太可能”的地方找到了審稿人。記者聯繫到了ICLR的程序委員會主席，他拒絕透露他們尋找未開發的評審人才的戰略，或許是擔心這些商業祕密可能被競爭對手NeurIPS和ICML所利用。幸運的是，在不願透露姓名的情況下，幾名 (級別較低的) ICLR國際會議成員同意討論幾個不尋常的來源：
- All of /r/machinelearning
- Twitter users who follow @ylecun
- Holders of registered .ai & .ml domains
- Commenters from ML articles posted to Hacker News
- YouTube commenters on Siraj Raval deep learning rap videos
- Employees of entities registered as owners of .ai & .ml domains
- Everyone camped within 4° of Andrej Karpathy at Burning Man
- GitHub handles forking TensorFlow, Pytorch, or MXNet in last 6 mos.
- A joint venture with Udacity to make reviewing for ICLR a course project for their Intro to Deep Learning class
有這麼多新的審稿人，也許這並不令人意外地看到一些不尋常的評論：一些很簡短的、或者一些奇怪的…網絡用語(比如“inho，srs paper4real”等)，以及一些質疑關於社區成員共同知識的人(“who are you to say this matrix is degenerate?”)。
然而，這些評論對一個旁觀者來說可能意味着新評審員的無能，掩蓋了一羣新的審稿員爲迎接這一場合而作出的認真努力。我之所以知道這一點，是因爲這些新審稿員中的許多人都熱衷於 Approximately Correct [1] 的閱讀，在過去的幾周裏，我的郵箱裏充斥着來自善意新評審員們的嚴肅問題。
如果你以前教過一門課，你知道他們的問題會有很大的重疊，這可能並不令人驚訝。因此，雖然我們通常不會在 Approximately Correct發佈 QA 類型的文章，但這次可以破例。我彙編了幾個問題作爲例子，並提供了比較簡潔的答案，這是一篇罕見的 QA 文章，我們稱之爲“這是一篇論文評審嗎？”
來自Pasadena的Henry寫到：
親愛的 Approximately Correct： 我被指派去評審一篇論文。我閱讀了摘要，並形成了與論文主題相關的觀點。然後，我寫了一段話表達了我的觀點，另一部分與一個匿名評論者就一個無關的話題進行了討論。這是Hacker News的標準做法，我在那裏獲得了2000多張選票，這構成了我參加ICLR國際會議評審資格的基礎。這是論文評審嗎？
AC：不，這不是論文評審。
來自Mysore的Pandit寫到：
親愛的 Approximately Correct： 我讀過一篇關於梯度下降的收斂性的論文。我沒看明白他們文中所說的“limit”，所以我跳到論文的後面，在那裏我注意到他們沒有在ImageNet上做任何實驗。我寫了一篇單行的評論，標題上寫着：“Not an expert but WTF？”，正文中寫“沒在ImageNet上做實驗？” 這是論文評審嗎？
AC：不，這不是論文評審。
來自上海的Xiao寫到：
親愛的 Approximately Correct： I trained an LSTM on past ICLR reviews. Then I ran it with the softmax temperature set to .01. The output was “Not novel [EOS].” I entered this in OpenReview. Is this a paper review?
AC：不，這不是論文評審。
來自Boulder的George寫到：
親愛的 Approximately Correct： 在審這篇論文時，我注意到它在某些方面與我在1987年時的想法有些相似。雖然我喜歡這個想法，但我給這篇論文打了一箇中等分數，一半的審稿意見對技術工作進行了紮實的討論，另一半專門列舉了我自己的論文，並要求作者引用它們。這是論文評審嗎？
AC： 這聽起來像是一篇糟糕的論文評審。但是如果你冷靜下來，把分數提高到你認爲它值得的分數，拿出所有關於你自己的論文的內容，然後給你的metareviewer發一封貼心的筆記，指出一個小小的利益衝突，這可能是一個很好的評審。
來自New Jersey的Rachel寫到：
親愛的 Approximately Correct： 我看了一篇文章。在前2頁中，有10個數學錯誤，包括一些使論文的全部貢獻明顯錯誤的錯誤。爲了節省我的時間，我停止了閱讀，寫了一段簡短的評論，指出了錯誤，並說“不適合在ICLR國際會議上發表”。這是論文評審嗎？
AC：雖然通常如此簡短的評審意見可能不合適，但這是一個明顯的例外，這是精彩的評審！
許多論文作者對於審稿分數存在許多爭議，對於擴大評審隊伍的這類做法是否能行之有效還有待考察。
參考鏈接：
1. http://approximatelycorrect.com/
原文鏈接：
http://approximatelycorrect.com/2018/11/18/is-this-a-paper-review/
-END-