機器學習社區這些問題，我一個外行都看出來了

↑↑↑點擊上方藍字，回覆資料，10個G的驚喜

轉自 | 機器之心

人們常說「隔行如隔山」，機器學習社區在外行人眼裏是什麼樣的？

近日，一位來自傳統行業的從業者觀察了機器學習研究社區的現狀，發現了一些問題並在 reddit 上發帖，不少機器學習從業者也紛紛表達觀點，參與討論。

帖子作者注意到，機器學習社區內有很多研究者正致力於優化、控制、信號處理等「舊領域」的交叉研究，他們會突然發表大量聲稱要解決某個問題的論文，問題本身通常是近期的，使用的方法會包含一些深度神經網絡。

然而仔細一看，這些研究唯一新穎的地方只有提出的問題，而不是研究人員解決該問題的方案。

讓他困惑的是，爲什麼大量這種看起來水平一般，幾乎就是對各領域內 20 世紀 80 年代，甚至 60 年代以後的技術重新編排的文章卻能夠被接受？經過仔細研究，作者發現機器學習社區存在一些問題。

只有機器學習頂會歡迎

許多研究者只在機器學習會議上發表論文，而不會在其研究的專屬會議或期刊（例如優化和控制領域期刊）上發表。例如，在一篇對抗機器學習論文中，整篇論文的內容幾乎都是關於解決一個優化問題的，但提出的優化方法基本是其他成熟研究成果的變體。作者還注意到，如果一篇論文沒有被 NeurIPS 或 ICLR 接收，它就會被轉投給 AAAI 或其他名氣小一點的會議，真是一點也不浪費。

有人評論稱，這其實和會議的名氣有關：「在 NeurIPS 等機器學習頂會上發表的研究，收益可能是其他會議的十倍。但有一些子領域的會議也很受重視，比如計算機視覺領域的 CVPR、自然語言處理領域的 ACL 會議等。」

審稿人不瞭解領域內研究進展

通過開放評審，我發現審稿人（不只是研究者）對所屬的具體領域一無所知。他們似乎只是在審覈論文的正確性，而不是新穎性。實際上，我對審稿人是否瞭解該方法的新穎程度表示懷疑。

評論區有網友表示：這一問題也是存在的，但似乎很難解決。因爲機器學習領域正在呈爆炸式增長，並不是每個審稿人都能夠跟得上該領域的發展步伐，有些審稿人掌握的知識信息的確有些滯後。

引用混亂

通常，ML 領域的研究人員只會從最近幾年的研究中引用自己或其他機器學習從業者的研究。偶爾會有一個引用數百年前研究的情況，那可能是因爲與牛頓、柯西等人的經典研究有關。然後引用研究的年份就會突然跳到 2018、2019 年。

有人指出，這一問題主要是追溯難度太大造成的。經過多年的發展，很多名詞術語的叫法已經和幾十年前不一致了。當前機器學習社區中的論文引用主要來自於谷歌搜索，有些名詞想要找到其原始出處並不容易。

堆砌數學公式

論文中經常存在堆砌數學公式的情況，形成一堵巨大的「數學牆」，例如證明特徵值、梯度、雅可比矩陣等數學問題的深奧條件。有些定理其實並不適用，因爲在高度非凸的深度學習應用中，定理的前提條件就不滿足。因此，從這些錯綜複雜的數學定理中唯一獲得的東西就是一些微弱的直覺，這些直覺還可能會被立刻推翻。

有網友指出，「數學牆」非常令人沮喪。由於帶有數學公式的論文似乎更容易被接收，很多論文都加入了公式，但有時公式並不是必要的。

爲什麼會出現這種情況？有人猜測說，一個不太專業的審稿人可能會拒絕自己看不懂的想法，因爲 ta 不喜歡這個想法。但在看到「數學牆」之後，ta 可能會給出更加嚴謹的審稿結果，如「弱接收（Weak Accept）」或「弱拒稿（Weak Reject）」。

缺乏後續研究

作者還發現，有些研究者在提出一個超越其他研究的新基準之後，並不會進行更多後續研究來進一步發展該研究提出的技術方法。但在其他領域，研究團隊中的一些成員後續會花費大量時間和精力去完善該研究所提出的方法，有些研究甚至會貫穿某些研究者的職業生涯。

上述幾個問題使得機器學習社區在某種程度上成爲一個「回聲室」，研究者只是將大量已知的研究結果重新編排，並用其問題的新穎性來掩飾創新的缺失。然而這些論文都能被接收，因爲很少有人能發現這些研究是缺乏新穎性的。

綜合以上問題，這位來自傳統行業的作者最後表示：「機器學習社區就像一棵自動接收論文的搖錢樹。」

討論

在評論區，我們還發現了一些新的觀點和看法。

一位來自物理學領域的研究者表示：「理論物理學等硬科學中也存在一些類似問題。『（論文）不發表就會被埋沒（Publish or Perish）』的觀念根深蒂固，以至於沒有人理智地嘗試解決一些實際且有意義的問題。」

這位理論物理學家還指出，不僅研究方向有所偏頗，發表論文的週期也在變短，研究質量因此降低。發表論文量成爲了一種評價標準，很少有研究者潛心解決科學難題了。

此外，有人表示：「有些 ML 研究者似乎並不瞭解性能提升的根本原因，他們只是做了一些簡單的改進。」這也是一件令人沮喪的事情。

儘管這些問題只代表原帖作者和部分機器學習從業者的看法，但這不失爲機器學習社區的一種縮影，有待解決與改善。

參考鏈接：https://www.reddit.com/r/MachineLearning/comments/lvwt3l/d_some_interesting_observations_about_machine/

 
    
    
    

  
     
     
     
 
    
    
    
 
    
    
    

     
     
     
  也可以加一下老胡的微信
 
    
    
    
 
    
    
    

     
     
     
  圍觀朋友圈~~~
 
    
    
    



   
   
   

 
    
    
    

  
     
     
     

   
      
      
      

    
       
       
       
 
        
 
         
 
          
推薦閱讀
 
         
 
        
 
        
 
         
（點擊標題可跳轉閱讀）
 
        
 
        
 
         
 
          
 
           
 
            
我愛線代，線代使我快樂
 
            
麻省理工學院計算機課程【中文版】
 
            
【清華大學王東老師】現代機器學習技術導論.pdf
 
            
機器學習中令你事半功倍的pipeline處理機制
 
            
機器學習避坑指南：訓練集/測試集分佈一致性檢查
 
            
機器學習深度研究：特徵選擇中幾個重要的統計學概念
 
           
 
          
 
         
 
        
 
       
   
      
      
      
  
     
     
     
 
    
    
    

   
   
   
老鐵，三連支持一下，好嗎？↓↓↓

本文分享自微信公衆號 - 機器學習算法與Python實戰（tjxj666）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。