本文最初發表於venturebeat，由InfoQ中文站翻譯並分享
麻省理工學院研究人員得出結論，衆所周知的 ImageNet數據集存在“系統註釋問題”，當用作基準數據集時，與實際情況或直接觀測結果並不一致。
“我們的分析明確指出，嘈雜的數據收集管道是如何導致結果基準與其作爲代理的實際任務之間的系統性不一致的 ” ， 麻省理工學院的研究人員 在一篇題爲《從 ImageNet 到圖像分類：基準測試的情景化進展》的論文中寫道，“我們相信，開發能夠更好地捕捉實際情況，同時又保持可擴展性的註釋管道，是未來研究的重要途徑。”
當斯坦福大學視覺實驗室（Stanford University Vision Lab）在 2009 年的計算機視覺與模式識別大會CVPR上 介紹 ImageNet時，它比許多以前存在的圖像數據集要大得多。ImageNet 的數據集包含數百萬張照片， 這些照片是在兩年多的時間裏收集的。ImageNet 將 WordNet 層次結構用於數據標籤，並被廣泛用作物體識別模型的基準。直到 2017 年，ImageNet 的年度競賽還在推進計算機視覺領域發揮着作用。
但是，在仔細研究 ImageNet 的“基準任務不一致”之後，麻省理工學院的研究小組發現，大約 20% 的 ImageNet 照片包含了多個物體。他們對多個物體識別模型的分析表明，在一張照片中有多個物體會導致整體正確率下降 10%。作者聲稱，這些問題的核心是用於創建像 ImageNet 這樣的大規模圖像數據集的數據收集管道。
“總的來說，這個[註釋]管道表明，單個 ImageNet 標籤並不總是足以捕獲 ImageNet 圖像內容。然而，當我們訓練和評估的時候，我們將這些標籤視爲基本事實。”報告合著者、麻省理工學院博士生 Shibani Santurkar 在國際機器學習大會ICML 上 介紹了這項研究結果。“因此，這可能會導致 ImageNet 基準測試與現實世界的物體識別任務之間出現不一致的現象，無論是在我們鼓勵模型所做的特性方面，還是在我們如何評估它們的性能方面，都是如此。”
據研究人員的說法，大規模圖像數據集的理想方法是收集世界上單個物體的圖像，並由專家按照確切的類別對它們進行標註，但這並不便宜，而且也不容易進行擴展。相反，ImageNet 從搜索引擎和像 Flickr 這樣的網站上收集圖片。然後，通過 Amazon Mechanical Turk 這樣的羣衆外包平臺對從互聯網搜索引擎收集來的圖片進行分類標註。研究人員指出，給 ImageNet 照片標註的 Amazon Mechanical Turk 被要求專注於一個物體，而忽略了其他物體或遮擋物。研究人員稱，其他大規模圖像數據集也遵循類似的（而且可能還存在問題）管道。
爲了評估 ImageNet，研究人員創建了一個管道，要求人類註釋員從多個標籤中選擇一個與照片最相關的。然後，最常被選中標籤被用來訓練模型，以確定研究人員所說的“絕對基礎事實”。
“我們利用的關鍵思想是利用模型預測實際增強 ImageNet 標籤。具體來說，我們採用了多種模型，並將它們的前五個預測彙總起來，得到一組候選標籤。” Santurkar 說。“然後，我們實際上通過使用人類註釋員來確定這些標籤的有效性，但我們不是詢問他們單個標籤是否有效，而是對多個標籤單獨重複這個過程。這使得我們能夠確定與單個圖像可能相關的標籤集。”
但研究小組警告說，他們的方法並不完全符合基本事實，因爲他們也使用了非專家數據標籤。他們的結論是，對於不是專家的人類註釋員來說，在某些情況下很難準確地對圖像進行標註。例如，除非你是犬類專家，否則從 24 種梗類犬選擇一種標籤可能是很困難的。
該研究小組的論文在 5 月下旬 首次發表後，於日前被 ICML 接受發表。這篇論文在會議上發表之前， 麻省理工學院決定從互聯網上刪除 8000 萬張小圖數據集，並要求擁有該數據集副本的研究人員予以刪除。這些措施是在研究人員提請注意數據集中的冒犯性標籤，如 N 開頭的詞，以及針對女性的性別歧視屬於和其他貶損性標籤後採取的。研究人員對 2006 年發佈的 8000 萬張小圖數據集進行了審覈，結論是這些標籤是 WordNet 層次結構的結果。
ImageNet 也使用 WordNet 層級結構， 在 ACM FaccT 會議上發表的一篇論文中，ImageNet 的創建者表示，他們計劃刪除數據集 Person 子樹中幾乎所有的約 2800 個類別。他們還列舉了該數據的其他問題，比如缺乏圖像多樣性。
作者介紹：
Khari John，非裔美國人，住在舊金山東灣。是 VentureBeat 人工智能專欄作家。
原文鏈接：