- 12306用戶數據遭泄露，嫌疑人被捕
- 華盛頓和Facebook新研究：平面圖像秒變3D
- Alexa 助力亞馬遜公司實現語音購物三倍增長
- Facebook推出新物體說明標記系統Nocaps，超越XOCO
- 谷歌利用BERT語言模型將文檔檢索性能提升50%至100%
- Facebook進一步推動無監督機器翻譯，目前可翻譯語言已達93種
- 關於中美人工智能競賽
- 計算增長趨勢揭示更多關於高級AI的發展動態
12306用戶數據遭泄露，嫌疑人被捕
據北京市公安局網絡安全保衛總隊微博消息，北京警方破獲一起侵犯公民個人信息案，網上販賣470餘萬條疑似12306鐵路訂票網站用戶數據的犯罪嫌疑人陳某，已被刑拘。
12月28日，網傳有人利用互聯網販賣470餘萬條疑似12306鐵路訂票網站的用戶數據，引發社會廣泛關注。中國鐵路總公司官方微博迴應“網傳信息不實，12306網站未發生用戶信息泄露”。
此後經查，網絡用戶“deepscorpions”被抓獲歸案，爲北京市西城區某科技有限公司員工陳某(男，25歲，河北省邢臺市人)，其供述60餘萬條用戶註冊信息是其前期在網上非法購買所得，並非通過對12306官方網站技術入侵獲取。其餘410餘萬條鐵路乘客信息，系其利用上述用戶註冊信息，通過第三方網絡訂票平臺非法獲取。
華盛頓和Facebook新研究：平面圖像秒變3D
12月，華盛頓大學和Facebook的研究人員發表了一項最新成果：平面人物秒變3D模式，圖片中的人物可以從平面中“跑出來”。如果再結合VR技術，照片中的人物可以動起來。
研究人員稱這項技術爲“喚醒”照片，並基於此開發了名爲Photo Wake-Up的軟件。在此項研究中，該團隊最關鍵的貢獻就是構建了可動畫化3D模型的方法，該模型可匹配單張平面照片中的身體輪廓並處理被遮擋住的身體部位。
Alexa助力亞馬遜公司實現語音購物三倍增長
…這一增長亦與電子零售商日益鞏固的數據儲備關係密切…
零售巨頭亞馬遜公司在2018年聖誕節期間通過Alexa完成的購物訂單總量，相較2017年同期增長達三倍。
重要意義：使用Alexa的使用量越大，亞馬遜所獲得的數據也就越多，這又將進一步提升這款個人助手的效率——這一點，我們已經在上週的“小冰”聊天機器人討論中有所提及。這些數據最終可能被用於訓練Alexa以進行更長且自由動更高的對話。
瞭解更多：
Facebook推出新物體說明標記系統Nocaps，超越XOCO
佐治亞理工學院及Facebook人工智能研究所的研究人員共同開發出Nocaps，這是“第一款嚴格且規模巨大的新物體說明標記系統，其中包含600多個新的對象類。”新對象說明測試機器當中對象識別系統所包含的對象數據已經大大超越COCO等原始圖像—說明數據集的涵蓋範圍。
Nocaps工作原理：這項基準測試包括一個擁有4500張圖片的驗證集與一個包含10萬6千張圖片的測試集，這些圖片來自提供來自“Open Images”對象檢測數據集，且每張圖片都帶有10條參考說明。對於訓練集，開發人員可以使用來自COCO圖像—說明對（其中包括涵蓋80個對象類的11萬8千張圖片）以及Open Images V4訓練集（其中包含170萬張有邊框圖像，各邊框所框定的對象類別總計600種）。在Open Images當中的600種對象類型中，“有500種是COCO說明中很少甚至從來沒有提及過的。”
極高的實現難度： 研究人員寫道，“據我們所知，Nocaps是唯一一種最優成績由人類所創造的先進圖像標基準測試。”此外，Nocaps所包含的每張圖片明顯擁有更多對象類型，多樣性程度也更高。“在全部COCO圖像當中，只有不到十分之一包含6個以上對象類，而Nocaps符合這一指標的圖片比例則高達22%。”
數據管道： 現代AI研究的核心之一，在於將更多精力投入到數據集或計算基礎設施的處理當中。Nocaps研究人員在創建數據集時面臨的挑戰是，他們必須有效引導衆包工作人員瞭解如何對圖像內容做出說明性標記。如果不加協助，這些參與者幾乎一定不會使用數據集中500個與對象並不顯著相關的關鍵字。
基準結果： 研究人員利用兩種基準算法（經過增強的Up-Down與Neural Baby Talk）對Nocaps進行了測試。他們還將數據集拆分成代表多種難度的子集——域內包含那些歸屬於COCO數據集的對象（從而確保算法可進行圖像-說明對訓練）；近域範圍包含一些COCO所不具備的對象；域外範圍則包含與COCO內對象說明標記毫無關聯的內容。他們利用多種不同的評估技術（CIDEr與SPICE）對系統效能進行評估，並根據人工說明評估這些系統以建立基準水平。結果表明，Nocaps比COCO更具挑戰性，且目前的系統仍難以在域外挑戰當中發現評分較高的泛化特徵。
測試結果：Constrained Bean Search加持下的Up-Down算法與人類基準（通過CIDEr評估得出）在處理Nocaps驗證集時：域內得分爲72.3（人類爲83.3）；近域得分63.2（人類爲85.5）；域外得分41.4（人類爲91.4）。
重要意義：人工智能的進步往往源自更強大的基準測試能力，這些基準能夠凸顯出現有算法的不足之處，併爲研究人員開發新系統的工作帶來激勵與指導。從Nocaps基準研究中得出的結論是，我們還沒能真正開發出能夠將開放圖像內對象表達與COCO說明標記結合起來的系統。研究人員們寫道，“我們堅信，這項基準的持續增強將加快未來圖像說明標記工作的發展速度。”
瞭解更多：
nocaps: novel object captioning at scale (Arxiv)
More information about nocaps can be found on its official website (nocaps)
谷歌利用BERT語言模型將文檔檢索性能提升50%至100%
谷歌公司已經展示瞭如何利用語言建模方面的最新創新顯著提升AI系統在搜索查詢中的表現，同時爲用戶生成相關度最高的答案。這項研究對網絡經濟具有重要意義，同時也表明在未來，基於規則的手寫軟件有可能被機器自身計算得出的系統所取代。
工作原理： 谷歌的研究結果顯示，搜索問題完全可以被轉換爲適用於分層強化學習系統所能處理的形式——其中由某一RL代理控制多個其它RL代理，這些代理與提供答案及獎勵的環境進行交互（例如搜索引擎用戶的反饋），從而達成“重新調整問題，最終實現預期返回獎勵（即正確答案）最大化”這一目標。此研究的關鍵部分，在於利用元代理及衆多子代理將問題分解爲分層問題——其中子代理是指利用數據集內與查詢及輸出重構相關的子集訓練得出的序列到序列模型。子代理得出的候選查詢將被髮送至元代理，由元代理進行查詢聚合並通過RL訓練以選擇其中評分最高的結果。
BERT的驚人力量：研究人員們利用question ansering基準對這套系統進行了測試，並發現分層BERT系統“在未經任何修改而直接使用”的場景下即能得到最高分數。（奇怪的是，當他們利用自己的多代理方案對BERT進行強化時，卻發現無法進一步提升其效能水平。這意味着此類作法是否真正有益於效能提升恐怕還需要深入研究。）
BERT實現50%到100%效能提升：研究人員還針對三項文檔檢索基準測試進行了系統實驗，分別爲TREC-CAR、Jeopardy和MSA。研究人員針對BM25、PRF以及Relevance Model（RM3）以及其它兩種基於強化學習的方案進行了基準測試，所有具體方法皆給出了喜人的效能表現。其中，當谷歌將其技術或RM3基準與“BERT”語言模式配對時，得到的效能提升最爲顯著。研究人員們還嘗試利用BERT取代其中的元聚合器（BERT是谷歌近期開發的一種功能強大的語言建模技術），他們以句子的形式提交查詢內容，並將文檔文本作爲後續句子；接下來，他們利用經過訓練的BERT（Large）模型對正確的查詢響應文檔進行可能性排序。由此帶來的效能表現令人驚喜。研究人員們寫道，“通過利用BERT替代聚合器，我們將全部三套數據集（RL-10-Sub+BERT聚合器）的效能提升了50%到100%。這是一項顯著的改進。而如果不使用我們重新構建的代理，則效能將下降3%到10%（RM3+BERT聚合器）。”
重要意義：這項研究表明了某一領域（例如BERT在語言理解領域的進步）如何直接服務於另一領域（文檔搜索），這進一步凸顯出AI系統的泛用性特徵。此外，我們還藉此瞭解到大型技術企業如何利用更多全學習方法這些以超大規模模型（例如BERT）作爲訓練基礎的方案越來越多地取代手寫系統，從而在更多用途中發揮作用。
Facebook進一步推動無監督機器翻譯，目前可翻譯語言已達93種
…Facebook的零樣本語言適應性研究表明，涵蓋量越大、效果越出色…
近年來，人工智能研究界已經證明神經網絡在語言間翻譯領域的表現非常出色（特別是谷歌於2016年的神經機器翻譯研究工作，https://ai.google/research/pubs/pub45610）。然而，這種翻譯主要適用於存在大量可用數據，且其中包含並行語料庫（例如將同一法律文本由一種語言翻譯成另一種語言）的情況。如今，Facebook在新研究中構建起一套獨立系統，能夠爲93種語言生成聯協多語言句子——其中包括“資源缺乏的語言以及少數民族語言。”這意味着通過一次性對多種語言變體進行整體訓練，這套系統能夠立足單一特徵嵌入空間實現類似句子的相近表達——即使各語言之間差別巨大（甚至完全來自不同語系）。
工作原理：“我們在系統當中使用單一編碼器與解碼器，全部語言都共享同樣的編碼器與解碼器。爲此，我們構建起一份包含5萬個聯合字節對編碼（簡稱BPE）的詞彙表，由源自對所有訓練語料庫的整體學習。這樣的編碼器不會對輸入語言採取明確的信號要求，這意味着解碼器將採用語言ID嵌入機制指定需要生成的語言，並在每個時間步進階段連接輸入與句子嵌入。”在訓練期間，他們還採取更爲具體的優化方式——將所有語言翻譯成兩種目標語言，即英語與西班牙語。
具備普適性的共享語言理解能力，一直被視爲人工智能面臨的一大關鍵挑戰Facebook在這一領域做出的可行性證明，有望帶來更多後續研究成果。
訓練細節： 研究人員們使用16個英偉達V100 GPU進行模型訓練，一次性批量處理12萬8千個信令，而平均訓練時間約爲5天。
訓練數據： “我們將Europarl、United Nations、Open-Subtitles208、Global Voices、Tanzil以及Tatoeba等語料庫中收集到93種輸入語言的訓練語料庫，這些語料庫均可在OPUS網站上公開獲取。”研究人員所使用的總訓練數據包含2.23億個並行語句。
評估-XNLI：XNLI是一種評估標準，用於評估系統是否能夠正確判斷不同語言中的兩個句子（例如一個前提性句子，一個假設性句子）之間的共通、矛盾或者中立關係。“我們提出的方法爲除西班牙語之外的所有語言建立起零樣本跨語言轉換（即訓練出英語數據分類器，並將其應用於所有其它語言）這一新型技術。我們的轉換結果顯示，其在所有語言當中都表現出強大的同質特性。”
評估-Tatoeba： 研究人員還根據Tatoeba語料庫（即「社區支持的英語語句集加300多種語言翻譯版本」）構建起新的122種語言相似性搜索測試集。研究人員們指出，“其相似性錯誤率低於5%，這表明其下游效能很強。”此外，評估工作還對其中37種語言進行了評分，其中某些語言的可用訓練數據非常有限。他們寫道，“我們相信，這些低資源語言的翻譯結果證明了聯協訓練方法的重大優勢。”
重要意義：人工智能研究面臨的最大挑戰在於研究工作需要大量數據與大量計算機。語言翻譯人工智能技術往往需要巨大的文件數據集，而像愛沙尼亞這樣一個小國顯然拿不出規模可觀的數據，也不像其它主要語言那樣能夠得到全球衆多研究者的關注。令人鼓舞的是，Facebook的這套系統已經能夠以3.2%這一極低的誤差實現從英語到愛沙尼亞語的翻譯（從愛沙尼亞語翻譯至英語時，系統錯誤率爲3.4%）。
其它重要意義: 翻譯一直是一項極具挑戰性的認知類任務，Facebook的成果意味着我們已經能夠設計出原始系統，從而在多種語言之間進行靈活轉換。這體現出一些在弱計算系統（也就是人類大腦）中存在的遷移學習屬性——當然，其實現方法仍然完全不同。
瞭解更多：
Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond (Arxiv)
關於中美人工智能競賽
很長一段時間以來，中國與美國無疑是全球最爲重要的人工智能大國，而兩國間的競爭也將奠定接下來數十年中人工智能發展的基礎。在他的新書中，投資人兼技術專家李開復認爲，中國在人工智能的開發與部署方面有望趕上甚至超越美國。
中國的優勢：李開復認爲，人工智能正在由過去十到十五年中的“發現時代”、“深度學習”時代，正式轉向“實施時代”。在下一階段，我們不太可能迎來能夠與深度學習相比肩的新成果，因此後續競爭將主要體現在現實場景下的人工智能部署與推廣。中國將在這一新階段具有重要優勢——因爲這能夠充分體現出創業精神與工程人才這兩大最值得稱道的中國優勢。另外，李開復認爲數據將成爲制約進步的關鍵瓶頸——而非專業知識，這同樣對中國有利；畢竟中國的互聯網巨頭能夠獲得超越美國同行的數據總量。
並不盡然：《外交事務》雜誌最近對李開復提出的兩項觀點做出了審查。目前，尚無法確定人工智能的發展單純源自罕見的“突破性進展”外加長期實施行爲；事實上，似乎還有一系列中小規模的創新（例如AlphaZero）在發揮作用，而這類創新將長期存在。此外，吳恩達等專家也認爲數據在人工智能研究領域的意義被“過度誇大”，事實上技術的進步將繼續以算法、硬件以及人才作爲根本性基礎。
人工智能應受到全人類的推動：《外交事務》還評論稱，中美競爭背後可能代表着零和遊戲這一潛在風險。更重要的是，各國之間的“軍備競賽”思維有可能導致人工智能軍事化水平的提升，這隻會危及人類安全而非推動技術發展。由此引發的潛在災難性後果或將導致AI先進性倒退，最終使得AI無法給全人類帶來切實利益。雖然李開復也在文章中強調了避免人工智能軍事化的必要性，但這本書的論點定位以及對中國統治地位的預測，很難讓人不把這一切與軍事對抗聯繫起來。
瞭解更多：
Beyond the AI Arms Race (Foreign Affairs)
AI Superpowers – Kai-Fu Lee (Amazon)
計算增長趨勢揭示更多關於高級AI的發展動態
今年早些時候，OpenAI表明在過去六年當中，成本最高的人工智能實驗中使用的計算資源量一直在快速增長——每年增長約10倍。當時OpenAI方面認爲，如此快速的發展速度可能代表着人工智能的重大進展或提早到來。但如今，Ryan Carey與Ben Carfinkel卻針對同樣的事實給出了不同的解讀。
可持續性： 近年來，計算成本的下降速度始終跟不上需求，因此最大規模的實驗活動的計算成本每1.1到1.4年就會增長10倍。這意味着即使是資本最爲雄厚的參與者，也將很快無法承受如此奢侈的研究實驗；在未來5到6年內，規模最大的實驗將耗費全美GDP的約1%。這表明雖然進展可能很快，但如果不對經濟結構進行徹底重組，這類研究工作將失去可持續性。
低回報率：如果說我們之前低估了計算需求量的增長速度，那麼我們現在可能還高估了由此帶來的投資回報（相較於人工智能的發展速度而言）。將二者相結合，意味着人工智能技術不僅發展速度不如預期（由於計算成本過高）；而且相對於可觀的資源需求，其實際效能也遠遠無法令人滿意。
瞭解更多：
Reinterpreting “AI and Compute” (AI Impacts)
Interpreting AI Compute Trends (AI Impacts)。
作者Jack Clark 有話對 AI 前線讀者說：我們對中國的無人機研究非常感興趣，如果你想要在我們的週報裏看到更多有趣的內容，請發送郵件至：jack@jack-clark.net。