聯邦學習不是從用戶那裏收集數據來訓練數據集，而是大批量地在移動設備上訓練AI模型，然後將這些學習轉移回全局模型，而不需要數據離開設備。
作爲Facebook上個月流行的深度學習框架PyTorch的最新版本的一部分，該公司的AI研究小組推出了 Secure and Private AI，這是一個免費的爲期兩個月的Udacity課程，講授使用加密計算，差異隱私和聯邦學習等方法。第一門課程於上週開始，由Google的DeepMind高級研究科學家Andrew Trask教授。他還是Openmined的領導者，Openmined是一個以隱私爲重點的開源AI社區，該社區在3月份發佈了PySyft，將PyTorch和聯合學習結合在一起。
“這不僅僅是Facebook，我認爲[AI]領域一般都非常認真地看待這個方向，”PyTorch創始人Soumith Chintala在採訪中告訴VentureBeat。“是的，我認爲你絕對會看到更多的努力，更多的方向，[和]更多的包裝，無論是在PyTorch還是其他方面，都肯定會朝着這個方向前進。”
隨着隱私成爲一個賣點，聯邦學習有望在技術巨頭和需要隱私保護的行業（如醫療保健）中越來越受歡迎。
在AI中建立隱私
根據arXiv的數據，谷歌人工智能研究人員於2017年首次引入了聯邦學習，從那時起，研究科學家就引用了300多次聯合學習。今年3月，Google發佈了TensorFlow Federated，通過其流行的機器學習框架，使聯合學習更容易實現。
在2019年5月舉行的Google I / O大會上，首席執行官Sundar Pichai談到了聯邦學習，這是他向全世界宣傳Google認真對待所有人隱私的一部分，以及谷歌地圖中的隱身模式和使用Android手機等功能。用於兩步驗證的安全密鑰。藉助設備上的機器學習，速度的提升也將使Google智能助理在未來幾個月內的速度提高10倍。 早在2017年，Android設備鍵盤Gboard開始使用聯合學習來學習用戶的新單詞並預測下一個單詞或表情符號。“現在還很早，但我們對更多產品的聯合學習的進展和潛力感到興奮，”Pichai在2019年的主題演講中表示。
上圖：Google I / O主題演講中共享的聯合學習描述
除了爲Android用戶提供更智能的鍵盤之外，谷歌正在探索使用聯邦學習來提高安全性，谷歌負責人的賬戶安全Mark Risher在最近的一次電話採訪中告訴VentureBeat AI工作人員Kyle Wiggers。Risher表示，聯合學習將使惡意第三方能夠對設備上的反網絡釣魚安全模型進行測試，因此它還不太適合安全性，但他們正朝着這個目標努力。 然而，聯合學習仍面臨挑戰，包括無法檢查培訓示例，帶寬問題以及對WiFi連接的需求，以及從用戶交互中自然推斷標籤。
爲何聯合學習可以改善隱私
谷歌人工智能研究員Brendan McMahan在2018年的一次演講中表示，從設備發送的更新仍然可能包含一些個人數據或告訴你一個人，因此差異隱私用於爲設備共享的數據添加高斯噪聲。他說，將模型培訓和預測分發到設備而不是在雲中共享數據也可以節省電池和帶寬，因爲你必須在Wi-Fi上下載模型。例如，聯合學習的使用導致爲計算機視覺獲得合理準確的CIFAR卷積神經網絡所需的通信輪次數減少50倍。McMahan說，在聚合中查看事物意味着服務器不需要來自設備的大量數據。“事實上，所有服務器真正需要知道的是更新的平均值或這些更新的總和。它並不關心任何個人更新，“他在演講中說。“如果谷歌看不到那些個人更新並且只獲得那些彙總，那會不會很棒？”
McMahan是2017年有影響力的研究論文的合着者，該論文向世界介紹了聯邦學習。包括McMahan和Ian Goodfellow在內的Google AI研究團隊也撰寫了一篇被大量引用的2016年題爲“深度學習與差異隱私”的論文.Boodfellow 於2019年離開谷歌，擔任Apple機器學習特殊項目組的主管。2016年，谷歌在Gboard推出聯邦學習和差異隱私的前一年，Apple 在iOS 10中爲QuickType和表情符號建議做了同樣的事情。
受保護數據的應用
聯邦學習掩蓋數據的能力導致其在醫療保健等行業的應用得到了探索。該技術正在爲一家由GV支持的公司Owkin提供動力。該平臺幫助醫療專業人員進行測試和實驗，以預測疾病演變和藥物毒性。最近幾個月，來自哈佛大學，麻省理工學院CSAIL和清華大學藝術與設計學院的人工智能研究人員設計了一種利用聯邦學習分析電子病歷的方法。使用加密或受保護數據的訓練模型並不是一件全新的事情。例如，微軟AI研究人員在2016年將神經網絡應用於其CryptoNets模型的加密數據 。
然而，聯邦學習和提供機器智能而不收集原始數據的方法可能會越來越受歡迎，因爲人們更關心隱私，更多的設備製造商轉向設備上的機器學習。
參考