聯邦學習--要點

聯邦學習

背景

人工智能技術的實現

數據量少，數據質量差的問題，不足以支撐人工智能技術的實現

隱私保護問題，數據也往往以孤島形式出現

概念

本質是一種分佈式機器學習技術，在人工智能領域可以認爲是一個機器學習框架

目標是在保證數據隱私安全及合法合規的基礎上，實現共同建模，提升AI模型的效果

根據數據分佈不同分三個類

橫向聯邦學習

• 本質是樣本的聯合

• 特徵重疊多

• 用戶重疊少

• 比如不同地區的銀行間，他們的業務相似（特徵相似），但用戶不同（樣本不同）

• 可以看作是基於樣本的分佈式模型訓練

  • 每臺機器下都是相同且完整的模型
  • 預測時每臺機器也可以獨立預測

• 谷歌最初就是採用橫向聯邦的方式解決安卓手機終端用戶在本地更新模型的問題的。

縱向聯邦學習

• 本質是特徵的聯合

• 適用於用戶重疊多，特徵重疊少的場景

• 在整個過程中參與方都不知道另一方的數據和特徵，且訓練結束後參與方只得到自己側的模型參數，即半模型

• 各參與方只能得到與自己相關的模型參數，預測時需要雙方協作完成

• 共同建模的結果

  • 雙方均獲得數據保護
  • 共同提升模型效果
  • 模型無損失

聯邦遷移學習

• 特徵和樣本重疊都很少時

• 遷移學習

  • 利用數據、任務、或模型之間的相似性，將在源領域學習過的模型，應用於 目標領域的一種學習過程

  • 生活中常用的“舉一反三”、“照貓畫虎”就很好地體現了遷移學習的思想

  • 找到相似性 (不變量)，是進行遷移學習的核心

    • 不論在哪個地區，駕駛員都是緊靠馬路中間。這就是我們這個開車問題中的不變量