綜述文獻：A Survey on Federated Learning Systems- Vision, Hype and Reality for Data Privacy and Protection 部分知識整理
文獻總結了聯邦學習系統的特點和分類。
機器學習算法需要大量數據，單組織數據無法訓練高質量模型。由於政策法規（數據保護條例）限制，不同組織的數據隔離，形成數據孤島（data islands），無法簡單共享數據。保護數據隱私同時，開發具有良好預測性能的聯邦學習系統是一個挑戰。
聯邦學習系統（federated learning systems，FLSs）目標是在限制用戶隱私的情況下，在不同組織之間進行協作式機器學習技術。
1.聯邦學習兩個重要特徵：
1）Heterogeneity （Differences in data，privacy restrictions, tasks）
2）Autonomy（Communication autonomy）
2.聯邦學習分類：
1）data partition, 數據劃分
horizontal水平：
相同特徵空間，樣本空間交集小。不同聲音同一句子。
vertical垂直：
相同樣本空間，不同特徵空間。齊技術（entity alignment）收集重疊樣本。稅務和住房。
hybrid混合：
不同樣本空間，不同特徵空間。聯合遷移學習。
2）machine learning model, 機器學習模型
linear models，decision trees，neural networks
3）privacy mechanism, 隱私機制
model aggregation模型聚合：
聚合來自本地各方的模型參數來訓練全局模型
cryptographic methods加密方法：
各方必須在發送消息之前對消息進行加密，對加密的消息進行操作，然後對加密的輸出進行解密以獲得結果。
同態加密 homomorphic encryption
安全多方計算secure multi-party computation
differential privacy差分隱私：
在數據或模型參數中加入隨機噪聲，爲個體提供統計隱私，防止模型受到推理攻擊。
4）communication architecture, 通信架構
集中式centralized design：
數據流通常是不對稱的，這意味着需要一個服務器或特定的一方來聚合來自其他方的信息(例如，梯度)，並返回訓練結果。全局模型的參數更新總是在這個服務器中完成。服務器與本地方之間的通信可以是同步的，也可以是異步的。
分佈式distributed design：
通信在各方之間執行，各方可以直接更新全局參數。
5）scale of federation, 聯邦範圍：區別在於參與方的數量和每個參與方中存儲的數據量
private私有，public公共
6）motivation of federation, 聯邦動機：regulations or incentives
3. 開源框架
NN、DT和LM來表示神經網絡、決策樹和線性模型。
CM、DP和MA分別表示密碼方法、差分隱私和模型聚合。
一些算法(如聯邦隨機梯度下降)可以用於學習許多機器學習模型(如邏輯迴歸、神經網絡)。
4. 研究方向
(Re)-Invent Federated Learning Models重建方法
Dynamic scheduling動態調度
Diverse privacy restrictions隱私限制
Intelligent benefit智能效益
Benchmark：LEAF基準:葉
System architecture系統架構
Data life cycles數據生命週期
Data labels數據標籤
Federated learning in domains Internet-of-thing聯邦學習在物聯網領域
下一篇綜述文獻學習鏈接：Federated Machine Learning: Concept and Applications