联邦学习可以看作是分布式机器学习的一种特殊形式, 也是未来的发展方向 [4] , 二者都使用了分 散的数据集和分布式的模型训练. 相比分布式机器学习系统 [5] , 联邦学习旨在保护参与者的数据隐私, 并放宽了对私有数据的类型和分布的约束. 联邦学习的研究始于 Federated SGD (FedSGD) [6] , 该方法 将随机梯度下降 (stochastic gradient descent, SGD) 直接应用于联邦学习中. 客户端在每轮进行一次梯 度计算后, 将得到的梯度用于更新服务器上的全局模型. 受 FedSGD 思想的启发, Federated Averaging (FedAvg) [7] 使得用户在上传更新之前可以进行多次梯度下降, 并将训练好的模型参数而非梯度上传 到服务器. 该方法显著提高了通信效率, 被认为是联邦学习算法中的典型代表.
No abstract