Skip to content

Latest commit

 

History

History
27 lines (18 loc) · 1.08 KB

TODO.md

File metadata and controls

27 lines (18 loc) · 1.08 KB

现在的进度

  1. 实现了一套单机系统以模拟多个client进行联邦学习。
  2. 在模拟系统上测试了语音识别任务,初步实验结果证明协议有效,可以收敛。

目标

  1. 实现分布式(n>=3)的联邦学习系统,包括客户端和服务器端。数据只保存在客户端,服务器不进行模型的训练。
  2. 在语音识别的场景下,证明联邦学习系统的有效性,期待其收敛速度与单机学习系统的差异在可接受的范围内。
  3. 考虑完整的业务流程?(麦克风收集数据->使用该数据进行训练->分布式训练得到模型->在本地测试)

可能出现的困难

  1. 移动端计算能力低,导致收敛速度大幅下降
  2. 频繁的梯度信息的传递带来较大开销,导致收敛速度下降。
  3. 各个client 之间的模型保持同步,一致性的问题。

需要的技术

  1. python-socket server
  2. 一致性协议的实现
  3. python-for-android

2019.11.19

完成多线程加速的实现.下一步考虑模拟client层面的并行. 最终结果还是GPU计算慢一点.