第110章 联邦
两周后,沈一鸣敲开了左城的办公室门。
“左总,联邦学习框架的工程化做完了。“沈一鸣的语气里带著一丝不易察觉的兴奋,“马昊帮我在模型聚合算法上做了优化,方泽的团队把寒武纪的工程样片跑通了,三线並行测试都通过了。“
左城放下手里的文件:“可以上真机了?“
“可以。但只能在少量节点上先试跑,大规模部署还需要更多验证。“
“那就今天试。“左城站起来,“叫上陈浩和方泽,去智慧城市的控制中心。“
半小时后,左城一行人站在杭城智慧城市控制中心的大屏前。
屏幕上显示著全市传感器的实时数据,一千五百个边缘网关,五千个传感器节点,分布在六个区的道路、桥樑、河道和建筑上。数据流像细密的光线,不断匯入中央平台。
“选一个区的网关做测试。“左城说,“西湖区,一百二十个网关。“
沈一鸣在笔记本电脑上操作起来。他把联邦学习的训练任务分发到西湖区的边缘网关上,每个网关只使用本地的传感器数据训练一个小模型,然后把梯度信息加密后上传到聚合伺服器,由聚合伺服器把所有网关的梯度匯总,更新全局模型。
“开始。“左城说。
屏幕上的数据开始流动。一百二十个边缘网关同时开始本地训练,每完成一轮,梯度信息就加密上传。聚合伺服器的进度条从零开始缓慢爬升。
“第一轮聚合完成,模型精度百分之七十八。“沈一鸣盯著数据,“第二轮开始。“
左城站在后面,悄悄打开了系统面板。科技雷达的冷却已经结束,沈一鸣就在三米之外。
扫描。
面板跳出了结果。和两周前相比,沈一鸣掌握的技术列表多了一项:梯度稀疏化压缩。这是他在工程化过程中自己研究出来的新能力,可以把梯度信息中的冗余数据剔除,只保留关键参数,从而大幅降低通信开销。
左城看著这项技术,心里迅速计算。如果复製梯度稀疏化压缩,配合沈一鸣已有的自適应通信调度,联邦学习的通信效率还能再提升一个台阶。
【复製“梯度稀疏化压缩“需要消耗8积分,是否继续?】
確认。
积分从二百八十五分变成了二百七十七分。一项新的技术出现在左城的科技树叶片列表中,归入万物互联枝干。
左城关掉面板,继续看测试。
“第三轮聚合完成,模型精度百分之八十五。“沈一鸣的声音有些发颤,“数据没有出过本地,隱私保护完全有效。第四轮。“
“通信开销呢?“陈浩问。
“比集中式训练降低了百分之五十二。“沈一鸣说,“这个数据已经超出了我的预期。树莓派上测试的时候只能做到百分之三十七的降幅,真机环境反而更好,因为边缘网关的算力比树莓派强很多,本地训练的梯度质量更高,聚合的效率也就更好。“
“精度损失呢?“方泽开口了。