第110章 联邦
“几乎没有。“沈一鸣调出一个对比图,“联邦学习训练出来的模型精度是百分之八十五,集中式训练的精度是百分之八十七,差距在误差范围內。而且隨著训练轮次增加,这个差距还在缩小。“
左城心中一动。梯度稀疏化压缩,他已经从系统里复製了,但这项技术的载体不是沈一鸣,而是他自己的科技树。他需要把这项技术“反馈“给沈一鸣,但不能暴露来源。
“一鸣,你之前提到的梯度稀疏化思路,有没有继续往下做?“左城问。
沈一鸣愣了一下:“有初步的想法,但还没来得及实现。“
“我之前看过一篇论文,讲的是梯度稀疏化的自適应閾值选择。核心思路是在训练过程中动態调整稀疏化率,前期保留更多梯度保证收敛,后期提高稀疏率降低通信。你试试这个方向。“
沈一鸣眼睛一亮:“自適应閾值选择?这个思路很好,和我之前的自適应压缩率可以对接。我回去就做。“
测试继续进行。第八轮聚合完成后,模型精度稳定在百分之九十三,和集中式训练的精度几乎持平。通信开销最终稳定在百分之五十八的降低幅度。
“测试成功。“沈一鸣长出一口气,双手微微颤抖,“联邦学习框架在真实设备上跑通了。数据没有出过本地,精度几乎无损,通信开销降了百分之五十八。“
陈浩拍了拍他的肩膀:“干得不错,回去请团队吃顿好的。“
方泽难得露出一个微小的笑容,然后继续低头看功耗数据,嘴里嘟囔了一句:“峰值功耗比预估低了百分之十二,寒武纪的晶片还行。“
左城站在大屏前,看著那些从边缘网关匯聚而来的数据流。联邦学习,模型压缩,寒武纪晶片,三条技术线正在交匯。技术增幅在后台默默工作著,所有融合方案的实际效率都被放大了百分之二十。
但他没有向任何人提起这一点。
正想著,手机响了。
周鹤年的名字出现在屏幕上。
“左城,有个事要跟你说。“周鹤年的声音一如既往地直接,“天穹四期的技术方案评审要提前了,蓝湾那边希望把ai能力纳入四期的核心指標。你们402的ai团队准备得怎么样?“
左城握紧手机,心跳加速了。
“周总,402的ai能力,隨时可以上。“
“好。下周来蓝湾,做一个技术演示。“
电话掛断后,左城看著窗外的天色。联邦学习框架刚刚完成首次实战,蓝湾的天穹四期就来了。时机恰好。
但天穹四期的ai需求远比三期的频谱调度复杂。左城需要更强的技术储备。
他低头看了看系统面板。积分二百七十七分,科技树四根枝干三十九枚叶片,冷却中的科技雷达还要再等。
够用吗?
左城不知道。但他知道一件事,402的ai,已经不是一个空壳了。