有了超参数自动优化能力,左城开始了秘密的“算法推演“。

说是推演,实际上是在系统能力的辅助下,快速验证各种压缩策略。

他用系统能力模擬不同的参数配置,测试对模型准確率的影响。

这个过程別人做需要几个月,但他只需要几天。

因为系统可以同时运行无数个模擬,每个模擬都在毫秒级完成。

两天后,夜以继日的推演终於有了结果。左城找到了突破口。

动態精度量化。

简单说,就是让模型在推理时动態调整计算精度。简单任务用低精度,复杂任务用高精度。

这样既保证了准確率,又把功耗控制在了可接受范围內。

他把这个技术思路整理成文档,发送给沈一鸣和方泽审核。

“一鸣,你看看这个方向可行吗?“

沈一鸣看了半小时后,回了电话。

“城哥,这个方向是对的。“他的声音带著兴奋,“我测试了一下,动態精度量化確实能提升准確率。“

“能到多少?“

“89%。“沈一鸣说,“比之前提升了將近21个百分点。“

89%。

距离95%的目標更近了一步。

“功耗呢?“左城问。

“如果用动態精度模式,mlu270的功耗可以压到4.8瓦。“方泽接过电话,“刚好达標。“

4.8瓦。

比目標低了0.2瓦。

这0.2瓦的余量,让方案有了更多安全保障。

“太好了。“左城鬆了口气,悬著的心终於放了下来。

但他很快又提起了精神。

89%还不够。

评审会上,林建华那帮人不会给他们任何容错空间。

“必须做到95%以上。“他说。

电话那头沉默了几秒。

沈一鸣开口:“城哥,89%到95%,差距是6个百分点。这个提升……不容易。“

“我知道。“左城说,“但这是必须的。“

“你有没有什么想法?“

左城没有直接回答。

他掛掉电话,打开系统面板。

267分。

这已经足够再做一次科技融合。

如果把超参数自动优化和模型压缩优化的能力融合……

也许能產生一个更强的新能力。

【科技融合】

【消耗:5积分】

【请选择至少两枚叶片进行融合】

左城看著面板上的叶片列表。

超参数自动优化、模型压缩优化、边缘ai推理。

如果把这三枚叶片融合……

三秒后,融合完成。

【融合成功】

【获得新叶片:自適应神经网络编译器】

效果:在边缘设备上自动编译和优化神经网络模型,效率提升1.5倍,准確率额外+8%。

左城看著新叶片,心跳加速。

89%加上8%,就是97%。

远超95%的目標。

但他不能直接告诉沈一鸣。

融合是系统的能力,他没办法解释来源。

“一鸣。“左城拨通电话,“我有一个新的优化思路,你再试试。“

“什么思路?“

“我把它叫做自適应编译。“左城说,“简单说,就是让编译器根据任务类型自动调整模型结构。“

“自適应编译?“沈一鸣有些困惑,“这听起来像是编译器优化……“

“对,就是编译器优化。“左城打断他,“但这次优化是针对ai模型的,不是通用程序。“

沈一鸣沉默了几秒。他知道左城不会无的放矢。

玄幻魔法小说相关阅读More+

人在北宋,江湖演道法

佚名

完蛋了!太子爷全家都是她前男友

佚名

我都准帝巅峰了,怎么还要收徒

佚名

开局禁区兽皇,捡了个女帝当女儿

佚名

问鼎.青云

佚名

满宫不孕,唯我三年抱俩!

佚名