第102章 速成
“一周太久了。“左城说,“我给你一个训练参数配置,学习率设为0.0003,批次大小256,经验回放池大小100万,目標网络更新频率每1000步。用这个配置跑,应该能把训练时间压缩到两天。“
唐旭记下了参数,有些疑惑:“这些参数你是怎么確定的?“
“试出来的。“左城说。他当然不能说这些参数是叶片描述里直接给出的。
唐旭走后,左城打开系统面板看了一眼。万物互联枝干上的叶片数量又有了变化,从十五枚增长到了十六枚,新长出的一枚叫“神经网络架构搜索“。这枚叶片的能力是自动搜索最优的神经网络结构,减少人工调参的环节。
来得正好。左城把nas的思路融入了算法设计中,在训练脚本里加了一个自动架构搜索模块。这样一来,模型不仅能学会最优调度策略,还能自动找到最適合自己的网络结构。
技术增幅x1.2的效果在这件事上体现得淋漓尽致。同样的训练任务,如果没有增幅,可能需要五天才能收敛;加上增幅,两天就够了。这就是科技树的威力,看似只是百分之二十的提升,但放在关键节点上,省下来的时间就是命。
左城合上笔记本电脑,走到窗边。夜色已深,科技园区的灯火稀疏,只有几栋办公楼还亮著灯。他知道其中一盏灯下面,唐旭正在跑训练。
他给於颖发了条消息:“空空,谢谢你的论文推荐。强化学习的框架我已经搭好了,正在训练模型。“
於颖回覆:“你真学了?才两周?“
“別小看你哥。“
“我没小看你,我是觉得太不可思议了。“於颖发了一个震惊的表情,“我博一的师姐学了半年强化学习才勉强入门,你两周就搭好框架了?“
左城笑了笑,没有回覆。他不能告诉於颖,自己有科技树在背后加持。在別人眼里,他是天才;但只有他自己知道,天才背后是一棵看不见的科技树。
两天后,唐旭兴冲冲地跑进左城的办公室。
“左总!模型收敛了!频谱利用率百分之七十六!“
百分之七十六。加上技术增幅百分之二十的效果,最终利用率將达到百分之九十一,远超百分之八十的设计目標。
左城深吸一口气,但面上保持著冷静:“跑过全量仿真了吗?“
“正在跑,预计今天下午出结果。“
“好,跑完告诉我。“
唐旭走后,左城靠在椅背上,嘴角微微上扬。ai方向的第一步迈出去了。402没有ai团队?没关係,他一个人就是一支ai团队。
至少在这个阶段,他一个人就够了。但等到ai枝干真正激活的那一天,402需要一个真正的ai团队来支撑。