公众号正文需在微信内阅读,站内仅提供摘要。
在微信中打开原文(在新标签页打开)智谱唐杰谈Scaling Law:GLM-5.3更像一次控制变量实验
AI 导读
智谱创始人唐杰发帖阐述对Scaling Law的理解,称Scaling不只有参数量,还需结合数据量、算力分配与运行条件。GLM-5.3在AA指数拿到60分,较上代GLM-5.2的53分提升,基座相同,总参数753B、激活40B。唐杰认为,总参数量决定知识容量,激活参数与有效深度决定长程推理,Scaling正从追求更大数字转向寻找最优解。
公众号:数字生命卡兹克
41
AI 编辑部评分,满分 100智谱唐杰谈Scaling Law:GLM-5.3更像一次控制变量实验
智谱创始人唐杰发帖阐述对Scaling Law的理解,称Scaling不只有参数量,还需结合数据量、算力分配与运行条件。GLM-5.3在AA指数拿到60分,较上代GLM-5.2的53分提升,基座相同,总参数753B、激活40B。唐杰认为,总参数量决定知识容量,激活参数与有效深度决定长程推理,Scaling正从追求更大数字转向寻找最优解。
来源:公众号:数字生命卡兹克· mp.weixin.qq.com