公众号正文需在微信内阅读，站内仅提供摘要。
在微信中打开原文（在新标签页打开）蚂蚁百灵团队为何重新设计 SwiGLU？PowLU 激活函数的诞生始末
AI 导读
蚂蚁百灵团队提出新激活函数 PowLU，以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。
公众号：蚂蚁百灵（Ling）
精选
81
AI 编辑部评分，满分 100蚂蚁百灵团队为何重新设计 SwiGLU？PowLU 激活函数的诞生始末
蚂蚁百灵团队提出新激活函数 PowLU，以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。
推荐理由
用幂函数替代指数项以压制输出范围，避免了 SwiGLU 截断带来的信息丢失，为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。
来源：公众号：蚂蚁百灵（Ling）· mp.weixin.qq.com