# 蚂蚁百灵团队为何重新设计 SwiGLU？PowLU 激活函数的诞生始末

- 来源：公众号：蚂蚁百灵（Ling）
- 作者：百灵大模型
- 发布时间：2026-05-29 09:39
- AIHOT 分数：81
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmsdu2qga010jrofz571wp958
- 原文链接：https://mp.weixin.qq.com/s?__biz=MzkyODk2MDQwNw%3D%3D&mid=2247486672&idx=1&sn=01bbb07ab984e59dbb1355531b8ccf94

## 精选理由

用幂函数替代指数项以压制输出范围，避免了 SwiGLU 截断带来的信息丢失，为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。

## AI 摘要

蚂蚁百灵团队提出新激活函数 PowLU，以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。

## 正文

公众号正文需在微信内阅读，站内仅提供摘要。

> 站内仅提供摘要，全文见原文。