Motif-3-Beta 刚刚在 Hugging Face 上发布 ~314B 总参数 / 每个 token 约 13B 活跃参数（稀疏 MoE） 256K 上下文长度（262,144 个 token），原生长上下文 稀疏路由：384 个专家，每个 token 激活 8 个，外加 1 个共享专家 多语言，通用 https://huggingface.co/Motif-Technologies/Motif-3-Beta
AK@_akhaliqMotif-3-Beta 刚刚在 Hugging Face 上发布 ~314B 总参数 / 每个 token 约 13B 活跃参数（稀疏 MoE） 256K 上下文长度（262,144 个 token），原生长上下文 稀疏路由：384 个专家，每个 token 激活 8 个，外加 1 个共享专家 多语言，通用 https://huggingface.co/Motif-Technologies/Motif-3-Beta
Motif-3-Beta just dropped on Hugging Face
~314B total parameters / ~13B active per token (sparse MoE)
256K context length (262,144 tokens), natively long-context
Sparse routing: 384 experts with 8 activated per token, plus 1 shared expert
Multilingual, general-purpose
来源：AK· x.com