这是一则列表来源,站内未收录完整正文。
华为开源 505B 参数 openPangu-2.0-Pro 模型及技术报告
AI 摘要
华为今日正式开源上线 505B 参数的 openPangu-2.0-Pro 模型(含模型权重、基础推理代码)及技术报告。该模型是基于昇腾 NPU 训练的 MoE 语言模型,每 token 激活约 18B 参数,支持 512k 上下文长度,训练数据约 34T tokens,后训练采用 SFT、多专项 RL 与在线蒸馏。
这是一则列表来源,站内未收录完整正文。
阅读完整原文ithome.com