这是一则列表来源,站内未收录完整正文。
Show HN:Maple-Preview--在 iPhone 上以 120 tok/s 运行 ternary 20B MoE
AI 导读
Maple-Preview 是一款可在 iPhone 上运行的 ternary 20B MoE 模型,推理速度达 120 tok/s。该项目通过深度优化实现在移动端设备上的高效部署,相关代码与细节已在 deepgrove.ai 公开。
这是一则列表来源,站内未收录完整正文。
来源:Hacker News 热门(buzzing.cc 中文翻译)· deepgrove.ai