MNN 适配 SME2 使 Qwen3-VL-4B 在端侧实时推理

2026-06-11 19:43· 51天前· 通义实验室

精选理由

这是一份硬核的端侧部署指南，实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%，做移动端 AI 的团队可以直接抄作业。

AI 摘要

MNN 推理引擎深度适配 Arm SME2 指令集，使 Qwen3-VL-4B-Instruct 在支持 SME2 的 vivo X300 上实现实时多模态推理。Prefill 阶段性能提升 81%，Decode 阶段提升 13%。MNN 采用编译时内建 + 运行时自动检测设计，默认开启 SME2 加速。该模型为 4B 参数视觉语言模型，支持图文理解和对话，通过 MNN 官方已转换量化的模型可直接下载部署，开发者可通过编译开关一键开启硬件加速。

公众号正文需在微信内阅读，站内仅提供摘要。

多模态教程/实践端侧

在微信中打开原文导出 Markdown

返回精选列表

精选79导出 Markdown