社区把 MiniCPM-V 4.6 搬上 iPhone 17 Pro,跑出 51 tok/s,还给了代码和模型,做端侧多模态的可以直接跑起来了。
🥳感谢分享,@MLBoy_DaisukeMajima 🚀 MiniCPM-V 4.6 在设备上以这样的速度运行,实在令人印象深刻——尤其是在 Apple Core AI 上以不到 2B 参数跑出。 干得漂亮,推动高效多模态 AI 向前发展。🫡
🥳感谢分享,@MLBoy_DaisukeMajima 🚀 MiniCPM-V 4.6 在设备端以这样的速度运行真是令人印象深刻——尤其是在 Apple Core AI 上参数量不到 2B 的情况下。 在推动高效多模态 AI 发展方面做得非常出色。🫡
[引用 @JackdeS11]:📸 MiniCPM-V 4.6 —— 参数量不到 2B 的最强视觉模型之一 —— 现在通过 Apple Core AI 在 iPhone 17 Pro 上以约 51 tok/s 的速度运行。
🤗 http://huggingface.co/mlboydaisuke/MiniCPM-V-4.6-CoreAI 🛠️ http://github.com/john-rocky/coreai-model-zoo