440MB的模型能在手机上跑33种语言翻译,还宣称比谷歌翻译强,这个量化技术让离线翻译不再是‘能看不能用’,出差党可以试试看。
腾讯开源了Hy-MT1.5-1.8B-1.25bit翻译模型,其参数量为18亿,经量化后仅440MB,可在手机上完全离线运行。该模型支持33种语言、5种方言及1056个翻译方向,包括藏语、蒙古语等少数语言。在标准测试中,其性能媲美商业翻译API和2350亿参数的大模型。通过量化至1.25比特,模型内存占用从FP16格式的3.3GB大幅降低,比之前的1.67比特方法体积缩小25%、速度提升约10%,且无精度损失。该模型已在国际机器翻译竞赛中获得30项第一,并部署于腾讯多个产品中。
我们正在开源 Hy-MT1.5-1.8B-1.25bit——一款 440MB 的翻译模型,可完全离线运行在手机上,支持 33 种语言,并且性能优于谷歌翻译。
在 18 亿参数规模下,它在标准基准测试上可以媲美商用翻译 API 和 2350 亿参数级的模型。通过量化至 1.25-bit,内存占用从 3.3GB(FP16)降至 440MB——相比之前的 1.67-bit 方案体积缩小 25%,速度提升约 10%,且精度无损。
覆盖 33 种语言、5 种方言和 1,056 个翻译方向,包括藏语、蒙古语等少数民族语言。
我们的翻译模型已在国际机器翻译比赛中获得 30 项第一名,并已部署到多个腾讯产品中。🏆
📲演示 APK(Android):https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF/resolve/main/Hy-MT-demo.apk 🤗Hugging Face:https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit 🔗GitHub:https://github.com/tencent/AngelSlim 📄论文:https://arxiv.org/abs/2601.07892