腾讯混元开源手机端离线翻译模型 Hy-MT1.5-1.8B-1.25bit，仅 440MB
阅读原文· ithome.com腾讯混元开源了手机端离线翻译模型Hy-MT1.5-1.8B-1.25bit，其体积仅440MB，可在手机本地离线运行。该模型支持33种语言及1056个翻译方向，基于1.8B参数原型通过极致量化压缩实现。其1.25-bit版本采用稀疏高效三值量化技术，将原始3.3GB模型大幅缩减。官方称其翻译质量优于谷歌翻译等主流系统，并提供了2-bit和1.25-bit两种量化方案以适配不同机型。模型完全离线工作，不收集用户数据，相关资源已全面开源。
IT之家 4 月 29 日消息，今日腾讯混元宣布开源手机端离线翻译模型 Hy-MT1.5-1.8B-1.25bit，把支持 33 种语言的翻译大模型压缩至 440MB，无需联网，下载即可直接在手机本地运行，“翻译质量优于谷歌翻译”。
演示设备：高通骁龙 865，8GB 内存
IT之家附官方详细介绍如下：
基于混元翻译大模型 Hy-MT1.5 打造，翻译效果比肩商用翻译模型
Hy-MT1.5 是腾讯混元团队打造的专业翻译大模型，原生支持 33 种语言、5 种方言 / 民汉及 1056 个翻译方向。从常见的中英互译，到法语、日语、阿拉伯语、俄语，甚至藏语、蒙古语等少数民族语言，它都能游刃有余地处理。
仅以 1.8B 参数量，Hy-MT1.5 实现了比肩商业翻译 API 和 235B 级大模型的翻译效果。在严格的评测基准中，其翻译质量不仅超越了谷歌翻译等主流系统，更证明了在高效优化下，轻量级模型能够迸发出令人印象深刻的翻译能力。
Hy-MT1.5-1.8B 翻译效果评分，详情见文末链接「Hy-MT1.5 技术报告」
但问题来了：原始的 1.8B 模型即使在 FP16 精度下，依然占用 3.3GB 内存。对于手机上金子般的内存来说，依然太大、太慢，所以需要量化压缩。
最极致的量化压缩，把模型装进手机
量化压缩，简单来说就是：把模型里原本用 16 位数字 (16-bit) 表示的参数转用更低位数字储存。这就像把一幅高清照片压缩成缩略图，文件小了很多，但你还是能看清楚里面的内容。针对不同的手机用户，腾讯特别推出了 2-bit 与 1.25-bit 两种极致的量化压缩方案。