今天，我们正式发布 LFM2.5-8B-A1B，这是一款专为消费级硬件上快速、可靠的工具调用而设计的边缘模型。

该模型基于我们于 2025 年 10 月发布的 LFM2-8B-A1B 进行了升级，扩展了 128K 上下文窗口，扩大了预训练规模（从 12T 模型 token 增至 38T 模型 token），并采用了大规模强化学习。我们还将其词汇量翻倍，以提升对非拉丁语言的模型 token 化效率。最终得到的模型能够串联工具调用、完成任务，甚至可以在入门级笔记本电脑上流畅运行。

基础模型（LFM2.5-8B-A1B-Base）和训练后模型（LFM2.5-8B-A1B）今日已在 Hugging Face 和我们的 Playground 上线。请查看我们的文档，了解如何在本地运行和微调这些模型。

亮点

• 设备端个人助手。专为驱动真实应用而设计，可在所有设备上串联工具调用并遵循复杂指令。
• 压缩性能。在指令遵循和智能体任务上，与规模大得多的稠密模型和 MoE 模型相比也毫不逊色。
• 无与伦比的吞吐量。在其尺寸级别中，CPU 和 GPU 推理速度最快，且从发布首日起即支持 llama.cpp、MLX、vLLM 和 SGLang。

自 LFM2-8B-A1B 以来的改进

与 LFM2-8B-A1B 相比，新版本将上下文窗口从 32,768 模型 token 扩展到 128,000 模型 token。这使得模型能够处理更长的文档并进行更长时间的推理。词汇量也从 65,536 扩大到 128,000，以更高效地对非拉丁语系文本进行模型 token 化。我们观察到在印地语、泰语、越南语、印度尼西亚语和阿拉伯语上压缩效果尤为显著。其余架构沿用了与 LFM2-8B-A1B 相同的 MoE、GQA 和门控短卷积块组合，如下图所示。

Unlike its predecessor, LFM2.5-8B-A1B is a reasoning-only model, producing an explicit chain of thought before its final answer. We adopted this strategy because MoE models generally run in compute-bound settings, where a smaller number of active parameters makes each reasoning token cheap. This provides a significant quality boost without compromising speed.

得益于推理能力和大规模训练的扩展，这个新版本的表现显著提升：

训练亮点

Tokenizer 扩展。LFM2-8B-A1B 最初使用一个针对初始语言覆盖范围优化的 65K BPE tokenizer 进行训练。为了更好地支持 LFM2.5 中的非拉丁字母，我们通过原位扩展现有 tokenizer 的方式将词汇量翻倍至 128K，而不是从头重新训练模型。我们在原始合并的基础上，继续使用多语言语料库进行 BPE 合并训练，这使大多数现有 token ID 保持恒等映射，并让每个新 token 确定性地分解为一系列原始子 token。我们将新的嵌入行初始化为其子 token 分解的均值，并保持共享行不变。然后通过一个简短的两阶段适配来恢复质量：仅嵌入训练，接着是全模型持续预训练。

下表报告了 chars/token，即每个 token 大致承载多少文本：数值越高越好，新 tokenizer 在所有 16 种语言中效率更高。

上下文扩展。我们首先通过一个专注于推理、数学、工具使用和较长文档的 2T token 中期训练阶段，将上下文窗口扩展到 32K。随后，我们通过增加 RoPE 基值 θ 并运行另一个专注于长文档和长轨迹数据的 400B token 中期训练阶段，将上下文扩展到 128K。

死循环。我们增加了一个针对性的偏好优化阶段，以减少长推理轨迹中的死循环。该阶段会识别在特定上下文中容易触发循环行为的 token，然后将概率质量重新分配到合理的替代选项上，同时保持其余下一个 token 的分布基本不变。在强化学习过程中，我们还增加了一个轻量级的塑形奖励，以抑制过度使用常见的引发循环的重启词，比如“等等……”。我们将在专门的博客文章中分享关于完整流程、目标以及实证结果的更多细节。

模型幻觉。由于其参数量较少，边缘模型的知识容量有限，这会导致更多的幻觉。为了缓解幻觉，我们增加了一个针对性的强化学习阶段，该阶段使用基于 avg@k 的奖励，覆盖多样化的知识数据集。目标是在保留现有知识的同时，强化对超出可靠知识范围的问题的拒答行为。这产生了更清晰的知识边界和更明确的表达不确定性方式。

基准测试

我们在涵盖知识、指令遵循、数学和智能体工作流的各项基准测试上评估了 LFM2.5-8B-A1B。该模型在总参数量相近的密集模型以及规模更大的 MoE 模型中均具有竞争力。

基于 avg@k 的奖励机制使 LFM2.5-8B-A1B 在保持合理准确率的同时，实现了显著更低的模型幻觉率。它在指令遵循基准测试上也表现领先，以极少的活跃参数量就能匹配 Gemma 4-26B 等更大的混合专家模型。

数学与智能体工作流

在智能体基准测试上，LFM2.5-8B-A1B 与更大的模型竞争力相当，在 Tau2-Telecom 上尤其强劲。随着智能体测试平台逐渐成为使用模型的主要方式，LFM2.5-8B-A1B 是为设备端、完全私有的智能体提供动力的第一步。

稀疏推理，无处不在

LFM2.5-8B-A1B 在发布首日即获得整个推理生态系统的全面支持：

• LEAP —— Liquid 的边缘 AI 平台，适用于 iOS 和 Android 部署
• llama.cpp —— 用于高效边缘推理的 GGUF 检查点
• MLX —— 针对 Apple Silicon 优化的推理
• vLLM —— GPU 加速服务，实现生产级吞吐量
• SGLang —— GPU 加速服务，实现生产级吞吐量
• ONNX —— 跨多种加速器的跨平台推理

CPU 推理。LFM2.5-8B-A1B 在发布首日即支持 llama.cpp，并可在日常消费级硬件上运行。

在笔记本电脑级别的芯片上，它都是我们测试过的读取提示词和生成答案最快的模型，在 M5 Max 上解码速度达 253 token/s，在 Ryzen AI Max+ 395 上为 146 token/s，同时内存占用保持在 6 GB 以下。在手机上甚至能维持约 30 token/s 的速度，因此一个强大的助手可以在你自己的设备上即时且私密地运行。

GPU 推理。我们通过积极贡献于 vLLM 和 SGLang 的代码库来支持其推理。我们在单块 NVIDIA H100 SXM5 GPU 上，采用持续负载设置测量输出吞吐量（总输出 token 数除以挂钟时间）：在每个并发级别，我们持续维持目标数量的在途请求，每个请求完成后立即替换。

我们使用 SGLang 0.5.12 对每个模型进行基准测试，输入 1,024 个 token，最多输出 256 个 token，采用 BF16 精度，每个并发级别取 3 次运行的平均值。LFM2.5-8B-A1B 是其规格级别中最快的模型，在高并发下达到每秒 18.5K 输出 token，单块 H100 每天可处理超过 1.6B 个 token。

Local Cowork：亲眼见证运行

我们的开源桌面智能体演示 Localcowork 现已基于 LFM2.5-8B-A1B 运行。其设置与我们 3 月份用于 LFM2-24B-A2B 演示时相同：单台笔记本电脑，13 个 MCP 服务器上的 67 个工具，无需云服务、无需 API 密钥、无需数据离开本机。在相同的工具菜单下，工具选择速度更快，可靠性显著提升。

演示的重点不在于单个工具，而在于工具调度循环在消费级硬件上感觉具有交互性：提问、建议、确认、执行、重复，每次调度都在不到一秒内完成，并附带完整的审计跟踪，且你的数据永远不会离开设备。

‍

借助 LFM2.5，我们正在实现"AI 可随处运行"的愿景。这些模型具有以下特点：

• 开放权重——可无限制地下载、微调与部署
• 从第一天起就快——原生支持 llama.cpp、MLX、vLLM、SGLang，覆盖 Apple、AMD、Intel、Qualcomm 和 Nvidia 硬件
• 完整的模型家族——从用于定制化的基础模型到专门的音频与视觉变体，单一架构覆盖多种应用场景

设备端智能体的未来从此启程。我们迫不及待想看到你的创造。

在 Playground 中尝试

在 Hugging Face 上下载

@article{liquidAI20268BA1B,
  author  = {Liquid AI},
  title   = {LFM2.5-8B-A1B: Personal Assistant On Your Laptop},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {https://www.liquid.ai/blog/lfm2-5-8b-a1b},
}

adsasd