返回
公众号：小红书技术（dots.llm）
精选
75AI 编辑部评分，满分 100

小红书联合北大、上交提出 HYPIC，让混合注意力大模型用上位置无关缓存，首 token 延迟降 3.25 倍

2026-07-16 18:00· 18天前· 小红书技术REDtech
精选理由

此前位置无关缓存无法用于混合注意力模型，HYPIC 通过缓存转移算子与缝合窗口首次实现，RAG 场景 TTFT 降低 3.25 倍，开源代码为推理系统提供了可复用的加速路径。

AI 摘要

小红书联合北大、上交提出 HYPIC，这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上，HYPIC 将首 token 延迟（TTFT）平均降低 3.25 倍，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。该系统通过缓存段累积转移算子实现线性层常数时间状态组合，并用缝合窗口修复全注意力层跨段对齐。

公众号正文需在微信内阅读，站内仅提供摘要。

arXiv开源/仓库推理论文/研究
在微信中打开原文导出 Markdown
返回
精选75导出 Markdown

小红书联合北大、上交提出 HYPIC，让混合注意力大模型用上位置无关缓存，首 token 延迟降 3.25 倍

公众号：小红书技术（dots.llm）·2026-07-16 18:00·18天前·小红书技术REDtech
精选理由

此前位置无关缓存无法用于混合注意力模型，HYPIC 通过缓存转移算子与缝合窗口首次实现，RAG 场景 TTFT 降低 3.25 倍，开源代码为推理系统提供了可复用的加速路径。

AI 摘要

小红书联合北大、上交提出 HYPIC，这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上，HYPIC 将首 token 延迟（TTFT）平均降低 3.25 倍，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。该系统通过缓存段累积转移算子实现线性层常数时间状态组合，并用缝合窗口修复全注意力层跨段对齐。

公众号正文需在微信内阅读，站内仅提供摘要。

在微信中打开原文mp.weixin.qq.com
arXiv开源/仓库推理论文/研究部署/工程