# 小红书联合北大、上交提出 HYPIC，让混合注意力大模型用上位置无关缓存，首 token 延迟降 3.25 倍

- 来源：公众号：小红书技术（dots.llm）
- 作者：小红书技术REDtech
- 发布时间：2026-07-16 18:00
- AIHOT 分数：75
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmsdu108a00ufrofz01bxk6m3
- 原文链接：https://mp.weixin.qq.com/s?__biz=Mzg4OTc2MzczNg%3D%3D&mid=2247495626&idx=1&sn=1716d6b911780449e17662c4b1dad973

## 精选理由

此前位置无关缓存无法用于混合注意力模型，HYPIC 通过缓存转移算子与缝合窗口首次实现，RAG 场景 TTFT 降低 3.25 倍，开源代码为推理系统提供了可复用的加速路径。

## AI 摘要

小红书联合北大、上交提出 HYPIC，这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上，HYPIC 将首 token 延迟（TTFT）平均降低 3.25 倍，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。该系统通过缓存段累积转移算子实现线性层常数时间状态组合，并用缝合窗口修复全注意力层跨段对齐。

## 正文

公众号正文需在微信内阅读，站内仅提供摘要。

> 站内仅提供摘要，全文见原文。