# Activity Frames：将屏幕活动确定性编译为智能体记忆

- 来源：HuggingFace Daily Papers（社区热门论文）
- 发布时间：2026-08-06 08:00
- AIHOT 分数：71
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmsj8x5n2036jroo5ewknk6ra
- 原文链接：https://arxiv.org/abs/2608.05784

## 精选理由

为一类 agent 提供了一种将屏幕活动编译为记忆的确定性方法，相比用 LLM 做总结，它在保持 98% 回忆准确率的同时将上下文缩小 86 倍，编译结果可缓存和审计，适合需要稳定回放和成本测量的 agent 开发流程。

## AI 摘要

一项研究提出 Activity Frames，用确定性、零模型管线将被动捕获的屏幕活动编译为智能体记忆，输出字节一致、可缓存且可审计。在单人 128,756 帧、51 个活跃天的语料上，该编译器将一天原始捕获压缩为 86 倍更小的提示块，耗时 68 毫秒；智能体阅读该块的问答准确率达 98.4%，优于 LLM 摘要的 66-80%。

## 正文

计算机使用型智能体需要花费完整的前沿推理成本，去重新推导用户已经执行过的操作流程，这是因为智能体当前的记忆记录的是用户说了什么，而不是用户做了什么。我们通过一条确定性的、零模型的流水线，将被动捕获的屏幕活动编译为智能体记忆：该流水线将本地捕获流切分为类型化活动帧，即带有边界的事件片段，其中包含应用、网站、时间、输入量以及指向原始数据行的证据指针，全程无模型参与，因此输出结果字节级一致、可缓存，并且可机械审计。在某位专业人士的单用户语料上（51 个活跃日，共 128,756 帧），该编译器将一天的原始捕获压缩为可直接作为提示词的上下文块，体积缩小 86 倍，耗时 68 毫秒；智能体读取该块后，对当天相关问题的回答准确率达到 98.4%（Wilson 95% CI 91.7–99.7%），对照独立基准答案，而同一份捕获内容经 LLM 摘要后的准确率仅为 66–80%；一个中端模型读取该块的表现与前沿模型相当。同一编译器还可兼作需求侧成本工具。通过读取委托前被动的人类活动（而非智能体运行轨迹），它提供了智能体成本模型所假设但据我们所知从未实测过的两个参数：常规操作开销比 R 和常规操作复发率 h。我们首次报告了 R 的数值（一个建模上界），为 60–343 倍，以及可委托的复发率：样本内 9.0%、样本外 7.7%，对应现实全车队 token 上限约为 8%；编译后的常规操作可在模型不参与的情况下确定性重放，已在守卫匹配命中场景下以零模型 token 现场演示。模式定义、编译器和评估框架均已开源。