AI预检检查：智能体工作记忆架构
阅读原文· tomtunguz.comTunguz 把代理的记忆问题拆成预检+看门狗，不是大模型调参，而是软件架构层的优化，做 agent 的开发者可以直接偷师。
一种为AI智能体设计的预检工作记忆架构：查询到来时，系统从磁盘上约90个索引化的技能库中检索最相关技能，仅加载到上下文窗口。本地开源模型Ornith 35B（350亿参数，通过Ollama在Apple Silicon上运行）执行任务，约80%常规任务由本地模型完成，困难任务路由至前沿模型。看门狗记录每次预检决策和技能调用，夜间通过异步推理处理全天轨迹，自动决定哪些技能需新增或固化（如日历排期转为确定性Rust代码），实现自我改进循环。昨天，看门狗首次未提出任何改进建议，系统或接近性能平台期。
简而言之：一种面向 AI 智能体的工作记忆架构——预飞行步骤从长期技能库中检索出正确的技能，由本地模型执行，随后监控程序在夜间处理执行轨迹并更新技能库。
我至今还记得，我的智能体曾经话说到一半就把我之前说的内容忘了。
上下文窗口的大小并非瓶颈。记忆架构才是。
我一直在实验一种带有预飞行指令的记忆架构。飞行员在起飞前规划航线，我的智能体也同样如此。
一条查询指令落下：“总结第三季度董事会简报。”背后是电子邮件、PDF 和聊天记录组成的 20 万原始 token。
预飞行即是检索。智能体检查它的技能库¹，选出与任务相关的技能，仅将这些技能加载到上下文窗口中。技能是浓缩的记忆；预飞行步骤正是智能体选出正确技能的方式。
然后，本地的 Ornith 35B 模型²在所加载的上下文上执行。复杂任务会路由到前沿模型，常规任务则留在本地模型处理——这种情况大约占 80%。
监控程序追踪哪些技能被加载、哪些决策被做出以及成功率。每一次预飞行决策都被记录下来。每一次技能调用都是一个有名称、有版本的工件。
到了夜间，异步推理³处理白天的执行轨迹。它会判断应该开发哪些新技能，以及现有技能的哪些部分应转为确定性代码。日历排程就是一个很好的例子：大语言模型不应该去比较空闲与忙碌的时间段，Rust 在这方面要好得多。系统会重写自己的技能库并重启自身，形成一个自我改进的循环。
昨天是监控程序第一天没有提出任何改进建议。我怀疑这种情况不会持续下去。但这暗示了一件事：当改进达到一定程度后，系统会进入一个平台期。只有真正的新异常情况才需要人工介入。
技能库是一套工作流文件（目前约 90 个），在磁盘上建立索引，并通过意图匹配进行检索。技能是编写一次、进行版本控制的工作流，并以工具 schema 的形式交给模型。关于该技能库是如何构建的，请参阅《技能蒸馏》。↩︎
Ornith 35B 是一个本地托管的开放权重模型，属于 350 亿参数级别，通过 Ollama 在 Apple Silicon 上运行。它可以处理常规智能体任务——分类、草拟、工具选择、结构化提取——并将困难部分路由至前沿模型。
有关使过夜、长达数小时的智能体运行变得可行的队列架构，请参阅《Full Sail on Asynchronous Inference》。
获取下一期到你的收件箱。
一分钟阅读，将技术数据转化为战略优势。
超过 15 万创始人和运营者正在阅读。