一项研究评估了小型语言模型在检索增强生成（RAG）系统中的生成性能。实验采用开源与专有数据集，覆盖多种学科与问题类型。结果表明，配备小语言模型的RAG系统可在设备端直接运行，且无需任何GPU硬件，在合理时间内完成推理。实验代码及补充材料已通过GitHub仓库公开。

Rohan Paul@rohanpaul_ai

62

一项基于172B token的研究测试了LLM在文档问答场景中的虚构答案频率。关键发现：最佳模型在32K上下文下虚构率1.19%；强模型通常为5%-7%；中等模型对不存在事实的虚构率达25%。当上下文扩展至200K时，所有模型至少虚构10%。更长上下文显著加剧幻觉。研究表明，幻觉不仅是检索失败，模型即便能正确找到事实，也易在事实缺失时过度作答。

DREAM是一种利用大语言模型（LLM）自回归下一token预测目标为密集检索嵌入模型提供监督训练的方法。它将检索器生成的查询-文档相似度分数注入冻结LLM的选定注意力头，使预测损失通过注意力机制为检索器提供梯度。在BEIR和RTEB检索基准上，使用0.5B至3B参数的嵌入骨干，DREAM均持续优于现有基线。

KaLM-Reranker-V1 是一种快速但非延迟交互（FBNL）重排序器，采用编码器-解码器架构。编码器使用 Matryoshka 嵌入池化预编码段落，解码器建模系统指令、用户指令和查询意图，再通过交叉注意力捕获查询与段落间的相关性，实现解耦计算并保持高效。模型提供 Nano（0.27B）、Small（1B）和 Large（4B）三种激活参数尺寸。在 BEIR 上达到 SOTA，与 Qwen3-Reranker 系列持平；在 MIRACL 上未经大量多语言训练仍表现优异；在 LMEB 上，0.27B Nano 模型可与 7-12B 嵌入模型竞争。

从数据管理视角对LLM智能体记忆系统进行系统性实验研究，将其分解为表示与存储、提取、检索与路由、维护四个核心模块。评估了12个代表性记忆系统和两个参考基线，覆盖5个基准工作负载共11个数据集。端到端结果显示无单一架构占优，效果取决于记忆结构与工作负载瓶颈的对齐。细粒度消融实验量化了各模块对表示保真度、检索精度、更新正确性和长期稳定性的影响。实际工作负载下局部维护比全局重组更具成本效益。代码已公开。

ChartWalker是一个面向跨图表检索增强生成（RAG）任务的新框架。它采用层次知识图谱构建方法，按粒度组织实体与关系，并设计结构感知采样算法生成语义一致的多跳推理路径，显式控制查询难度与粒度，以解决现有基准中查询与证据词汇重合度高、推理链逻辑不一致的问题。基于该框架发布ChartWalker-Bench基准，覆盖多领域与多类型跨图表查询。主流RAG范式评估显示显著性能差距，同时提供ChartWalker-Agent基线辅助分析。

现有嵌入模型是静态的，孤立编码文本片段，忽略上下文与时间顺序。EvoEmbedding 生成可演化表征，专为信息动态、序列化的长上下文场景设计。模型顺序处理输入时维护连续更新的隐记忆，并与原始内容共同生成演化嵌入，使同一查询能根据上下文检索不同目标。为联合优化隐记忆与检索，构建了训练数据集 EvoTrain‑180K，并引入记忆队列防止表征崩塌，结合分段批处理加速训练 3.8 倍。实验表明，该模型在长上下文检索基准上超越更大规模专用模型，并可泛化至上下文长 10 倍的下游任务；集成至简单 RAG 管线即可超越专用智能体记忆系统。

RedParrot 是一种面向企业级商业分析的 NL-to-DSL 加速框架，通过查询语义缓存、骨架匹配、实体无关表示学习和多源异构 RAG，将多阶段 LLM 工作流压缩为短链路生成。在小红书真实业务数据集上，平均实现 3.6x 推理加速，执行准确率提升 8.26%，表选择准确率达 85.99%；在开放基准 Spider-DSL 和 BIRD-DSL 上，准确率分别提升 29.9 和 39.7 个百分点。P90 延迟降低至约 21 秒。框架采用短链路与长链路双路径兜底，支持增量缓存更新。

患者上下文涉及数百份异构文档与数千个结构化数据点，但文档级元数据缺失，标准RAG在处理时间推理、跨文档依赖等任务时表现不佳。为此，研究者在埃森大学医学中心部署了ACIE——一个本地部署的智能体RAG流水线，它可推理完整患者上下文并将每个回答锚定在源段落中供临床医生验证。在一项独立的回顾性淋巴瘤登记研究中，核医学医生对每个提取值与其引用来源进行核对，在7326次判断中接受了96.5%的提取结果，各类型接受率介于80%至99%之间。

FAPO是一个让Claude Code在标准化代码库内自动优化多步LLM管道的框架。它评估管道、检查中间步骤、诊断失败、提出范围性更改并反复验证，优先尝试提示编辑，仅当提示优化不足且归因识别出结构瓶颈时才调整链结构。在6个基准和3个任务模型上，FAPO在18个模型-基准比较中15次击败基线GEPA，平均增益+14.1pp；其中11次比较中均值±标准差范围不重叠。在HoVer和IFBench上，提示优先搜索升级为结构变化的6次比较中FAPO全胜，平均增益+33.8pp。安全任务上，仅提示版FAPO在CTIBench-RCM上将GPT-5测试准确率提升+4.0pp，Foundation-Sec-8B-Instruct提升+7.1pp，Foundation-Sec-8B-Reasoning提升+2.0pp。

SproutRAG是一个注意力引导的层次化RAG框架，通过学习句子间注意力构建二分块树，将句子级块组织成语义连贯的渐增单元。检索时使用层次化波束搜索获取多粒度候选，无需额外LLM调用或压缩摘要。框架端到端联合训练，优化嵌入和树结构。在科学、法律和开放域四个基准上，平均信息效率（IE）提升6.1%。代码已开源。

MCompassRAG是一个元数据引导的检索框架，利用主题级信号作为语义指南针，通过LLM教师蒸馏训练轻量检索器，在不额外调用LLM的情况下实现主题感知检索。在6个复杂检索基准上，MCompassRAG的信息效率（IE）平均提升8.24%，延迟比最强高效RAG基线低5倍以上。代码已开源。

OpenBMB@OpenBMB

43

面壁智能 OpenBMB 联合清华NLP、慕尼黑工业大学等发布 FactNet，构建十亿级开源多语言知识图谱。它将 1.7B 原子断言统一为 1.55B FactSynsets，附带 3.01B 来自 316 种语言维基百科的字节级可追溯证据（页面ID、修订版ID、Unicode偏移），99.63% 精确重定位。人工审计 4,200 项，设计加权精度 92.1%（低资源语言 88.5%）。FactNet-Bench 包含 KGC、MKQA、MFC 三项任务，显式惩罚信息泄露，为可验证 AI 提供结构化事实基础。

RL-Index 是一种智能体索引框架，将检索索引推理形式化为强化学习问题。它在索引阶段利用 LLM 生成的推理（rationales）增强文档，并采用 Group Relative Policy Optimization（GRPO）与检索相似度作为可验证奖励信号，直接优化索引决策以提升检索效果。在 BRIGHT 基准上，RL-Index 持续提升检索与下游问答性能，显著降低在线推理延迟，且所学的推理增强可跨不同检索器与生成器泛化，作为一种即插即用的索引策略。

基于检索增强生成（RAG）的方法在处理复杂查询时表现出色，但不同检索器需要截然不同的查询构建策略。该工作首次系统分析大语言模型（LLM）如何通过强化学习（RL）学习为不同检索器定制查询策略。实验表明，RL能有效指导LLM根据检索器特性调整查询风格，且不同检索器对描述型或疑问型查询的偏好显著不同。引入分支式rollout技术提升了多步检索轨迹下的训练稳定性。研究为构建真正检索器感知的RAG系统提供了实证证据和可操作洞见。代码与资源已公开。

Dr-DCI 将检索作为智能体可调用的动作来扩展本地工作空间，动态拉取相关文档到演化中的工作空间内执行直接语料交互（DCI）操作。在 Browsecomp-Plus 上达到 71.2% 准确率，优于原始 DCI 最多 8.3 个百分点，并降低工具使用次数与成本。工作空间保留式上下文重置后准确率提升至 73.3%。在 10 万到 1000 万文档的语料扩展实验中保持有效，而原始 DCI 变得不稳定。在 2000 万级 Wiki-18 QA 设置下平均得分为 63.0，超越基于检索和搜索智能体的基线。消融分析表明，排序预览和文档间 DCI 是性能关键。

针对现有视频RAG基准中查询无需视频即可回答、且采用单一模态-粒度配置的局限，研究者提出V-RAGBench基准，包含(query, evidence chunk, answer)三元组，支持检索与生成的解耦评估；同时提出CARVE方法，通过并行运行多配置检索器并对每个chunk进行自适应重排序，为每个chunk选择最优配置，使生成阶段交织不同配置的证据块。在长视频场景下，CARVE在八个近期VideoRAG基线方法中取得最优结果。

Latent Memory提出一种潜在空间记忆范式，由小型压缩器LLM/VLM将每个原始文本或图像证据压缩为单个高维潜在token。查询时，将查询嵌入同一空间检索相关token并直接输入预训练LLM/VLM生成答案。通过统一端到端训练，结合重建、对比和蒸馏目标，使单个token同时携带重建、检索和生成信息。在HotpotQA等七个纯文本QA基准和多项多模态QA基准上，Latent Memory取得与先进RAG基线相当的问答性能，同时生成器token消耗减少3至10倍，并在WebQA上达到图像问答最强性能。代码已公开。

该研究质疑在基于代理的搜索（agentic search）中“grep 是否足够”这一假设，并分析代理框架（agent harnesses）如何重新定义智能体搜索的交互方式与能力边界，推动搜索范式从简单工具调用向结构化代理行为演进。

AYi@AYi_AInotes

62

Google提出一种AI记忆压缩技术，可将1000万个文档的向量存储从31GB内存压缩至仅4GB，且搜索速度超过目前最常用的FAISS方法。该技术使本地运行大语言模型并结合个人数据变得更加可行。

AYi: http://x.com/i/article/2060717603987791878

提出ECI_{sem}，一种无需训练的语义残差变体，利用冻结目标编码器嵌入对密集检索候选负样本源排序。每个评分需查询、标注正例及显式候选负例。ECI_{sem}从目标一致性、语义局部性、词汇残差性和对数行列式多样性构建加权残差信息矩阵。在MS MARCO上，族内ECI_{sem}将LLM负样本（非混合）和Dense+LLM（混合源）排为最高，与DistilBERT、E5-base、Contriever在BEIR上的最强聚合迁移结果一致。消融实验表明对齐依赖目标编码器族，且在样本量、温度等扰动下稳定。

RISE 方法提出用 BM25 为智能体搜索构建一个有边界的交互空间，并在索引时处理文档以支持 shell 式导航。在 BrowseComp-Plus 上，RISE 搭配 gpt-5.4-mini 达到 78% 准确率，每查询成本约为纯 shell DCI 基线的四分之一。当语料库扩充至 100 万文档时，RISE-BM25 在 gpt-5.4-mini 上准确率提升至 81%，而 DCI 在 gpt-5.4-nano 上准确率降至 60%，且 33% 的查询因超时失败。

大语言模型在零样本文本嵌入任务中表现不佳，原因在于嵌入向量倾向于与高频但无信息的token对齐，抑制语义捕获。本文提出EmbedFilter，一种简单的线性变换方法，通过利用LLM内部unembedding矩阵编码的潜在空间，过滤掉高频token子空间，从而增强语义表示。该方法可自然降维，减少索引存储并加速检索，同时保持精炼后嵌入质量。实验表明，嵌入EmbedFilter的LLM在显著降低嵌入维度时仍取得更优零样本下游性能。代码已开源。

一项干预审计研究揭示了检索增强问答流程中重写器（rewriter）性能提升的因果机制：增益主要来自重写上下文中出现正确答案字符串，而非证据质量本身的改善。在Qwen2.5-7B、Qwen3.5-35B、GLM-4.7三个读者模型、HotpotQA和2WikiMultihopQA两个数据集上的十二组实验显示，从重写输出中移除答案跨度导致读者F1分数比长度匹配的安慰剂对照额外下降28至64点；向原无答案的重写内容前缀注入答案则在10/12组合中带来0.7至9.7点的F1提升。传统单[MASK]探针检测法存在脆弱性——在2Wiki数据集上报告+4.12 F1“非泄漏残差”，但改用四种替代哨兵后结果翻转至-3.33至-7.81 F1，且其中三种未通过等价检验。

Harness-1是一个20B参数的检索子智能体，通过强化学习训练。其核心创新是将状态管理外部化至环境侧的框架中，该框架负责维护包括候选池、重要性标注的精选集、证据链与验证记录等工作记忆，使策略本身专注于搜索语义决策。在八个涵盖网页、金融、专利等领域的检索基准测试中，Harness-1取得了0.730的平均精选召回率，超越了次优的开源搜索子智能体11.4个点，并与规模更大的前沿模型保持竞争力。其代码已开源。

elvis@omarsar0

60

该论文指出，当AI智能体在多轮对话中重复使用相同文档和历史记录时，固定的上下文策略并非最优。研究提出了“效率前沿”框架，将上下文策略选择建模为一个成本与性能的平衡问题。通过引入重用参数N进行扫描，可以识别出检索、压缩或全上下文各自占据优势的交叉区域。在5000个HotpotQA实例上的测试表明，部署感知的选择能在保持相同性能下减少约25%的有效token使用量，而摊销内存压缩在高性能设置下比全上下文提示的运行成本便宜超过50%。

Critic-R 框架在推理和训练阶段显式连接推理智能体与检索模型的反馈循环。它引入批评模型评估智能体的内省推理轨迹，判断上下文是否充分支持下一步推理。框架包含两种机制：Critic-R-Zero 在推理时迭代重写查询与检索指令；Critic-Embed 利用成功与失败的细化轨迹自动监督检索模型训练，无需人工标注。在 HotpotQA、2WikiMultihopQA、MuSiQue 和 Bamboogle 上的实验表明，Critic-R 显著提升了检索质量和答案准确率。

OCC-RAG 是 Optimal Cognitive Core (OCC) 家族中专为忠实问答优化的 SLM。研究团队通过大规模合成多上下文、多跳 QA 数据（超300万样本）训练出 0.6B 和 1.7B 两个版本。模型生成结构化推理轨迹并引用原文证据。在 HotpotQA、MuSiQue、TAT-QA（多跳推理）、ConFiQA（忠实性）和 MuSiQue-Un（拒答）基准上，性能匹配或超越 2-6 倍规模的通用模型。

针对强化学习提升事实性问答准确度时的奖励设计难题，本文提出CorVer方法。它用基于Wikipedia共现统计的轻量级语料库信号，替代了昂贵且不可靠的神经验证器（如NLI或LLM判断器）。CorVer为每个句子分配信用值，并通过简单对齐映射到token级优势，仅需一个0.5B的提取器和单次语料库查询。在覆盖六个指令微调模型和五个问答基准的30个测试组合中，CorVer使每个组合的性能均优于原始基线，其中TriviaQA平均提升+4.1个百分点。在可行配置下，它在20个组合中的18个超越了神经验证器基线，且训练速度快4.8至8.4倍。

Clark Hash是一种用于紧凑存储神经网络嵌入向量的无状态编解码方法。在默认的384维句子嵌入设置下，它将一个余弦搜索向量存储为48字节的固定宽度标量量化码，相比使用f32格式的密集存储（需1536字节），实现了32倍的压缩。该方法无需训练过程、学习码本或预先计算语料库统计信息。基于多语言MiniLM编码器的评估显示，其48字节草稿与密集余弦分数在STS17和STS22测试集上的宏皮尔逊相关系数分别达到了0.910和0.946。

本文研究了大语言模型记忆系统中错误追踪与归因的新问题。我们提出了MemTrace框架，它将记忆管线转化为可执行的记忆演化图，以实现操作信息流的细粒度追踪。我们构建了MemTraceBench基准，数据来自Long-Context、RAG、Mem0和EverMemOS等代表性系统，用于系统研究记忆失效模式。此外，我们引入了一种自动归因方法，通过迭代追踪操作子图来定位失败根因。分析表明，记忆失败具有系统性，源于信息丢失与检索错位等操作级问题。利用这些细粒度归因信号指导下游提示词优化，可构建一个自动纠错的闭环系统，将端到端任务性能最高提升7.62%。

本文介绍了embeddingmagibu-200m，一款专注于土耳其语的句子嵌入模型。它能生成768维L2归一化向量，支持8,192 token的上下文窗口。该模型不进行完整预训练，而是采用三阶段适配流水线训练：构建优化的土耳其语分词器、克隆并适配教师模型权重，以及使用预计算向量进行离线知识蒸馏。学生模型约200M参数，在单个GPU上训练约4小时，成本为5-20美元。它在STSbTR基准上性能超越了作为教师的300M参数模型，并在TR-MTEB的26个任务中排名靠前，实现了有竞争力的性价比。所有模型权重、分词器及训练工具均已开源。

检索增强生成系统处理多来源语料时，可能因检索来源不同而对同一问题给出不同答案，这是一种现有评估体系无法诊断的失效模式。研究团队在医疗患者教育场景发布了三个工具：基准TransplantQA，为真实患者问题提供基于多机构手册的参考答案；分层检索与审计策略HERO-QA；以及一个基于经验证的5标签分类体系的结构化评估器，用于评分来源间关系。大规模审计显示，更优的检索能力所暴露出的来源分歧远高于此前估计。该框架具有领域通用性。

本研究探讨了密集检索器位置偏见的成因，聚焦于训练数据中证据位置分布的影响。通过构造证据位于文档开头、中间或结尾的合成训练集，并对8种架构的预训练模型进行微调，实验发现：偏斜的训练分布会使模型偏好相应位置的信息。在位置敏感的评测基准上，位置平衡训练可降低57%–87%的位置敏感性，且检索性能具有竞争力。表示层分析表明，微调能重塑模型的位置偏好，但部分模型中预训练或架构固有的倾向仍会持续。该研究指出训练数据的位置分布是影响检索位置偏见的主要可控因素，平衡数据编排是一种有效的缓解策略。

为解决垂直领域大语言模型缺乏复杂任务导向对话数据的瓶颈，STREAM框架提出一种从公开流媒体（直播与短视频）中规模化合成高质量服务对话的新方法。该框架从嘈杂的流媒体中挖掘真实交互信号，结合角色人物构建与对话蓝图设计，并利用检索增强生成（RAG）技术支持知识响应。基于此发布的StreamDial数据集覆盖汽车、餐饮与酒店三大领域，包含87,498个对话会话与1,497,320轮对话。评估表明，该数据集提升了对话内在质量，并在多个骨干模型上改善了对话状态跟踪性能；在Qwen3-8B上的多语言迁移实验也取得了积极结果。

针对学术研究中大语言模型（LLM）存在幻觉的问题，研究者将抽取式问答系统VerbatimRAG应用于ACL Anthology论文集，实现用户查询到文档原文片段的直接映射。团队构建了一个新基准数据集，由NLP研究人员基于ScIRGen方法生成的合成用户查询进行人工标注，用于训练和评估多种抽取式模型。其中，一个参数规模为150M的ModernBERT分类器，在基于ScIRGen方法生成的查询和论文片段上进行训练后，在词级F1分数上达到53.6，超越了被评估的最强LLM抽取器（48.7）。