今日速览
| 序号 | 标题 | 来源 | 日期 | 主题 | 推荐等级 |
|---|---|---|---|---|---|
| 1 | SHERLOC: Structured Diagnostic Localization for Code Repair Agents | arXiv | 2026-06-23 | RAG | 高 |
| 2 | Are We Ready For An Agent-Native Memory System? | arXiv | 2026-06-23 | RAG | 高 |
重点论文与技术动态
1. SHERLOC: Structured Diagnostic Localization for Code Repair Agents
- 来源:arXiv
- 日期:2026-06-23
- 作者/机构:Hovhannes Tamoyan, Sean Narenthiran, Erik Arakelyan, Mira Mezini, Boris Ginsburg
- 主题标签:
RAG,arXiv - 推荐等级:高
- 分类:cs.CL
一句话结论
SHERLOC通过结构化诊断定位框架显著提升代码修复代理的效率和准确性。
一段话:SHERLOC针对LLM代理在代码修复中定位故障耗时过长的问题,提出训练-free框架,提供可操作诊断上下文而非仅文件检索。其结合推理LLM与紧凑仓库工具,无需微调即可实现SOTA性能:在SWE-Bench Lite上84.33%准确率@1,在SWE-Bench Verified上81.27%召回率@1;注入诊断后,修复率平均提升5.95个百分点,定位和总token消耗分别降低36.7%和23.1%。
核心内容
- 现有定位框架仅评估为文件检索,缺乏修复代理所需的诊断上下文,导致效率低下。
- SHERLOC为训练-free框架,整合推理LLM、紧凑仓库工具和自恢复机制,无需微调或智能体协调。
- 在SWE-Bench基准测试中,定位准确率达84.33%@1,修复率提升5.95个百分点,token消耗显著减少。
方法与数据
- 方法:推理LLM与紧凑仓库工具配对,支持自恢复。
- 数据:SWE-Bench Lite和Verified基准测试。
价值判断
- 值得关注:定位和总token消耗分别降低36.7%和23.1%,大幅优化资源效率。
- 可复用点:无需训练或微调,可直接集成到现有代码修复代理系统。
- 局限/待核查:摘要未明确提及局限。
摘要
LLM agents solve repository-level coding tasks through multi-turn tool use, but utilize half their budget on locating faults before editing. Dedicated localization frameworks have emerged, yet are still evaluated as file retrieval rather than actionable diagnosis, producing locations without the diagnostic context a repair agent needs. We introduce SHERLOC (Structured Hypothesis-driven Exploration and Reasoning for Localization), a training-free framework pairing a reasoning LLM with compact repository tools and self-recovery, without fine-tuning or multi-agent orchestration. SHERLOC reaches state-of-the-art localization across model scales: 84.33% accuracy@1 on SWE-Bench Lite and 81.27% recall@1 on SWE-Bench Verified; at ~30B parameters, it matches or outperforms other agentic methods. Injecting our locations and diagnostic findings into repair agents yields, on average, +5.95 pp resolve rate on SWE-Bench Verified while cutting localization and total tokens by 36.7% and 23.1%.2. Are We Ready For An Agent-Native Memory System?
- 来源:arXiv
- 日期:2026-06-23
- 作者/机构:Wei Zhou, Xuanhe Zhou, Shaokun Han, Hongming Xu, Guoliang Li, Zhiyu Li
- 主题标签:
RAG,arXiv - 推荐等级:高
- 分类:cs.CL, cs.DB, cs.IR
一句话结论
代理内存系统无单一最优架构,效果高度依赖内存结构与工作负载瓶颈的匹配度。
核心内容
- 代理内存已从简单检索增强机制演变为支持持久存储、检索、更新、整合及动态生命周期管理的数据管理系统。
- 现有评估仅依赖端到端任务指标(如F1、BLEU),忽视操作成本、模块架构权衡和动态知识更新鲁棒性等系统级问题。
- 通过细粒度消融研究量化了内存结构对表示保真度、检索精度、更新正确性和长期稳定性的影响,发现局部维护比全局重组更高效。
方法与数据
- 提出四模块分析框架:记忆表示存储、提取、检索路由和维护。
- 评估12个代表性系统和2个基线,覆盖5个基准工作负载及11个数据集。
价值判断
- 值得关注:系统级评估视角揭示了动态知识更新下的鲁棒性与成本-性能权衡。
- 可复用点:分析框架及代码已开源(GitHub),可直接复用于构建代理原生内存系统。
- 局限/待核查:摘要未明确提及局限。