今日速览
| 序号 | 标题 | 来源 | 日期 | 主题 | 推荐等级 |
|---|---|---|---|---|---|
| 1 | EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction | arXiv | 2026-09-02 | RAG | 高 |
| 2 | BuildOcc: A Large Language Model Occupant Agent Platform for Building Energy Research | arXiv | 2026-09-02 | MCP | 高 |
重点论文与技术动态
1. EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction
- 来源：arXiv
- 日期：2026-09-02
- 作者/机构：Yuling Shi, Zhensu Sun, Junsen Dong, Chengcheng Wan, David Lo, Xiaodong Gu
- 主题标签：
RAG,arXiv - 推荐等级：高
- 分类：cs.CL
一句话结论
EarlyEval通过早期结果预测技术，显著降低LLM代理评估成本，在保持高精度（89%-97%）的同时减少执行步骤和token消耗。
核心内容
- 评估LLM代理成本高昂，单次基准测试评估可花费数百至数千美元，需反复迭代开发。
- 早期结果预测利用代理中间行为（如行为、文本特征）预测最终结果，无需等待完整执行。
- 在SWE-bench Verified、TerminalBench和Toolathlon基准测试上，实现13%-26%步骤减少，44.1%输入token和29.4%输出token减少。
方法与数据
- 方法：训练LightGBM成功与失败分类器，基于行为、文本及参考解决方案特征，动态终止代理运行。
- 数据：在三个指定基准测试上验证效果，摘要未明确具体数据量。
价值判断
- 值得关注：输入token减少44.1%、输出token减少29.4%，同时精度达89%-97%，大幅降低评估成本。
- 可复用点：轻量级框架添加微小每步开销，易于集成至现有评估流程。
- 局限/待核查：对每代理解决率影响仅1-2个百分点，需更多场景验证其泛化性。
摘要
Evaluating LLM agents is essential for guiding their development, yet it has grown prohibitively expensive: a single pass of a frontier model over an agentic benchmark can cost hundreds to thousands of dollars, a price paid repeatedly across iterative development cycles. Prior efforts, centered on benchmark distillation, reduce the number of evaluation tasks but leave the cost of executing each retained task untouched. In this work, we introduce early outcome prediction, a complementary axis of efficiency that instead cuts cost within each task. Our key insight is that an agent's final outcome is often evident from its intermediate behavior well before execution completes. We instantiate this idea in EarlyEval, a lightweight framework that trains a pair of LightGBM success and failure classifiers over behavioral, textual, and reference-solution features, and halts an agent run the moment either classifier crosses a calibrated confidence threshold, adding negligible per-step overhead. Across three benchmarks, SWE-bench Verified, TerminalBench, and Toolathlon, EarlyEval can eliminate 13%-26% of agent steps and up to 44.1% input tokens and 29.4% output tokens at 89%-97% prediction accuracy, while perturbing per-agent resolve rates by only one to two percentage points on average.2. BuildOcc: A Large Language Model Occupant Agent Platform for Building Energy Research
- 来源：arXiv
- 日期：2026-09-02
- 作者/机构：Wooyoung Jung
- 主题标签：
MCP,arXiv - 推荐等级：高
- 分类：cs.HC
一句话结论
BuildOcc平台通过LLM代理模拟用户行为，解决建筑能源管理中的不确定性问题。
BuildOcc是一个开源Python平台，基于美国时间使用调查（ATUS）数据，为建筑能源研究提供可复用的用户行为模拟工具。
核心内容
- 基于ATUS数据构建用户代理，包含人口统计学人格、记忆流（累积时间步级观察）和活动调度器（基于经验采样）。
- 提供三层接口（Python库、REST API、模型上下文协议服务器），支持与EnergyPlus等建筑能源工具无缝集成。
- 验证显示ATUS驱动的采样重现经验校准的活动分布，人口统计先验在时间步长中传播，确保跨群体内部一致性。
方法与数据
- 数据：美国时间使用调查（ATUS），覆盖16,684受访者。
- 方法：LLM代理模拟用户行为，摘要未明确具体模型架构。
价值判断
- 值得关注：解决建筑能源管理中用户行为不确定性的关键挑战。
- 可复用点：开源发布（Apache 2.0），支持插件扩展，可直接集成到EnergyPlus等主流工具。
- 局限/待核查：摘要未明确提及局限。