今日速览
| 序号 | 标题 | 来源 | 日期 | 主题 | 推荐等级 |
|---|---|---|---|---|---|
| 1 | Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection | arXiv | 2026-08-20 | AI-Agent | 高 |
| 2 | Optimal Skill Selection for LLM Agents with Provable Bicriteria Guarantees | arXiv | 2026-08-20 | AI-Agent | 高 |
重点论文与技术动态
1. Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection
- 来源：arXiv
- 日期：2026-08-20
- 作者/机构：Atsuyuki Miyai, Kiyoharu Aizawa, Toshihiko Yamasaki
- 主题标签：
AI-Agent,arXiv - 推荐等级：高
- 分类：cs.CL, cs.AI, cs.LG
一句话结论
Task-CoEvolve通过自适应验证任务选择，显著降低LLM代理优化的评估成本。
一段话。该方法利用方差加权采样聚焦于代理能力边界附近任务，采样分布随优化自适应调整，并通过考虑采样概率估计全集性能，实现跨迭代一致比较；实验在在线文本分类和Terminal-Bench 2.1上验证其减少80%评估次数，同时匹配全集搜索的最终性能，无需更新模型权重。
核心内容
- 解决现有方法评估固定验证集导致高成本的问题，通过动态选择任务上harness意见不一致的信息性任务。
- 采用方差加权采样机制聚焦代理能力边界任务，采样分布随harness演化自适应调整。
- 实验显示减少80%评估次数，保持与全集搜索相当的优化效果。
方法与数据
- 方法：自适应验证任务选择与全集性能估计。
- 数据：实验基于在线文本分类和Terminal-Bench 2.1。
价值判断
- 值得关注：为LLM代理优化提供高效计算方案，显著降低资源消耗。
- 可复用点：自适应任务选择框架可迁移至其他模型优化场景。
- 局限/待核查：摘要未明确提及局限性。
摘要
We present a novel approach to efficient LLM agent harness optimization through adaptive validation task selection. Harness optimization iteratively rewrites the harness code based on validation performance, enabling substantial performance gains without updating the underlying model weights. Existing approaches, however, evaluate a fixed validation set in full at every iteration, incurring substantial evaluation costs even on tasks that become less discriminative as the harness evolves. We propose $\textbf{Task-CoEvolve}$, which co-evolves the validation tasks with the harness by addressing two challenges: selecting informative tasks and estimating full-set performance from partial evaluations. Task-CoEvolve builds on the observation that tasks on which candidate harnesses disagree are more informative for distinguishing among them than tasks that are consistently solved or failed. It uses variance-weighted sampling based on past outcomes to focus evaluation on tasks near the agent's capability frontier, with the sampling distribution adapting as the harness evolves. It then estimates full-set scores from the sampled tasks by accounting for their sampling probabilities, enabling consistent comparisons across iterations despite evaluating different subsets. Experiments on online text classification and Terminal-Bench 2.1 show that Task-CoEvolve consistently outperforms fixed-subset baselines and matches the final performance of full-set search while reducing the number of evaluations during optimization by 80%. Code will be released at https://github.com/Agent4Science-UTokyo/Task-CoEvolve.2. Optimal Skill Selection for LLM Agents with Provable Bicriteria Guarantees
- 来源：arXiv
- 日期：2026-08-20
- 作者/机构：Yu Chen, Ruishuo Chen, Xun Wang, Zhuoran Li, Longbo Huang
- 主题标签：
AI-Agent,arXiv - 推荐等级：高
- 分类：cs.AI
一句话结论
BPS算法通过双准则优化技能选择，在LLM代理中实现任务成功率0.73与令牌消耗减少28%的显著提升。
核心内容
- 技能选择是LLM代理任务性能和令牌成本的核心决定因素，现有方法（如独立评分、top-k打包）缺乏质量保证，导致冗余技能浪费令牌甚至降低性能。
- 他们将技能选择建模为在硬令牌预算下最大化单调子模收益减上下文惩罚的优化问题。
- BPS算法提供多项式时间的双准则(1-1/e,1)近似保证，在污染控制的BigCodeBench上任务成功率0.73，显著优于基线（0.20–0.52），且令牌消耗减少28%。
方法与数据
- 方法：Best Prefix Selection (BPS)算法，基于单调子模优化的多项式时间求解。
- 数据：在污染控制的BigCodeBench变体上进行实验验证。
价值判断
- 值得关注：首次为技能选择问题提供理论性能保证，填补了质量与成本意识的空白。
- 可复用点：BPS框架可直接迁移至其他LLM代理的技能管理场景，提升资源效率。
- 局限/待核查：摘要未明确。