今日速览
| 序号 | 标题 | 来源 | 日期 | 主题 | 推荐等级 |
|---|---|---|---|---|---|
| 1 | AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers | arXiv | 2026-07-31 | AI-Agent | 高 |
| 2 | Know It, Act on It: Investigating Memory Utilization in LLM Personalization | arXiv | 2026-07-31 | AI-Agent | 高 |
重点论文与技术动态
1. AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers
- 来源：arXiv
- 日期：2026-07-31
- 作者/机构：Tianyu Huai, Tingshuo Fan, Xinchi Chen, Yining Zheng, Yuxin Wang, Shuang Chen
- 主题标签：
AI-Agent,arXiv - 推荐等级：高
- 分类：cs.AI
一句话结论
当前LLM代理在超参数优化中展现出可测量的实验优化能力，但在持续迭代改进、复杂日志诊断和一致性能提升方面存在明显局限。
一段话。
AgentHPOBench作为首个序列基准，填补了现有评估忽视实验证据解释与超参数决策指导的空白，通过30个跨领域任务验证了代理的优化潜力与不足。
核心内容
- AgentHPOBench包含30个可执行机器学习任务，覆盖7个研究类别，每个任务以验证基线启动，代理执行序列干预。
- 代理在每步观察累积配置、指标和日志后，提出新配置进行迭代优化，实现实验证据驱动决策。
- 评估12个代理显示其具备跨域优化能力，但受限于持续迭代、日志诊断及性能一致性。
方法与数据
- 采用统一协议评估12个广泛使用的LLM代理和传统HPO基线。
- 任务数据：30个可执行ML任务，7个研究类别，基于真实实验设计。
价值判断
- 值得关注：首次聚焦LLM代理实验优化能力的评估基准，解决现有静态测试的不足。
- 可复用点：基准框架可直接用于其他序列决策任务的代理评估。
- 局限/待核查：代理在复杂日志诊断和持续迭代优化中表现不足，需进一步改进。
摘要
As LLMs evolve from code completion systems into autonomous scientific agents, evaluating their ability to conduct experiments has become increasingly important. Existing benchmarks typically focus on static code generation, paper replication, or final answer correctness, but do not directly assess whether agents can interpret experimental evidence and use it to guide subsequent hyperparameter decisions. To address this gap, we introduce AgentHPOBench, a sequential benchmark comprising 30 executable machine learning tasks across seven research categories. Each task begins with a validated baseline run, after which an agent performs several sequential interventions. At each step, the agent observes the accumulated configurations, metrics, and logs before proposing the next valid configuration. We evaluate 12 widely used agents and conventional HPO baselines under a unified protocol. The results show that current agents exhibit measurable experimental optimization ability across domains, but still face clear limitations in sustained iterative refinement, complex log diagnosis, and consistent progress toward reported reference performance.2. Know It, Act on It: Investigating Memory Utilization in LLM Personalization
- 来源：arXiv
- 日期：2026-07-31
- 作者/机构：Zhaoxin Feng, Jianfei Ma, Emmanuele Chersoni
- 主题标签：
AI-Agent,arXiv - 推荐等级：高
- 分类：cs.CL
一句话结论
LLM在个性化中常能记住用户偏好但无法有效应用，尤其在健康和治疗相关场景，实验显示模型通过回忆测试（Know）却在行为响应（Act）中失败，导致个性化失效。
核心内容
- LLM面临知识利用问题：能回忆用户偏好但无法在响应中体现，即使偏好完全存在于上下文中。
- 研究引入解耦评估范式，通过配对Know和Act测试隔离记忆失败与使用失败。
- 实验结果表明Know和Act间存在显著差距，健康和治疗相关偏好应用最弱。
方法与数据
- 在16个系统和5种记忆架构上测试1000个用户偏好，评估三种表达强度下的表现。
- 采用配对Know和Act测试方法，覆盖回忆测试与行为场景。
价值判断
- 值得关注：健康和治疗相关偏好应用失败率高，现实风险大。
- 可复用点：解耦评估范式可推广至其他LLM个性化研究。
- 局限/待核查：健康偏好应用薄弱需更多验证。