今日速览
| 序号 | 标题 | 来源 | 日期 | 主题 | 推荐等级 |
|---|---|---|---|---|---|
| 1 | ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues | arXiv | 2026-06-16 | AI-Agent | 高 |
| 2 | Learning Cardiac Electrophysiology Digital Twins Through Agentic Discovery of Hybrid Structure | arXiv | 2026-06-16 | AI-Agent | 高 |
重点论文与技术动态
1. ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues
- 来源:arXiv
- 日期:2026-06-16
- 作者/机构:Shanda Li, Qiuhong Anna Wei, Jingwu Tang, Valerie Chen, Nihar B Shah, Tim Dettmers 等 8 人
- 主题标签:
AI-Agent,arXiv - 推荐等级:高
- 分类:cs.CL, cs.AI, cs.LG
一句话结论
LLM代理无需执行代码即可识别90%的论文-仓库对中的实际可复现性问题。
核心内容
- ReproRepo框架利用GitHub用户报告的问题作为自然监督,实现可复现性评估的规模化,避免了传统方法依赖人工的高成本。
- 在1,149篇来自顶级机器学习会议的论文上评估了四种前沿LLM代理配置,结果显示代理无需执行代码即可识别真实阻塞问题。
- 最佳代理(Codex with GPT-5.5)为约90%的论文识别出至少一个语义相关的阻塞问题,尤其在识别可见失败和语义区域方面高效。
方法与数据
- 利用GitHub用户报告的问题作为监督数据源。
- 基于1,149篇ML论文,覆盖多个主要会议。
价值判断
- 值得关注:LLM代理在无需代码执行下高效识别可见失败和语义区域,显著提升可复现性审计效率。
- 可复用点:ReproRepo框架开源(GitHub链接),可直接用于未来LLM代理在真实世界可复现性审计的评估。
- 局限/待核查:代理在精确定位可复现性问题方面仍不足,需进一步优化。
摘要
Reproducing research results from papers and released code is central to scientific progress. Existing works have introduced benchmarks to evaluate whether LLM agents can assist with reproducibility, but they are difficult to scale due to their reliance on substantial manual effort for data curation and evaluation. We introduce ReproRepo, a scalable framework for reproducibility evaluation that leverages human-raised GitHub issues as naturally occurring supervision on realistic reproduction blockers. We instantiate ReproRepo on 1,149 recent machine learning papers from major conferences and evaluate four frontier model-agent configurations. Our results show that LLM agents, even without executing code, can identify many real-world reproducibility problems from paper-repository pairs: the best agent in our study, namely Codex with GPT-5.5, surfaces at least one semantically related human-reported blocker for ~90% of papers in the study. Further analysis shows that agents are particularly effective for surfacing visible failures and identifying the right semantic region, but may still be insufficient in exact localization. ReproRepo can serve as a reusable, scalable framework for future evaluations of LLM agents on real-world reproducibility auditing. Our code is released at https://github.com/LithiumDA/ReproRepo.2. Learning Cardiac Electrophysiology Digital Twins Through Agentic Discovery of Hybrid Structure
- 来源:arXiv
- 日期:2026-06-16
- 作者/机构:Ziqi Zhou, Yubo Ye, Sumeet Atul Vadhavka, Linwei Wang, Zhiqiang Tao
- 主题标签:
AI-Agent,arXiv - 推荐等级:高
- 分类:cs.AI
一句话结论
LEADS框架通过LLM代理自动发现混合模型结构,显著提升心脏电生理数字孪生的稳定性和可解释性,优于人类设计和现有LLM方法。
核心内容
- 传统心脏电生理数字孪生依赖专家手动设计混合物理-神经架构,需深度领域知识且无法跨患者迁移。
- LEADS将领域知识转化为结构化动作空间,利用LLM代理执行迭代推理-动作循环以选择、组合和精炼混合模型。
- 所有候选模型均确保物理合理性、可解释性及数值稳定性,支持开放式的架构探索。
方法与数据
- 方法:LLM代理进行迭代推理与动作循环,结合梯度下降拟合参数。
- 数据:在合成数据(含三个真实反应模型)和真实心脏电生理数据上验证,性能优于对比方法。
价值判断
- 值得关注:解决了LLM方法缺乏结构先验导致心脏模拟不稳定的关键问题。
- 可复用点:框架可推广至其他需物理约束的生物医学建模任务,如神经科学或药物研发。
- 局限/待核查:摘要未明确提及局限。