今日速览
| 序号 | 标题 | 来源 | 日期 | 主题 | 推荐等级 |
|---|---|---|---|---|---|
| 1 | LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget | arXiv | 2026-07-16 | AI-Agent | 高 |
| 2 | StructureClaw: Traceable LLM Agents and an Executable Benchmark for Structural Engineering Workflows | arXiv | 2026-07-16 | RAG | 高 |
重点论文与技术动态
1. LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget
- 来源：arXiv
- 日期：2026-07-16
- 作者/机构：Changhai Zhou, Kieran Liu, Yuhua Zhou, Qian Qiao, Jun Gao, Harry Zhang
- 主题标签：
AI-Agent,arXiv - 推荐等级：高
- 分类：cs.LG, cs.DC
一句话结论
LongStraw在固定GPU预算下实现了超过200万token的长上下文强化学习后训练。
一段话。
该方法通过架构感知执行栈，解决了推理系统（百万token上下文）与RL后训练（通常256K token以下）之间的关键差距，特别适用于AI代理处理累积的长轨迹数据（如观察、工具输出和文档）。
核心内容
- 有效弥合了推理上下文长度与RL后训练能力的鸿沟，使后训练能直接处理百万级token，避免部署时的长度泛化依赖。
- 采用GRPO技术，通过无自动梯度评估共享提示、仅保留必要模型状态、逐个重放短响应分支，显著减少内存占用并优化计算效率。
- 在8个H20 GPU上完成2.1M token处理（组大小2和8），32个GPU验证78层GLM-5.2模型的端到端执行路径。
方法与数据
- 方法：Group Relative Policy Optimization (GRPO) 架构感知执行栈。
- 数据：Qwen3.6-27B和GLM-5.2模型在H20 GPU集群上测试。
价值判断
- 值得关注：突破长上下文RL后训练瓶颈，为AI代理处理复杂长轨迹任务提供可行方案。
- 可复用点：执行栈设计（如状态保留与分支重放机制）可推广至其他长上下文模型优化。
- 局限/待核查：实验仅验证执行容量而非完全训练正确性，部分分布式前向与梯度组合路径未完成。
摘要
A growing gap separates inference context lengths from RL post-training: inference systems are approaching million-token contexts, while post-training workloads often remain at 256K tokens or below and rely on length generalization at deployment. The gap is especially important for AI agents, whose observations, tool outputs, documents, and prior decisions accumulate over long trajectories. LongStraw is an architecture-aware execution stack for million-token RL post-training under a fixed GPU budget, instantiated with Group Relative Policy Optimization (GRPO). It evaluates the shared prompt without autograd, retains only model-specific state needed by later tokens, and replays short response branches one at a time, reducing the live training graph at the cost of additional replay time. We implement it for the hybrid recurrent and full-attention Qwen3.6-27B and the compressed-attention mixture-of-experts GLM-5.2. On eight H20 GPUs, LongStraw completes grouped Qwen scoring and response backward at 2.1M positions for groups of 2 and 8; increasing the group size adds only 0.21 GB of peak allocated memory, while a separate stress test reaches 4.46M positions. On 32 H20 GPUs, we validate the end-to-end LongStraw execution path for a 2.1M-token prompt across all 78 layers of GLM-5.2. These experiments establish execution capacity rather than complete training correctness because the captured prompt state is detached and some distributed forward and gradient composition paths remain incomplete.2. StructureClaw: Traceable LLM Agents and an Executable Benchmark for Structural Engineering Workflows
- 来源：arXiv
- 日期：2026-07-16
- 作者/机构：Sizhong Qin, Yi Gu, Yao Jiang, Ao Cai, Changjian Zhou, Shaoxuan Shuai
- 主题标签：
RAG,arXiv - 推荐等级：高
- 分类：cs.SE, cs.AI, cs.MA
一句话结论
结构工程中，基于工件的评估能暴露工作流级故障，提供更严格的评估基础，避免奖励流畅但工作流不完整或非可执行的输出。
核心内容
- 结构工程请求需链式依赖工件（如解释需求、可计算模型、验证记录、求解器输出、代码检查记录和最终报告），而非单一答案。
- StructureClaw是artifact-centered工坊，支持LLM代理通过受控工程技能、类型化工具、共享工件状态和本地分析后端操作。
- StructureClaw-Bench包含150个受控场景，覆盖标准工作流执行、交互鲁棒性和多模态结构模型重建，场景成功需所有工件及执行级断言通过。
方法与数据
- LLM代理在StructureClaw中通过受控工程技能、类型化工具、共享工件状态和本地分析后端操作。
- 评估基于150个场景的50个标准案例，平均成功率从通用技能基线56.8%提升至完整工作流88.6%。
价值判断
- 值得关注：artifact-centered评估能暴露从最终响应难以识别的工作流级故障，避免奖励内部不一致或非可执行的输出。
- 可复用点：代码和基准已开源于GitHub（https://github.com/structureclaw/structureclaw），支持复现与扩展。
- 局限/待核查：安全处理无效数值输入和固定装置一致的结构模型重建仍是主要挑战，需进一步研究。