今日速览
| 序号 | 标题 | 来源 | 日期 | 主题 | 推荐等级 |
|---|---|---|---|---|---|
| 1 | Screen Before You Serve: Simulation for Production Customer Experience AI Agents at 140M Scale | arXiv | 2026-09-24 | RAG | 高 |
| 2 | KernelOPT: Dispatch-Aware Agentic Search for GPU Kernel Optimization | arXiv | 2026-09-24 | AI-Agent | 高 |
重点论文与技术动态
1. Screen Before You Serve: Simulation for Production Customer Experience AI Agents at 140M Scale
- 来源：arXiv
- 日期：2026-09-24
- 作者/机构：Edesio Alcoba, Kevin Rossell, Aman Gupta, Shao Tang, Jiwoo Hong, Pabel Carrillo-Mendoza
- 主题标签：
RAG,arXiv - 推荐等级：高
- 分类：cs.AI, cs.CL
一句话结论
该工作提出用仿真在部署前筛选生产级客户体验 AI 代理，并在 Nubank 高流量客服场景中验证其线上收益。
核心内容
- 客户体验代理需识别意图、遵循策略并可靠调用工具；人工测试覆盖有限，线上实验风险高。
- 用 Snowglobe 仿真 Nubank Card Delivery 与 Card Management；4 个部署版本仿真与生产二元评估分数高度相关。
- 仿真迭代使 tNPS 提升 36.69 分；筛选 16,000+ 模拟对话中的开放权重配置后，线上 SSR 提升 8.82 个百分点，tNPS 无显著变化。
方法与数据
- 方法：假设驱动仿真；合成客户响应代理，模拟工具输出支持多步流程，不调用生产后端。
- 数据：摘要未明确数据集；使用上述两个代理、4 个版本、16,000+ 模拟对话与线上 A/B 结果。
价值判断
- 值得关注：仿真可作上线前筛选层，降低客户风险并扩大模型、推理与提示探索。
- 可复用点：合成客户、模拟工具输出与版本级评估相关性验证，适用于高流量客服。
- 局限/待核查：摘要未明确仿真器与评估器细节；两项收益来自不同 A/B 测试，需核查因果。
摘要
Customer experience (CX) agents use tools and large language models to address customer requests and guide conversational interactions with an organization's products. Improving these agents, especially in regulated industries, is difficult: they must detect intent, follow complex operational policies and use tools reliably. Manual end-to-end testing offers limited coverage, while live experiments expose customers to failures that can erode trust. We present a hypothesis-driven simulation workflow for screening candidate CX agents before deployment. Synthetic customers react to agent responses and simulated tool outputs enable multi-step agentic workflows without invoking production backends. We use the Snowglobe simulator on Nubank's Card Delivery agent and its expanded successor, Card Management - Nubank's highest-volume chat-support agent in Brazil. Across 4 deployed versions, simulated and production version-level binary evaluator scores show high correlation. Simulation-guided iteration increased transactional net promoter score (tNPS) by 36.69 points in a live A/B test. We also screened open-weight configurations in over 16,000 simulated conversations. In a subsequent live A/B test, the selected model increased self-service rate (SSR) by 8.82 percentage points to the highest level observed at Nubank, with no statistically significant change in tNPS. Simulation made broad exploration of models, reasoning settings, and prompts feasible without customer exposure, enabling production improvements that would have been impractical to pursue through live experimentation alone.2. KernelOPT: Dispatch-Aware Agentic Search for GPU Kernel Optimization
- 来源：arXiv
- 日期：2026-09-24
- 作者/机构：Aheli Poddar, Sanskar Prasad, Arindam Samanta, Subha Chakraborty, Vishal Goyal, Rohit Singh Rathaur
- 主题标签：
AI-Agent,arXiv - 推荐等级：高
- 分类：cs.DC, cs.AI, cs.LG
一句话结论
KernelOPT 把编译后的 PyTorch 模型当作结构化对象，只优化生成的 Triton 子内核，并用四道验证门控保证端到端正确与性能，在 KernelBench 上相对 torch.compile 获得几何平均加速。
核心内容
- 针对编译器生成内核常弱于专家实现的问题，系统不将编译模型当黑盒，保留 cuBLAS、cuDNN 等厂商库调用。
- 仅优化 Triton 子内核，使用五个由性能剖析引导的 LLM 智能体生成候选。
- 候选需通过静态验证、多种子正确性、模型级 float64 回退验证和性能门控；未通过则保留编译器基线。
方法与数据
- 支持 PyTorch nn.Modules、独立 Triton 内核和 Helion 内核；在 250 个 KernelBench 问题上评估。
- 相对 torch.compile 的几何平均加速为 1.40×（Level 1：51/100）、1.15×（Level 2：31/100）、1.07×（Level 3：12/50）。
价值判断
- 值得关注：将 LLM 内核优化扩展到编译模型结构，并强调端到端验证，适合关注 PyTorch 编译栈性能优化的读者。
- 可复用点：四门验证级联、保留厂商库调用、只改 Triton 子内核的流程，可作为安全优化编译产物的参考。
- 局限/待核查：摘要未明确硬件平台、模型规模、训练或推理场景及与专家内核的绝对差距；加速随难度下降。