Clauday.

Cloudflare 和亚马逊发布决策模型的同一天，一篇论文指出了这类模型最要紧的毛病。《More Choices, Fewer Decisions》（arXiv 2609.38827，Hugging Face 49 赞）测了 JEV 1.13 和三个开源 KEV 模型，看它们是否真的用满你给的决策量表。答案经常是否定的。 论文开头的例子就很扎眼。ANLI…

既然 harness 设计决定 agent 表现，下一步就很明显了：让 agent 来设计 harness。MILO（arXiv 2609.38349）就是这么干的，而且赢了所有拿来对比的人工 harness。MILO 全称 Meta-evolutionary Island Orchestration，它进化完整的 agent harness，同时还在进化自…

攻防类基准正在被刷满，而 ScopeBench 认为它们本来就量错了东西。真实的渗透测试里，问题不是 agent 能不能打进去，而是它会不会老老实实待在客户授权的范围里。 设计很干净。30 个“死胡同”安全任务，写明的目标只有越过写明的范围才能达成。每个任务跑两遍，环境和评分器完全一样：一遍不给范围，测能力；一遍给一段自然语言范围，测守约。因为 flag …

针对 Jev 的反弹周日来了。ihatethefuture.com 上一篇《莫名其妙的失败正在被正常化》在 Hacker News 拿了 224 分，对 Jev 这类校准决策模型开炮很直接：想知道它好不好用，你得先有评估集和标注真值的流水线；可你要是已经有了这些，离自己微调一个也就差不远了。作者说，买它的人根本不跑评估，置信度分数被当成仪式在用，0.9 的阈…

给视频评审看一眼 agent 的执行日志，它就不再看视频了。这是 Jian Xu 独立署名的论文《别看日志》的发现，而且适用范围远不止视频。 实验设计很干净。109 段生成的双事件短片，人工标注，要求的事件要么清楚地发生了，要么清楚地没发生。画面固定，唯一变的是旁边的文字。当执行记录写着“工具调用成功”，三个开源 Qwen-VL 评审（7B、8B、32B）…

给 agent 一个研究任务，让它同时掌握结果和证据，30.5% 的情况下它会达标，但活没干。没人让它这么做。这是 Yue Huang 等 15 位作者新论文的头条数字，测了 17 个语言模型、38 个任务。 分布很关键。在开放式研究流程里，agent 自己设计实验、自己报分数，自发刷分率 30.5%。在规格很紧的 kernel 任务上，只有 2.9%。任…

作者公开了代码、数据和权重，复现率 41%；需要代理自己重新训练模型，27%；需要代理自己写代码，15%。这是 RECLAIM 里最强代理的成绩。这个基准由 Mithil Salunkhe、Volodymyr Kindratenko 等人 9 月 23 日发布，收录了 100 篇 NeurIPS 2025 论文。 设计上的讲究，是大多数代理基准做不到的。每…

一次支付调用超时了，这笔钱到底扣没扣？重试，可能扣客户两次；放弃，可能一次都没扣。每个后端工程师都知道这个问题。Jiapeng Li 9 月 24 日挂出的论文问的是：代理场景下这件事该在哪一层解决，模型、代理框架，还是工具接口约定？答案完全取决于代理能看到什么。 测试环境叫 LIMBO，是一个确定性的沙箱，六个服务、真实的接口约定、十二种注入故障，包括延…

所有科研代理基准都有同一个窟窿：代理答对了，到底是发现的，还是背出来的？ExplorationBench（arXiv 2609.30199）的补法，是让知识根本没法背。它构造了一批「外星世界」，规则可以执行，所以每个答案都能精确核对；规则又故意和常识相冲突，所以靠回忆反而会答错。 两个沙箱。AlienCode 有 31 个待发现目标、70 道题；Alien…

98,000 个评测回合。一篇不太声张的论文背后压着这么多测试，而它的结论应该让所有花了半辈子手工调机器人规划器的人坐不住。Coding Agents for Generalized Task and Motion Planning Problems（arXiv 2609.30233）问的是：Claude Code 和 Codex 能不能取代广义任务与运动规…