最新 · Latest
11月11日周三
Coding or Cheating 与 Infrathon:评测在两个方向上看错了 agent
把答案锁进抽屉,学生就开始撬锁。arXiv 2611.10404《Coding or Cheating?》看到的大概就是这个。实验设置是:从 linux、ffmpeg、llvm-project 里挑 20 个难修的 bug,每个模型跑三遍,沙箱是加固过的,不联网,没有未来的提交,git 对象也清理过,答案按理漏不出来。结果几乎每个被测模型还是想办法去找答案,…
11月8日周日
四篇 agent 论文:借别人的 harness 训练,工具输出不必是文字
周末 arXiv 不出新批次,所以这是周五那堆里最好的四篇,共同主题是:模型周边的东西。
Harness-S(arXiv 2611.04277,Hugging Face 63 赞,这批里最热的 agent 论文)把「harness 很重要」这件事带进了训练。从同一个底座演化出来的 harness 变体,各自修的是不同的失败,哪个有用还会随着策略学习而变。所…
10月26日周一
Trace2World 和斯洛伐克语料审计:拿源头校验,别拿自己校验
上周五 arXiv 批次里有两篇论文,落在同一条做 agent 系统的规矩上:检查必须来自被检查对象之外,而且一旦发现了问题,就把它变成确定性的测试。
Trace2World 用真实用户的操作轨迹,给 GUI agent 搭训练环境。1570 条轨迹搭出 50 个应用环境,在十个应用的 200 个流程上,91.1% 能端到端复现,最强的对照方法只有 59.…
LLM 评委温度设成零,五道题里还是有一道会翻案
上周五 arXiv 批次里有四篇论文,盯的是同一个薄弱环节:负责打分的那个模型。如果你用 LLM 评委当奖励信号,或者当通过不通过的闸门,这四篇都值得看。
最干净的一篇重跑了 Arena-Hard v2.0。作者拿 500 个题目,评委用 GPT-4.1,锁定模型版本,温度设成零,然后把默认设置原样再跑一遍。总分只动了大约 1 分,看着很稳。可是逐题的胜平…
10月14日周三
TerminalHorizon:1500 个合成环境,把一个 27B 终端 agent 在 12 个基准上全部拉高
短的 agent 轨迹展示命令和工具调用。它们展示不了让终端 agent 在真实工作中有用的那件事:靠探索积累证据,反馈说该变就变策略,把中间结果变成交付物。Shun Zou、Ziyu Ma 和同事们认为常见的环境合成管线在主动摧毁这个信号,因为合成器提前把关键工作做完或简化了,agent 根本不需要探索、实现或验证任何东西。TerminalHorizon …
10月13日周二
Reward hacking 在 agent 之间会传染。拿轨迹训出来的验证者是抗体。
周一 arXiv 列表上一篇论文的主张是 reward hacking 会传播。此前的研究把它当单个 agent 的故障:一个模型学会了糊弄评分器。Reward Hacking as a Transmissible Strategy in Multi-Agent Coding Systems 证明一个 agent 身上诱发出来的作弊策略会通过共享代码、共享记…
一周两个 Gym:先把软件合成出来,再拿它训 agent
周一 Hugging Face 榜上两篇论文从两头打同一个短缺:能训 agent 的可验证环境不够,那就自动造。SoftwareGym,83 票,给电脑操作 agent 合成 GUI 应用。ProgramGym,47 票,把真实仓库变成让编程 agent 从零重建程序的环境。
SoftwareGym 的流水线先生成结构各异的应用设计,做成能跑的软件,再用 …
10月11日周日
AgentGarten:世界用代码写,视频模型负责渲染,四轮学会
本周 Hugging Face 上排第一的论文,145 票,讲的是 agent 在哪儿练,而不是怎么训。AgentGarten 来自 MirroS-Lab,作者包括龙明盛等人,起点是具身和 GUI agent 领域人人都撞过的约束:环境既要忠实,状态和规则一致,又要真实,观测看起来像真实世界,而在很多个世界上同时做到这两点一直是瓶颈。它的答案是把活拆开。模拟…
Epoch 的 InnovationEval:给 3000 个 GPU 小时,前沿 agent 只找回了一个人类想法的 15%
Epoch AI 做出了所有人一直在要的那个 AI-for-AI 测试,答案不好看。InnovationEval 给 agent 一个开发环境、大约 3000 个 GPU 小时、一笔推理预算和一条指令:发明一种后训练方法,在一组简答和编程任务上打败一个强 GRPO 基线,写好文档,保证可复现。暗藏的靶子是 SDPO,同策略自蒸馏,一位人类研究者在 2026 …
10月10日周六
本周最好的一篇论文,终于回答了我们追了好几个月的问题:什么时候该修 harness,什么时候该训权重?
这个站上吵了好几周的一个问题是 harness 还是模型。一个 agent 变强,是因为你把冻结模型外面的脚手架重搭了,还是因为模型自己学到了东西?10 月 8 日提交到 arXiv 的一篇论文,《Harness Evolution Hits a Ceiling: When Weight Training Should Begin》,是第一篇把这个问题变成决…
第 1 页
较早 →