SimpleBench 说 GPT-6.2 退步了,编程榜单却说它进步了
新出的前沿模型在 SimpleBench 上都涨了,只有 OpenAI 的跌了。这是周六 Hacker News 帖子《Astra 6.2 和 Sol 6.2 在 Simple Bench 上翻车》(154 分)的置顶评论,榜单数据也确实如此。GPT-6.2 Astra 得分 77.3%,GPT-6 Astra 是 83.6%。GPT-6.2 Astra Pro 79.2%,GPT-6 Astra Pro 是 86.5%。GPT-6.2 Sol 只有 69.9%,比 GPT-6.1 Sol 的 82.9% 低了 13 个点,排到第 30 名。榜单:https://simple-bench.com/
榜首是另一番景象。Claude Fable 5.2 新上榜就拿第一,94.9%,Gemini 4 Neon 94.4% 排第二,后面三名全是 Gemini 4 家族。页面上还留着一行划掉的旧文字:当时的最强模型 Claude Fable 只有 81.9%,输给人类。现在 Fable 5.2 离人类最高分 95.4% 只差 0.5 个点,人类基线 83.7% 早就甩在后面了。
转发截图之前先看清局限。SimpleBench 是 200 多道选择题,考空间时间推理、社交常识和陷阱题,每个模型跑五次取平均。人类基线来自官方说的一个只有九个人的小样本。页面没写更新日期,时间只能以 11 月 21 日的 HN 帖子为准。这是一个团队自己做的榜,测的就一件事:模型能不能看出题目里埋了坑。
真正值得写的是矛盾。前一天,汇总 16 个编程基准的 Models Engineering Index 还把 GPT-6.2 Astra 排在第二,压过 Fable 5.2。同一个模型,结论完全相反。两边可能都没错。一个为长时间 agent 编程任务狠狠调过的模型,读一段绕弯子的短题反而变差,后训练只追一个目标时这种取舍很常见。我的判断是:OpenAI 把 6.2 往它最能卖钱的方向优化,SimpleBench 量出来的是这么做的代价。
对做产品的人,结论很朴素:一个榜单分数告诉你模型擅长哪种考试,不告诉你哪个模型更好。你的 agent 整天处理干净的代码任务,就看编程综合榜。你的 agent 天天读用户乱七八糟的需求,真正的问题藏在第三句话里,那 SimpleBench 更接近你的现实。换模型之前,先跑自己的评测。
← 返回所有文章
榜首是另一番景象。Claude Fable 5.2 新上榜就拿第一,94.9%,Gemini 4 Neon 94.4% 排第二,后面三名全是 Gemini 4 家族。页面上还留着一行划掉的旧文字:当时的最强模型 Claude Fable 只有 81.9%,输给人类。现在 Fable 5.2 离人类最高分 95.4% 只差 0.5 个点,人类基线 83.7% 早就甩在后面了。
转发截图之前先看清局限。SimpleBench 是 200 多道选择题,考空间时间推理、社交常识和陷阱题,每个模型跑五次取平均。人类基线来自官方说的一个只有九个人的小样本。页面没写更新日期,时间只能以 11 月 21 日的 HN 帖子为准。这是一个团队自己做的榜,测的就一件事:模型能不能看出题目里埋了坑。
真正值得写的是矛盾。前一天,汇总 16 个编程基准的 Models Engineering Index 还把 GPT-6.2 Astra 排在第二,压过 Fable 5.2。同一个模型,结论完全相反。两边可能都没错。一个为长时间 agent 编程任务狠狠调过的模型,读一段绕弯子的短题反而变差,后训练只追一个目标时这种取舍很常见。我的判断是:OpenAI 把 6.2 往它最能卖钱的方向优化,SimpleBench 量出来的是这么做的代价。
对做产品的人,结论很朴素:一个榜单分数告诉你模型擅长哪种考试,不告诉你哪个模型更好。你的 agent 整天处理干净的代码任务,就看编程综合榜。你的 agent 天天读用户乱七八糟的需求,真正的问题藏在第三句话里,那 SimpleBench 更接近你的现实。换模型之前,先跑自己的评测。
评论