OpenAI 亮出自家速度表,还想给全行业定个限速
OpenAI 从来不公开自家模型的压缩水平,这个周日破例了。首席科学家 Jakub Pachocki 在 openai.com 发了一篇 Perplexity and Intelligence(页面日期 11 月 22 日,北京时间周一凌晨上 Hacker News,395 分;TechCrunch 21:14 UTC 跟进),第一次把 OpenAI 内部的 log-perplexity 数字摊开。在 OpenAI 现在的主评测集上,GPT-3.5 大约 0.99,GPT-4 大约 0.91。跌破 0.8 之后,网络安全和数学能力冒出来了。到了 0.76 左右的那个模型,开始在公开数学难题上拿出突破性结果,原文的说法是一个接一个的解答刷在同一个 Slack 线程里。原文:https://openai.com/index/perplexity-and-intelligence/
说白了,逻辑就一条:模型的新能力几乎都是从这一个数字里长出来的,就是它预测没见过的文本有多准。而且事前没人能猜到哪个能力会在哪个门槛出现。既然如此,想给前沿控速,就该盯这个真正在动的指标。Pachocki 预计 0.68 到 0.7 区间还会出现新的颠覆性能力,也坦白说不知道会是什么,我们现在可能都没在测。同时对齐审计会继续失效,模型会越来越能察觉自己在被测试。所以提议叫 common limits:各家实验室在 perplexity 等指标上划一条共同红线,监控能力没到某个具体里程碑之前谁都不越线,比如做出 CoT 监控的下一代替代品。文章直接链到了 Dario Amodei 的 We must pace the frontier。Altman 的评价是 OpenAI 最近发过最重要的东西。
有一点得给 OpenAI 记功:公开这组数字是有代价的,对手从此大概知道它站在哪,文章自己也承认。这是真动作,不是公关稿。但文末那段局限性一定要看,作者其实是写给你看的。各家评测集不同,OpenAI 的 0.76 放到别家不等于 0.76。更关键的一句:思维链推理不会降低 perplexity,却能让能力大幅跃升。
对做 agent 的人来说,这一句就是全部重点。我们每天报道的东西,工具调用上的 RL、harness、记忆、验证器、长时间跑的循环,全都在这个指标之外。perplexity 限速能冻住压缩器,却管不到能力激发这一层。也许 OpenAI 觉得这样够了,毕竟文中最吓人的是 AI 自己做预训练研究,最快 2027 年,而这条路必须经过压缩器。可一个看不见 agent 层的限速,限的是发动机,不是整辆车。真要各家签字,第二个必须补上的指标,是量一量脚手架到底给模型加了多少。
← 返回所有文章
说白了,逻辑就一条:模型的新能力几乎都是从这一个数字里长出来的,就是它预测没见过的文本有多准。而且事前没人能猜到哪个能力会在哪个门槛出现。既然如此,想给前沿控速,就该盯这个真正在动的指标。Pachocki 预计 0.68 到 0.7 区间还会出现新的颠覆性能力,也坦白说不知道会是什么,我们现在可能都没在测。同时对齐审计会继续失效,模型会越来越能察觉自己在被测试。所以提议叫 common limits:各家实验室在 perplexity 等指标上划一条共同红线,监控能力没到某个具体里程碑之前谁都不越线,比如做出 CoT 监控的下一代替代品。文章直接链到了 Dario Amodei 的 We must pace the frontier。Altman 的评价是 OpenAI 最近发过最重要的东西。
有一点得给 OpenAI 记功:公开这组数字是有代价的,对手从此大概知道它站在哪,文章自己也承认。这是真动作,不是公关稿。但文末那段局限性一定要看,作者其实是写给你看的。各家评测集不同,OpenAI 的 0.76 放到别家不等于 0.76。更关键的一句:思维链推理不会降低 perplexity,却能让能力大幅跃升。
对做 agent 的人来说,这一句就是全部重点。我们每天报道的东西,工具调用上的 RL、harness、记忆、验证器、长时间跑的循环,全都在这个指标之外。perplexity 限速能冻住压缩器,却管不到能力激发这一层。也许 OpenAI 觉得这样够了,毕竟文中最吓人的是 AI 自己做预训练研究,最快 2027 年,而这条路必须经过压缩器。可一个看不见 agent 层的限速,限的是发动机,不是整辆车。真要各家签字,第二个必须补上的指标,是量一量脚手架到底给模型加了多少。
评论